UniDot: A Unified Network for Sequence Modeling and Feature Interaction in Large-scale Recommendation

Nei vasti paesaggi digitali dei contenuti e della pubblicità moderna, i motori di raccomandazione agiscono come i curatori invisibili delle nostre vite quotidiane. Decidono quale video mostrare successivamente, quale prodotto suggerire o quale articolo mettere in evidenza, spesso elaborando milioni di possibilità in un battito di ciglia. Per decenni, questi sistemi si sono affidati a due modi distinti di pensare per prendere tali decisioni. Il primo approccio osserva i dettagli statici di un utente e di un oggetto, come l'età, la posizione o la categoria del prodotto, cercando di trovare schemi nel modo in cui queste specifiche caratteristiche si sovrappongono. Il secondo approccio osserva il flusso del tempo, analizzando la cronologia di clic e visualizzazioni di un utente per comprenderne gli interessi in evoluzione. Sebbene entrambi i metodi siano potenti, i sistemi industriali hanno tradizionalmente mantenuto questi approcci separati, facendoli girare l'uno accanto all'altro sperando che la loro saggezza combinata fosse sufficiente. Questa separazione crea un divario: il sistema fatica a vedere come il comportamento passato di un utente plasmi direttamente la sua reazione a un nuovo oggetto specifico in tempo reale.

Un team di ricercatori di Meta, guidato da Rongcheng Lin, si è posto l'obiettivo di colmare questo divario con una nuova architettura chiamata UniDot. Il loro obiettivo era costruire un sistema unico e unificato in grado di gestire sia i dettagli statici che la storia fluente del comportamento dell'utente simultaneamente, invece di trattarli come problemi separati. Hanno affrontato la questione vedendo entrambi i tipi di informazione attraverso la lente dei "token", che sono semplicemente rappresentazioni digitali di punti dati. In questo nuovo framework, il profilo di un utente, i dettagli di un oggetto e persino una sequenza di comportamenti passati vengono tutti convertiti in questi token. L'intuizione centrale che guida il design è che l'operazione matematica utilizzata per abbinare un utente a un oggetto è fondamentalmente la stessa operazione utilizzata per pesare un comportamento passato rispetto a una scelta attuale. Riconoscendo questo meccanismo condiviso, i ricercatori hanno costruito un modello in cui questi due flussi di informazioni possono interagire direttamente e continuamente.

Il sistema risultante, UniDot, opera come un'autostrada a due corsie dove due processi distinti viaggiano insieme, scambiandosi costantemente informazioni. Una corsia, il "bus di mixing dei token" (token-mixing bus), si concentra sulla fusione dei dati del profilo statico dell'utente e dell'oggetto. L'altra corsia, il "bus di recupero della sequenza" (sequence-retrieval bus), si concentra sulla scansione della cronologia dell'utente per trovare eventi passati rilevanti. Invece di lasciare che queste corsie corrano in isolamento o di fonderle solo alla fine del processo, UniDot permette loro di co-evolversi. Ad ogni passaggio dell'elaborazione, le due corsie condividono il proprio stato, permettendo al profilo statico di influenzare il modo in cui la cronologia viene letta, e alla cronologia di affinare la comprensione del profilo. Questo scambio continuo assicura che il sistema non si limiti a guardare separatamente il passato di un utente e la sua situazione attuale, ma veda come essi si plasmino a vicenda nell'istante presente.

Per garantire che il sistema rimanga efficiente e preciso, i ricercatori hanno introdotto un percorso dedicato chiamato "FM Highway". Questo percorso funge da rotta rapida diretta per le interazioni più critiche. In molti modelli di deep learning, i segnali più basilari e importanti — specificamente gli abbinamenti diretti tra le caratteristiche dell'utente e dell'oggetto — possono essere diluiti o persi mentre passano attraverso strati di elaborazione complessa. L'FM Highway scavalca questa complessità, trasportando questi abbinamenti diretti direttamente alla fase decisionale finale. Questa scelta di design preserva la chiarezza delle connessioni più fondamentali, assicurando che il sistema non perda mai di vista le relazioni semplici e dirette che spesso guidano la decisione di un utente di cliccare o acquistare.

I ricercatori hanno testato questa architettura in una importante competizione del settore nota come TAAC × KDD Cup 2026, che sfidava i partecipanti a costruire il miglior possibile sistema di raccomandazione sotto rigidi limiti di tempo. UniDot si è classificato come secondo classificato, ottenendo un punteggio elevato di 0,83217. Questo risultato è stato significativo perché è stato guidato principalmente dall'architettura stessa piuttosto che dalla creazione manuale di regole o caratteristiche complesse e pre-costruite. Il team ha dimostrato che, unificando i due approcci tradizionali in una singola struttura coerente, potevano catturare più sfumature nel comportamento dell'utente. Hanno ulteriormente migliorato le prestazioni addestrando due versioni del modello simultaneamente affinché imparassero l'una dall'altra, una tecnica che ha aiutato il sistema a trovare una soluzione più robusta senza dover raddoppiare la dimensione della sua memoria per l'archiviazione dei dati dell'utente.

Il successo di UniDot suggerisce che il futuro dei sistemi di raccomandazione non risiede nell'aggiungere più componenti separati, ma nel tesserli insieme in modo più stretto. Trattando i dettagli statici di un utente e il flusso dinamico della sua cronologia come parti di un unico processo unificato, il sistema può fare previsioni più accurate. I ricercatori hanno scoperto che la chiave di questo miglioramento non era solo rendere il modello più grande, ma renderlo più intelligente nel modo in cui connette diversi tipi di informazioni. Il sistema ha dimostrato che quando si permette al passato e al presente di parlarsi direttamente, il risultato è una comprensione più chiara di ciò che un utente desidera veramente. Questo approccio offre una strada promettente per costruire motori di raccomandazione che siano non solo più veloci ed efficienti, ma anche più sintonizzati sulla complessa realtà del comportamento umano.