Building a User Foundation Model for the Open Web

Immaginate l'internet come una città enorme e frenetica dove ogni persona lascia una scia di impronte digitali mentre cammina da un negozio all'altro. Per anni, le aziende che ci mostrano pubblicità hanno cercato di costruire un "profilo" di ogni persona basandosi su queste impronte per indovinare cosa potrebbe voler comprare dopo. Questo è il mondo dei sistemi di raccomandazione, un ramo dell'informatica che usa la matematica per prevedere il comportamento umano. La formula segreta nei sistemi moderni è il machine learning, dove i computer imparano schemi da enormi pile di dati, e i modelli di base (foundation models), che sono come cervelli giganti, pre-addestrati, che hanno già imparato a comprendere le sequenze di eventi prima di essere istruiti su un compito specifico.

Ma ecco la parte complicata: sul "web aperto" (la parte di internet che visitate senza accedere a un account specifico), queste impronte sono disordinate. Potreste visitare un sito dal vostro telefono e poi, più tardi, da un laptop, e il computer non ha modo di sapere che si tratta della stessa persona. La vostra cronologia è spesso breve, frammentata in piccoli pezzi o del tutto assente a causa delle impostazioni sulla privacy. Questo articolo affronta una grande domanda: possiamo costruire un sistema intelligente capace di comprendere queste impronte disordinate e frammentate con la stessa efficacia con cui comprende le storie lunghe e pulite degli utenti che hanno effettuato l'accesso? La risposta è importante perché, se non ci riusciamo, perdiamo la comprensione di una enorme fetta di internet, portando a pubblicità che sembrano casuali o irrilevanti.

---

Il puzzle della traccia interrotta

Gli autori, un team di Teads, hanno affrontato una sfida unica. Nella maggior parte dei sistemi di raccomandazione (come quelli sui social media o sulle app di shopping), avete un lungo film continuo della vita di un utente: ha effettuato l'accesso, ha guardato un video, ha comprato una scarpa e ha messo "mi piace" a una foto. Il computer può guardare l'intero film per capire l'utente.

Ma sul web aperto, il "film" è spesso solo pochi fotogrammi sparsi, o talvolta un singolo fotogramma. L'utente potrebbe essere anonimo e la sua cronologia potrebbe essere interrotta dalle scelte sulla privacy. Il vecchio modo di gestire la cosa era contare le cose: "Questo utente ha cliccato 3 volte su annunci di sport". Ma questo è come cercare di capire la personalità di una persona sapendo solo quante volte ha sbattuto le palpebre. Si perde la storia — l'ordine degli eventi, il tempismo e il flusso.

Il team si è chiesto: Possiamo insegnare a un computer a comprendere queste storie brevi e interrotte? E se ci riusciamo, aiuterà a prevedere su cosa cliccherà un utente, anche quando non sappiamo chi sia?

Il cervello del "Viaggiatore nel Tempo"

Per risolvere questo problema, il team ha costruito un Modello di Base per l'Utente (User Foundation Model - UFM). Pensate a questo modello come a un viaggiatore nel tempo super intelligente che ha letto milioni di brevi storie frammentate su persone che navigano sul web.

Invece di contare semplicemente i clic, il modello osserva la sequenza degli eventi. Tratta la cronologia di navigazione di un utente come una frase. Proprio come una frase ha un soggetto, un verbo e un oggetto, la cronologia di un utente ha un Editore (dove si trovava), un Inserzionista (cosa ha visto) e un Evento (cosa ha fatto, come cliccare o semplicemente guardare).

Il modello è stato addestrato usando un gioco chiamato Apprendimento Auto-Supervisionato (Self-Supervised Learning). Immaginate di avere una frase con alcune parole nascoste (mascherate) e di dover indovinare quali siano in base al contesto. Il modello si è esercitato guardando la cronologia di un utente, nascondendo parti di essa e cercando di riempire i vuoti. Ha anche giocato a un gioco di abbinamento: prendeva due parti diverse della stessa cronologia di un utente (come la mattina e il pomeriggio) e imparava che appartengono alla stessa persona, anche se appaiono diverse.

Il "Coach Robotico" che perfeziona il cervello

Ecco dove la cosa diventa davvero interessante. Il team non si è limitato a costruire il modello; ha usato un IA per costruire l'IA. Lo hanno chiamato "LLM-as-Optimizer" (LLM come ottimizzatore).

Immaginate di voler costruire la macchina da corsa perfetta. Invece di indovinare quale motore o pneumatico sia il migliore, avete un coach robotico (un Modello di Linguaggio di Grandi Dimensioni - LLM) che legge un catalogo di 150 diversi "consigli di sintonizzazione" da libri scientifici. Il coach robotico suggerisce modifiche: "Proviamo a rendere il motore leggermente più grande", oppure "Cambiamo la miscela del carburante". Il team testa queste modifiche e, se una modifica rende l'auto più veloce, il coach robotico lo ricorda e cerca di costruire su quel successo.

In questo articolo, il coach robotico ha perfezionato il "Modello di Base per l'Utente" cambiando elementi come il numero di livelli di pensiero, il modo in cui gestisce il tempo e il modo in cui impara. Questo processo, chiamato Ricerca di Architettura Neurale (Neural Architecture Search - NAS), ha trovato una versione del modello che era significativamente migliore dell'originale.

I Risultati: Da "Forse" a "Sì"

Il team ha testato il nuovo modello guidato dal robot in due modi: prima in una simulazione (offline) e poi nel mondo reale (online).

1. La Simulazione (Offline):
Hanno testato il modello su un enorme dataset di richieste pubblicitarie reali. Hanno confrontato il modello con il sistema che Teads stava già utilizzando.

• La Buona Notizia: Il nuovo modello ha migliorato la previsione di ciò su cui gli utenti avrebbero cliccato del +1,354%. Nel mondo della pubblicità, questo è un salto enorme.
• Il Test della "Traccia Interrotta": Hanno testato specificamente gli utenti con cronologie molto brevi o mancanti. Anche per gli utenti con quasi nessuna cronologia, il modello ha migliorato le previsioni del +0,99%. Questo prova che il modello funziona anche quando il "film" è un singolo fotogramma.
• Il Test di Generalizzazione: Hanno provato il modello su diversi tipi di compiti di previsione (come indovinare se un annuncio avrebbe vinto un'asta, non solo se sarebbe stato cliccato). Funzionava anche lì, migliorando quelle previsioni del +1,197%. Ciò suggerisce che il modello ha appreso una comprensione profonda del comportamento umano, non solo un trucco per un compito specifico.

2. Il Mondo Reale (Online):
Il team ha eseguito un test dal vivo per 7 giorni, mostrando il nuovo modello alla metà dei loro utenti e il vecchio modello all'altra metà.

• L'Esito: Il gruppo con il nuovo modello ha cliccato sugli annunci il 2,13% in più.
• Il Costo: Poiché gli annunci erano più rilevanti, il costo per clic è sceso dell'1,13%.
• La Fiducia: Il team è molto sicuro di questi numeri. Hanno calcolato un intervallo di confidenza dell'80%, il che significa che sono statisticamente sicuri che il miglioramento sia reale e non dovuto al caso.

Perché questo è importante

Questo articolo dimostra che non abbiamo bisogno di una cronologia perfetta e lunga per capire un utente. Anche con dati frammentati, brevi e anonimi, un modello intelligente può ricomporre la storia.

Gli autori suggeriscono che questo approccio apre un "nuovo asse" di miglioramento. Non si tratta solo di rendere la matematica esistente leggermente migliore; si tratta di aggiungere un modo completamente nuovo di pensare ai dati dell'utente. Trattando la cronologia di navigazione come una sequenza da comprendere piuttosto che come un semplice elenco di conteggi, hanno trovato un modo per rendere gli annunci più rilevanti, anche per i "fantasmi" di internet che non effettuano l'accesso.

Il team ammette che ci sono dei limiti. Hanno testato solo un tipo specifico di architettura di modello e un set specifico di dati. Notano anche che il loro "coach robotico" potrebbe aver trovato una buona soluzione, ma non sappiamo se sia la migliore soluzione possibile in assoluto. Tuttavia, il test dal vivo conferma che questo approccio funziona nel mondo reale, trasformando un'idea teorica in uno strumento pratico che rende il web aperto un po' meno caotico e un po' più personale.