Predicting Custom-Feed Returns for New Bluesky Posts: A Prospective Study
Questo articolo introduce un nuovo compito di routing cold-start per prevedere se i post di Bluesky appena pubblicati appariranno in feed personalizzati specifici, presentando un dataset di benchmark su larga scala e dimostrando che LambdaRank raggiunge prestazioni superiori nel classificare i feed che probabilmente restituiranno nuovi contenuti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina internet come una gigantesca e frenetica piazza cittadina dove tutti urlano i propri pensieri, scherzi e notizie tutti insieme. In questa piazza caotica, ci sono migliaia di diversi "club" o "edicole" (chiamati feed personalizzati) gestiti dalle persone. Ogni club ha il proprio libro delle regole per decidare quali urla provenienti dalla piazza siano abbastanza interessanti da mettere sulla propria bacheca. Di solito, quando una nuova persona si unisce a un club, il club deve sapere chi è per raccomandare degli amici. Ma ecco il colpo di scena: in questa specifica città, sono i nuovi urli (i post) quelli che non hanno ancora una storia. Sono i "cold start" (partenze a freddo). La grande domanda per la città è: Come possiamo indovinare quali club vorranno mettere un nuovo urlo sulla loro bacheca prima ancora che qualcuno lo abbia visto? Questo è il puzzle del "cold-start routing" (instradamento a freddo). È come cercare di prevedere quali specifici editori di riviste ameranno un articolo che hai appena scritto, nel momento esatto in cui finisci di digitare l'ultimo punto, senza avere alcun dato di vendita passato per aiutarti.
Questo articolo affronta esattamente quel puzzle per Bluesky, una piattaforma di social media dove i suoi feed personalizzati sono una funzione fondamentale. I ricercatori, Yipeng Wang e Mohit Singhal, si sono posti l'obiettivo di costruire un sistema che agisca come un matchmaker (un cercatore di affinità) super intelligente. Il loro obiettivo era prendere un post nuovissimo e classificare istantaneamente migliaia di potenziali feed per indovinare quali avrebbero "ritornato" (mostrato) quel post tra i primi risultati entro le successive 24 ore.
Per farlo, non si sono limitati a indovinare; hanno costruito un enorme esperimento capace di viaggiare nel tempo. Hanno impostato un "pannello di monitoraggio" di 5.000 diversi feed e li hanno osservati per una settimana. Hanno raccolto 17,804 milioni di post pubblici. Per ogni post, hanno aspettato per vedere se appariva effettivamente tra i primi 50 risultati di un qualsiasi feed entro 24 ore. Se accadeva, lo hanno segnato come un "colpo andato a segno" (hit). Questo ha creato un dataset di 1,865 milioni di connessioni osservabili tra post e feed. Lo chiamano un approccio "raccogli prima, etichetta dopo" perché hanno prima raccolto i dati grezzi e solo successivamente hanno etichettato un successo o un fallimento dopo che il futuro era effettivamente accaduto, assicurando che le loro previsioni fossero testate contro risultati reali, non solo supposizioni.
Il team ha poi provato diverse "intelligenze informatiche" per risolvere il gioco dell'abbinamento. Sono partiti con regole semplici, come "l'autore pubblica solitamente in questo feed?" o "il testo è simile a ciò che piace a questo feed?". Questi metodi semplici erano discreti, ma non eccellenti. Poi, hanno provato modelli più complessi che potevano comprendere il significato del testo, non solo le parole. Il vincitore della competizione è stato un modello chiamato LambdaRank.
Ecco cosa ci dicono i numeri su quanto sia stato efficace il lavoro. I ricercatori hanno testato il loro sistema su due giorni separati di dati. Di tutti i post testati, si sono concentrati su quelli che sono stati effettivamente scelti da almeno un feed (circa il 9,04% del totale). Per questi post, il modello LambdaRank è riuscito a inserire i feed corretti nella lista dei Top 10 il 73,61% delle volte (una metrica chiamata capped Recall@10). Ha inoltre ottenuto un punteggio di 0,6127 su una scala di quanto bene abbia ordinato i migliori abbinamenti (NDCG@10) e ha trovato un "colpo andato a segno" (trovare almeno un feed corretto tra i primi 10) il 77,49% delle volte.
L'articolo suggerisce che, sebbene il modello sia molto buono, non è perfetto. Il collo di bottiglia principale non è il "cervello" della classificazione in sé, ma il primo passo: trovare i candidati giusti. Anche se il modello fosse perfetto, non può scegliere un feed se non lo ha guardato affatto. I ricercatori hanno scoperto che il loro sistema guardava solo una piccola fetta dei feed possibili (un "set di candidati" di fino a 370 feed su 4.233 classificati). Se fossero stati in grado di guardare ogni singolo feed possibile, il sistema avrebbe potuto performare ancora meglio, raggiungendo un "tetto teorico" di 0,8448. Ciò significa che il prossimo grande passo non è necessariamente rendere il cervello più intelligente, ma rendere la ricerca più ampia.
In breve, l'articolo dimostra che possiamo prevedere con successo quali feed personalizzati sceglieranno un nuovo post, anche prima che il post abbia una storia. Dimostra che combinando il semplice abbinamento del testo con una comprensione profonda del significato, possiamo indirizzare i nuovi contenuti verso i luoghi giusti. Tuttavia, avverte anche che siamo attualmente limitati da quanti feed possiamo controllare contemporaneamente. Il sistema è un inizio forte, ma c'è ancora spazio per crescere man mano che la "piazza cittadina" diventa ancora più affollata.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.