Sintesi Tecnica: Classificazione Eterogenea in Sistemi di Raccomandazione su Scala Industriale

1. Definizione del Problema

Il documento affronta la sfida della classificazione unificata in Google Discover, un sistema che aggrega contenuti altamente eterogenei dal web aperto e decentralizzato (ad esempio, articoli web, video a formato lungo/breve, contenuti generati dagli utenti, schede sportive e riassunti AI) in un unico feed personalizzato. A differenza delle piattaia a ecosistema chiuso (ad esempio, app dedicate solo alla musica o ai video) dove le modalità di contenuto e i modelli di interazione sono uniformi, Google Discover affronta due dimensioni primarie di eterogeneità:

• Eterogeneità dei Dati: Il contenuto manca di caratteristiche uniformi, portando a variazioni nella densità delle feature, nelle strutture dei metadati e nella disponibilità asimmetrica dei segnali.
• Eterogeneità delle Interazioni: I modelli di engagement degli utenti variano significativamente in base al tipo di contenuto. Ad esempio, mentre "like" e "rimozioni" (dismissals) sono universali, gli articoli guidano principalmente i clic, mentre i contenuti UGC e le schede sportive guidano tempi di permanenza (dwell time) più lunghi.

Sfide Chiave:

1. Discrepanza di Distribuzione: Un modello ottimizzato per metriche globali (ad esempio, il CTR complessivo) può favorire sproporzionatamente tipi di contenuto dominanti e di bassa qualità (ad esempio, articoli click-bait) rispetto a tipi di contenuto minoritari ad alto valore (ad esempio, i video), degradando l'esperienza dell'utente.
2. Trasferimento Negativo (Fenomeno Seesaw): L'ottimizzazione congiunta di obiettivi contrastanti (ad esempio, massimizzare i clic rispetto a minimizzare le rimozioni) in una rappresentazione condivisa spesso causa miglioramenti in un compito che impattano negativamente sugli altri.
3. Collasso dei Tipi Minoritari: Le architetture condivise tendono a favorire i tipi di contenuto dominanti con feature più ricche o traffico più elevato, causando l'oscuramento dei tipi di contenuto sottorappresentati.

La baseline di produzione esistente utilizza un backbone a Percettrone Multistrato (MLP) condiviso con 11 teste specifiche per compito, il che costringe una singola rappresentazione latente a servire tutti i tipi di contenuto, fallendo nell'affrontare adeguatamente tali eterogeneità.

2. Metodologia

Gli autori propongono un workflow end-to-end che comprende una nuova architettura di modello (HA-MoE), un framework di osservabilità (LENS) e una metrica di valutazione specializzata (DL-AUC).

2.1 HA-MoE: Multi-gated Mixture-of-Experts Adattivo all'Eterogeneità

Per affrontare le sfide senza violare i rigidi vincoli industriali (dimensione del modello, velocità di addestramento e latenza di serving), gli autori introducono HA-MoE. Questa architettura integra esplicitamente i segnali di eterogeneità ($h$) sia nelle reti di gating che nelle rappresentazioni degli esperti.

• Architettura: Utilizza un framework di apprendimento multi-task denso basato su esperti (Feed-Forward Networks) con $N$ esperti condivsi.
• Gating Adattivo all'Eterogeneità (HA-Gating): Il meccanismo di gating incorpora esplicitamente i segnali di eterogeneità ($h$) insieme alle feature dense ($x$) per determinare l'utilizzo degli esperti per ogni compito. Ciò consente al modello di indirizzare esperti specifici verso segmenti di contenuto specifici, proteggendo i segmenti minoritari dall'essere oscurati.
  $$g_t(x, h) = \text{Softmax}(W_t \Phi(x, h) + b_t)$$
• Modulazione Lineare Guidata dall'Eterogeneità (HDLM): Per disaccoppiare la capacità dell'esperto dai bias specifici della distribuzione, l'output di ogni esperto è adattato dinamicamente utilizzando vettori di scala ($\gamma$) e spostamento ($\beta$) derivati da $h$. Ciò consente alla rete di "cambiare contesto" (ad esempio, passando dal focus sui pattern visivi per i video all'affinità con il creatore per i creatori seguiti) senza un massiccio aumento dei parametri.
  $$\tilde{E}_n(x, h) = \gamma_n(h) \odot E_n(x) + \beta_n(h)$$
• Ottimizzazione: Il modello utilizza una funzione di perdita combinata che bilancia la Binary Cross-Entropy (BCE) pointwise e la perdita RankNet pairwise per calibrare le probabilità assolute preservando l'ordinamento relativo.

2.2 LENS: Specializzazione della Rete di Esperti Latenti

Per mitigare la natura di "scatola nera" dei modelli unificati, gli autori introducono LENS, un framework di osservabilità leggero:

• Slicing dell'Attivazione: Visualizza la divisione del lavoro interna del modello tagliando le attivazioni di gating in matrici contenuto-per-esperto, rivelando come diversi esperti si specializzano in diversi tipi di contenuto.
• Matching degli Esperti Invariante per Permutazione (PIEM): Poiché gli esperti MoE sono invarianti per permutazione, il confronto diretto dei parametri è intrattabile. PIEM caratterizza ogni esperto tramite un vettore di profilo comportamentale (contributo relativo tra i compiti) e utilizza l'algoritmo di Hungarian per trovare il matching ottimale 1-a-1 tra gli snapshot del modello. Calcola un punteggio basato sulla divergenza di Jensen-Shannon (JSD) per tracciare la stabilità funzionale e rilevare il "collasso funzionale" (perdita di specializzazione) durante l'addestramento continuo.

2.3 DL-AUC: AUC a Doppio Livello

La AUC globale standard può mascherare fallimenti strutturali in cui un modello gonfia i punteggi per i segmenti maggioritari mentre sopprime quelli minoritari. Gli autori propongono la DL-AUC per bilanciare l'utilità globale con la correttezza cross-segmento:
$$\text{DL-AUC} = \lambda \cdot \text{Micro-AUC} + (1 - \lambda) \cdot \text{Macro-xAUC}$$

• Micro-AUC: Misura la qualità del ranking globale sotto la distribuzione empirica del traffico.
• Macro-xAUC: La media non pesata della xAUC attraverso tutte le coppie di segmenti di contenuto. Ciò garantisce che un elemento positivo di un segmento minoritario (ad esempio, Video) sia correttamente classificato più in alto di un elemento negativo di un segmento maggioritario (ad esempio, Articolo Web), prevenendo il dominio della classe maggioritaria.

3. Contributi Chiave

1. Architettura HA-MoE: Un design MoE adattivo all'eterogeneità pronto per la produzione, che inietta esplicitamente il contesto del contenuto nel gating e nei livelli degli esperti, consentendo un'efficace specializzazione senza un significativo overhead operativo (<5% di aumento della dimensione del modello, <0,5% di aumento della latenza).
2. Framework LENS: Uno strumento di osservabilità innovativo che "apre la scatola" della dinamica interna del modello, permettendo agli ingegneri di interpretare la specializzazione degli esperti e di tracciare quantitativamente l'eterogeneità funzionale attraverso i cicli di addestramento usando PIEM.
3. Metrica DL-AUC: Una metrica di valutazione consapevole dell'eterogeneità che impedisce il deployment di modelli che ottengono guadagni globali a scapito della salute dell'ecosistema (correttezza cross-segmento).

4. Risultati

Valutazione Offline

• Performance: Su un dataset industriale su larga scala (10M di esempi), HA-MoE ha ottenuto la DL-AUC aggregata più alta (0,691 per pInterest, 0,949 per pDisinterest), superando sia la baseline Shared MLP che lo Standard MMoE.
• Ablation: Sia i componenti HA-Gating che HDLM hanno contribuito ai guadagni. Il modello completo ha invertito con successo il trasferimento negativo visto nelle baseline, migliorando le predizioni di engagement negativo (pDisinterest) pur mantenendo i guadagni positivi.
• Correzione Cross-Type: HA-MoE ha ridotto significativamente il divario di ranking tra Articoli Web e Video. Il divario nella xAUC cross-type (Vid+ vs. Web−) è migliorato da 0,141 (Shared MLP) a 0,060 (HA-MoE), dimostrando la capacità del modello di impedire che articoli di bassa qualità sopprimano video di alta qualità.

A/B Testing Online

Distribuito sull'1% del traffico live in Google Discover (centinaia di milioni di DAU), il modello HA-MoE ha mostrato incrementi statisticamente significativi:

• Attività del Feed: +0,22% DAU e +0,48% Viewed Impressions.
• Esplorazione: +0,34% Scroll Depth, +0,36% Diverse Feed Rate e +0,54% Diverse Engagement Rate.
• Stabilità: Non sono state osservate regressioni nelle metriche operative principali. I risultati hanno validato che un migliore ranking eterogeneo si traduce in benefici tangibili per la salute dell'ecosistema.

5. Significato e Rivendicazioni

Il documento sostiene di presentare un caso di studio di produzione che valida l'efficacia della modellazione esplicita dell'eterogeneità nei sistemi di classificazione unificata. La sua importanza risiede in:

• Scalabilità Industriale: Dimostrare che l'adattamento dell'eterogeneità complessa può essere raggiunto entro i rigidi vincoli di produzione (latenza, archiviazione, velocità di addestramento), andando oltre le proposte teoriche verso la realtà implementata.
• Salute dell'Ecosistema: Provare che bilanciare l'utilità globale con la correttezza cross-segmento (tramite DL-AUC e HA-MoE) previene il "bias della maggioranza" che tipicamente degrada l'esperienza dell'utente nei feed del web aperto.
• Trasparenza Operativa: Stabilire LENS come uno strumento critico per mantenere la stabilità strutturale nelle pipeline di addestramento continuo, garantendo che gli aggiornamenti del modello non causino involontariamente il collasso della specializzazione funzionale.

Gli autori concludono che, sebbene la gestione dell'eterogeneità su larga scala rimanga una sfida in evoluzione, il loro approccio fornisce un robusto pattern di design per i sistemi di raccomandazione industriali, colmando il divario tra modellazione unificata e le diverse realtà del web aperto. Il lavoro futuro si concentrerà su un gating più espressivo, routing sparso e l'estensione della modellazione dell'eterogeneità al contesto a livello di utente e all'ottimizzazione listwise.