Riepilogo Tecnico: BACH (Bayesian Admixture of Contrastive Heads)

1. Definizione del Problema

I retriever a due torri (two-tower retrievers) sono lo standard per la generazione di candidati su larga scala nei sistemi di raccomandazione, mappando utenti e item in uno spazio di embedding condiviso il cui punteggio è determinato dal prodotto scalare. Tuttavia, i modelli standard a singolo vettore faticano a rappresentare utenti con interessi diversificati e debolmente correlati, costringendo spesso tutti gli interessi a collassare in un unico punto nello spazio degli embedding. Ciò porta a liste di recupero che sovrarappresentano gli interessi dominanti e sottoservono gli altri.

I modelli multi-interesse tentano di risolvere questo problema emettendo $k$ embedding utente (head) e calcolando il punteggio dell'item tramite il prodotto scalare massimo tra questi head. Tuttavia, gli approcci esistenti soffrono di due criticità fondamentali:

1. Collasso del Routing (Routing Collapse): L'addestramento tramite "hard-routing" (dove solo l'head con il punteggio più alto rispetto all'item positivo riceve gradienti) crea una dinamica "vincitore prende tutto". Gli head inizializzati con prestazioni leggermente inferiori vengono selezionati meno frequentemente, ricevono meno aggiornamenti e progressivamente collassano in copie dell'head dominante, lasciando la capacità effettiva al di sotto di $k$.
2. Mancanza di Ponderazione degli Interessi per Utente: I metodi esistenti trattano tutti i $k$ head in modo simmetrico, non fornendo una stima per ogni utente della probabilità che un determinato head spieghi il prossimo item. Di conseguenza, le regole di serving scelgono l'head con il punteggio massimo o prendono l'unione delle liste superiori sotto un'implicita prior uniforme, fallendo nel riflettere l'eterogeneità dell'importanza degli interessi per specifici utenti.

2. Metodologia: BACH

Gli autori propongono BACH (Bayesian Admixture of Contrastive Heads), che inquadra il recupero multi-interesse a due torri come un mix di softmax per utente, adattato tramite inferenza variazionale.

Modello Generativo

BACH tratta i $k$ head utente come componenti di un modello di miscela finita. Per un utente $u$ e un item $i$:

• Viene introdotto un indicatore di componente latente $z_n \in \{1, \dots, k\}$ con un prior per utente $\pi_u$ (un vettore di pesi della miscela).
• Condizionatamente a $z_n = r$, l'item è generato da una distribuzione di softmax campionato definita dall' $r$-esimo embedding utente $u^{(r)}$.
• La log-verosimiglianza dei dati osservati è la marginale sulla miscela di head latenti: $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$.

Inferenza Variazionale e Posteriore di Riconoscimento

L'ottimizzazione diretta della log-verosimiglianza è complessa a causa del termine log-di-somma. BACH impiega l'inferenza variazionale per massimizzare l'Evidence Lower Bound (ELBO).

• Posteriore di Riconoscimento: Invece di utilizzare il proprio posteriore dipendente dai negativi del modello (che è intrattabile al momento del serving), BACH introduce un posteriore di riconoscimento sferico $\gamma_n$ sugli head.
• Scelta del Kernel: Il posteriore è modellato utilizzando una densità sferica (predefinitamente Power-Spherical, con von Mises-Fisher come alternativa). La densità è parametrizzata dalla direzione dell'head $u^{(r)}$ e da un parametro di concentrazione $\kappa_r$.
• Responsabilità (Responsibilities): La distribuzione variazionale (responsabilità) $\gamma_n^{(r)}$ è calcolata come:
  $$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$$
  dove $\sigma_r(n)$ è il valore della densità sferica basato sull'allineamento tra l'head e l'item positivo.

Ottimizzazione

Il modello massimizza l'ELBO congiuntamente su:

1. Embeddings ($\theta, \phi$): Le torri degli head utente e dell'item sono addestrate tramite una loss contrastiva pesata sulle responsabilità (responsibility-weighted contrastive loss). A differenza dell'hard-routing, i gradienti fluiscono attraverso tutti i $k$ head, pesati dalla loro responsabilità $\gamma_n^{(r)}$, mitigando il collasso del routing.
2. Pesi della Miscela ($\pi_u$): Una torre di gating $\pi_\xi(x_u)$ produce i pesi per ogni utente. Questi pesi agiscono come un prior nell'ELBO e vengono riutilizzati al momento del serving per pesare il recupero degli head.
3. Concentrazioni ($\psi$): I parametri di concentrazione $\kappa_r$ vengono appresi per adattarsi alla nitidezza del posteriore contrastivo. Fondamentalmente, poiché $\kappa_r$ entra nell'ELBO solo attraverso il termine di divergenza KL, essi sono auto-regolarizzati e non richiedono alcun prior esplicito o clipping.

Serving

Al momento del serving, BACH classifica gli item tramite la densità di miscela auto-normalizzata:
$$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$$
Ciò consente un recupero efficiente:

• Soft Ranking: Gli item sono classificati tramite una miscela "soft" piuttosto che un max "hard", permettendo agli head collassati o a bassa massa di contribuire minimamente.
• Variante Global Codebook: BACH supporta una modalità "globale" in cui gli head sono condivisi tra tutti gli utenti (un codebook di topic fisso), mentre $\pi_u$ rimane personalizzato. Questo abilita il recupero precomputabile, dove le liste di candidati per ogni head sono calcolate offline e poi pesate da $\pi_u$ al momento del serving, eliminando le query nearest-neighbor per ogni utente.

3. Contributi Chiave

• Formulazione Variazionale: Inquadrare il recupero multi-interesse come una miscela di softmax per utente, adattata tramite inferenza variazionale, sostituendo l'hard arg-max routing con responsabilità soft.
• Mitigazione del Collasso del Routing: Distribuendo i gradienti su tutti gli head in base alle responsabilità soft, BACH previene la dinamica "vincitore prende tutto" comune nei modelli multi-interesse a hard-routing.
• Ponderazione degli Interessi per Utente: Il modello apprende pesi di miscela espliciti per ogni utente ($\pi_u$) che quantificano l'importanza degli head, i quali vengono riutilizzati al serving per pesare i risultati del recupero, affrontando la mancanza di eterogeneità degli interessi.
• Concentrazioni Auto-Regolate: I parametri di concentrazione $\kappa_r$ sono adattati ai dati tramite il termine KL dell'ELBO, richiedendo nessun prior esterno e rimanendo naturalmente limitati.
• Scoring Coerente con il Serving: Il paper dimostra che l'addestramento con un obiettivo "coerente con il serving" (punteggiando ogni candidato con il suo miglior head, invece di puntare solo al positivo) supera il tradizionale addestramento target-routed.

4. Risultati Sperimentali

Gli autori hanno valutato BACH su tre benchmark su larga scala: MovieLens-20M, Taobao e Netflix.

• Performance: BACH ha superato tutti i baseline (single-vector, hard-routing multi-interest come MIND/ComiRec, e varianti max-routing) in tutte le metriche (Recall@K, NDCG@K, AUPRC) e per ogni numero di head ($k \in \{8, 16, 32\}$).
• Guadagni in Top-of-Ranking: I miglioramenti sono stati più significativi nella parte alta della classifica (AUPRC, R@10), indicando un migliore allineamento con l'intento dell'utente.
• Ablazione sul Routing: Il paper ha rilevato che la modalità "all-multihead" (punteggio di ogni candidato tramite il suo miglior head) ha superato significativamente la modalità "pos-multihead" (target routing), con gap che si ampliavano all'aumentare di $k$. BACH ha ulteriormente migliorato rispetto al baseline all-multihead.
• Varianti di Kernel: Le varianti Power-Spherical (p-BACH) e von Mises-Fisher (v-BACH) si sono comportate in modo comparabile, con i guadagni attribuiti alla struttura della miscela variazionale piuttosto che al particolare kernel sferico.
• Global Codebook: La variante global-codebook (head condivisi, pesi personalizzati) ha ottenuto prestazioni solide (superando i baseline di popolarità di 2-5 volte) offrendo al contempo un serving precomputabile a bassa latenza e robustezza al cold-start, pur scambiando una parte dell'accuratezza rispetto agli head completamente personalizzati.

5. Significato e Claim

Il paper sostiene che BACH fornisca un quadro probabilistico rigoroso per il recupero multi-interesse che affronta direttamente i difetti strutturali dei metodi a hard-routing. Trattando il problema come una miscela variazionale, esso ottiene:

1. Robustezza: Eliminazione del collasso degli head senza complesse euristiche di regolarizzazione.
2. Calibrazione: Produzione di pesi di interesse calibrati per utente che migliorano la coerenza del serving.
3. Flessibilità: Uno spettro di opzioni di deployment che vanno da head completamente personalizzati a un global codebook precomputabile, permettendo compromessi tra accuratezza ed efficienza di serving.

Gli autori sottolineano che il metodo migliora la qualità del recupero su dataset reali e su larga scala, mantenendo al contempo un'architettura di serving trattabile, rendendolo un avanzamento pratico rispetto ai baseline multi-interesse esistenti.