Sintesi Tecnica: Non contrastare l'impossibile

Definizione del Problema

Nei sistemi di raccomandazione su larga scala, l'apprendimento contrastivo è il paradigma standard per apprendere le rappresentazioni degli utenti. Questi metodi trattano tipicamente le interazioni utente-item osservate come positive e altri item all'interno di un mini-batch come negativi. Un'ipotesi comune, spesso implicita, alla base del campionamento casuale dei mini-batch è l'esposizione universale: l'idea che qualsiasi utente potrebbe teoricamente essere esposto a qualsiasi item.

Questa ipotesi fallisce sulle piattaforme a comunità locale come Karrot (Danggeun Market), dove l'esposizione è geograficamente vincolata per design. Su tali piattaforme, la stragrande maggioranza delle coppie utente-item è impossibile per policy; gli item situati al di fuori della regione visibile a un utente non saranno mai esposti a quell'utente. Di conseguenza, il normale batching casuale introduce un alto volume di negativi impossibili — item che un utente non avrebbe mai potuto vedere a causa delle regole geografiche, non per mancanza di preferenza.

Il documento distingue tra due tipi di negativi:

1. Negativi Fattibili: Item a cui un utente avrebbe potuto essere esposto ma che ha scelto di non interagire. Questi portano un segnale di preferenza significativo.
2. Negativi Impossibili: Item che un utente non potrebbe mai aver visto a causa dei vincoli della piattaforma. Questi portano poco o nessun segnale di preferenza, poiché la mancata interazione è determinata dal sistema e non dalla scelta dell'utente.

Quando i negativi impossibili dominano un batch di addestramento, diluiscono il segnale di apprendimento contrastivo, portando a rappresentazioni dell'utente meno discriminanti.

Metodologia: Campionamento dei Batch Vincolato alla Regione (RCBS)

Per affrontare il problema dei "negativi impossibili", gli autori propongono il Region-Constrained Batch Sampling (RCBS). Si tratta di una correzione a livello di dati che modifica il modo in cui vengono costruiti i mini-batch senza alterare l'architettura del modello sottostante o la funzione di perdita.

Meccanismo Core

RCBS costruisce mini-batch regione-omogenei. Inveve di campionare utenti uniformemente in modo casuale da tutta la piattaforma, RCBS campiona utenti da una specifica regione geografica $r$.

• Definizione di Fattibilità: Una coppia utente-item è definita fattibile se la distanza tra la regione dell'utente e la regione dell'item è entro un raggio di esposizione specifico per l'utente $\delta_u$.
• Costruzione del Batch: Un batch $\mathcal{B}_r$ viene formato campionando utenti uniformemente da un pool di regioni specifico $U_r$. Poiché tutti gli utenti nel batch condividono vincoli di esposizione simili, gli item associati ad altri utenti nel batch sono altamente probabili che siano negativi fattibili per l'utente target.

Impatto Teorico

Gli autori derivano che, sotto il batching casuale, la frazione attesa di negativi impossibili ($\rho$) è elevata e scala con il numero di regioni. Al contrario, RCBS concentra la massa di probabilità su una singola regione, portando $\rho$ vicino allo zero.

• Negativi Più Difficili (Harder Negatives): Sostituendo i negativi impossibili con quelli fattibili, RCBS introduce naturalmente "negativi più difficili". I negativi fattibili rappresentano item che l'utente avrebbe potuto vedere ma non lo ha fatto, fornendo un segnale più forte e informativo per l'apprendimento delle preferenze dell'utente.
• Complementarità con IPS: Il documento nota che RCBS è complementare allo Scoring della Propensione Inversa (IPS). Mentre l'IPS corregge il bias di esposizione tra le coppie osservate, non può gestire le coppie con probabilità di esposizione pari a zero (coppie impossibili). RCBS assicura che il batch di addestramento consista principalmente di coppie fattibili, sulle quali l'IPS può poi operare per correggere i residui di squilibrio.

Contributi Chiave

1. Identificazione del Problema: Il documento identifica il problema specifico dei "negativi impossibili" nei sistemi di raccomandazione vincolati dalla regione, distinguendoli dai normali negativi basati sulla preferenza.
2. Proposta di RCBS: Introduce il Region-Constrained Batch Sampling, un metodo semplice ed efficace per ridurre i negativi impossibili imponendo l'omogeneità geografica nei mini-batch.
3. Validazione Empirica: Attraverso estese valutazioni offline e online, gli autori dimostrano che RCBS migliora la qualità della rappresentazione dell'utente e le prestazioni a valle.
4. Deployment in Produzione: Le embedding dell'utente risultanti, apprese tramite RCBS, sono state implementate con successo in varie applicazioni in produzione presso Karrot.

Risultati Sperimentali

Valutazione Offline (Pre-addestramento del Modello Utente)

• Metriche: Recall@10 e Recall@100.
• Risultati: I modelli addestrati con RCBS hanno superato costantemente i baseline di batching casuale.
  • Random-Train: Ha raggiunto un R@10 di 0.100 con un rapporto di negativi impossibili ($\rho_{train}$) di 0.98.
  • RCBS-Train (fine): Ha raggiunto un R@10 di 0.149 con $\rho_{train}$ ridotto a 0.30.
• Osservazione: Un rapporto inferiore di negativi impossibili era fortemente correlato a migliori metriche di recall. Inoltre, valutare i modelli addestrati con RCBS utilizzando una valutazione basata su RCBS (RCBS-Eval) ha prodotto punteggi inferiori rispetto a Random-Eval, confermando che i negativi fattibili agiscono come negativi più difficili e impegnativi rispetto a quelli impossibili.

Performance sui Task a Valle (Downstream Tasks)

Quando applicate a tre task a valle, le embedding dell'utente addestrate con RCBS hanno mostrato miglioramenti costanti rispetto ai baseline di batching casuale:

• Ranking del Home Feed: Miglioramento del +1.18% in NDCG@10.
• Retrieval del Home Feed: Miglioramento del +7.56% in Recall@10 (il guadagno maggiore, attribuito alla somiglianza strutturale tra gli obiettivi di retrieval e pre-training).
• Ranking Display Ads: Miglioramento del +3.38% in PR-AUC.

Test A/B Online

Il modello con le migliori prestazioni (RCBS-Train fine) è stato distribuito in test A/B in produzione:

• Home Feed (Ranking + Retrieval): Incremento del +10.0% nei click, +5.12% nelle impressioni e +1.91% nei Daily Active Viewers (DAV).
• Display Ads: Incremento del +6.01% in eCPM e +7.46% in Ad CTR.

Significato e Affermazioni

Il documento sostiene che il problema dei "negativi impossibili" è un problema critico e spesso trascurato nei servizi basati sulla posizione (es. consegna cibo, app di dating, mercati locali) dove l'esposizione è strettamente limitata dalla geografia. Semplicemente vincolando il processo di batching alla omogeneità regionale, gli autori dimostrano che:

1. I segnali di addestramento sono rafforzati: Sostituire i negativi impossibili con quelli fattibili fornisce una riflessione più accurata della preferenza dell'utente.
2. La performance è scalabile: Il metodo migliora le metriche di retrieval e ranking in tutto il campo, portando a un significativo impatto commerciale in un ambiente di produzione.
3. La semplicità è efficace: La soluzione non richiede modifiche all'architettura del modello o alla funzione di perdita, rendendola un sostituto pratico e diretto per il normale batching casuale nei sistemi geograficamente vincolati.

Gli autori concludono che, sebbene RCBS affronti efficacementamente l'impossibilità strutturale di certe coppie, il lavoro futuro potrebbe esplorare il raggruppamento adattivo delle regioni per vincoli dinamici e un'ulteriore integrazione con i metodi di debiasing basati sulla propensione.