Sintesi Tecnica: Bidirectional User Modeling via Profiles (BUMP)

Definizione del Problema

La personalizzazione dei Large Language Models (LLM) è una sfida critica man mano che questi modelli vengono implementati in sistemi di raccomandazione, ricerca, dialogo e generazione di contenuti. I metodi tradizionali di rappresentazione dell'utente, come gli embedding di collaborative filtering, non si interfacciano naturalmente con gli LLM sottoposti a instruction-tuning, i quali si affidano ai prompt per il condizionamento. Inoltre, la semplice concatenazione dell'intera cronologia di interazione di un utente in un prompt è impraticabile su larga scala a causa dei limiti della finestra di contesto, della latenza e del fenomeno "lost in the middle", dove i segnali salienti degradano in contesti lunghi.

Gli approcci esistenti per la generazione di profili utente in linguaggio naturale si basano tipicamente su ricompense esplicite derivate da task a valle etichettati (ad esempio, click-through rate o specifiche etichette di classificazione). Questa dipendenza crea colli di bottiglia significativi:

1. Scalabilità: Le ricompense sono costose e sparse, richiedendo una supervisione annotata per ogni task target.
2. Generalizzazione: I profili ottimizzati per un compito specifico etichettato potrebbero non trasferirsi bene ad altri domini o scenari zero-shot.
3. Bias: I profili diventano caratteristiche ingegnerizzate per specifici classificatori piuttosto che descrizioni fedeli dell'utente.

Il paper sostiene che un generatore di profili robusto dovrebbe essere addestrabile senza alcun label di task a valle, basandosi esclusivamente su log di interazione grezzi.

Metodologia: BUMP

Gli autori introducono il Bidirectional User Modeling via Profiles (BUMP), un framework auto-supervisionato che addestra un generatore di profili utilizzando solo dati di interazione utente grezzi. L'intuizione centrale è che un profilo di alta qualità deve soddisfare due proprietà complementari:

1. Predittiva: Il profilo deve predire le interazioni future (non utilizzate per la supervisione) dell'utente.
2. Identificativa: Le interazioni dell'utente devono identificare univocamente il profilo tra altri utenti.

Framework di Addestramento

Il sistema impiega un algoritmo di Group Relative Policy Optimization (GRPO) per addestrare una policy $\pi_\theta$ (il generatore di profili) utilizzando un piccolo LLM congelato come giudice ($J$). Il processo di addestramento opera su un batch di utenti $\mathcal{B}$:

1. Partizione dei Dati: Per ogni utente $u$, la cronologia delle interazioni viene divisa in un prefisso visibile ($H^{vis}_u$) utilizzato per la generazione e una porzione tenuta fuori ($H^{ho}_u$) utilizzata per la supervisione.
2. Design della Ricompensa Bidirezionale: Il giudice congelato $J$ calcola una ricompensa densa basata su due direzioni di ranking:
   • Direzione Forward (Profilo $\to$ Cronologia): Il profilo generato $s_u$ viene utilizzato come query per classificare gli articoli tenuti fuori dell'utente ($H^{ho}_u$) rispetto agli articoli in-batch di altri utenti. La ricompensa è un punteggio NDCG multi-positivo.
   • Direzione Backward (Cronologia $\to$ Profilo): Un articolo tenuto fuori $h^{(p)}_u$ viene utilizzato come query per classificare il profilo generato dell'utente $s_u$ rispetto ai profili di altri utenti nel batch. La ricompensa è un punteggio NDCG singolo-positivo.
3. Regolarizzazione:
   • Debiasing della Posizione: Per mitigare il bias di posizione del list-ranker dell'LLM, gli articoli candidati vengono presentati in $M$ ordini casuali, e i punteggi NDCG vengono mediati.
   • Penalità di Lunghezza: Una penalità soft viene applicata se il profilo supera una soglia di token $T$ per evitare che il modello pratichi il "reward hacking" riempiendo i profili con testo boilerplate generico.
4. Ottimizzazione: La ricompensa totale $R(s_u)$ combina i punteggi NDCG delle direzioni forward e backward meno la penalità di lunghezza. GRPO aggiorna $\pi_\theta$ per massimizzare questa ricompensa.

BUMP+: Hard-Negative Mining

Per affrontare il problema in cui i negativi casuali in-batch sono troppo facili (topicamente non correlati), gli autori propongono BUMP+. Questa variante utilizza un modello di embedding congelato (BGE) per estrarre negativi più difficili (hard negatives):

• Forward: Seleziona articoli tenuti fuori dall'utente che sono topicamente distinti dalla sua cronologia visibile (bassa similarità con il centroide della cronologia).
• Backward: Seleziona profili da utenti le cui cronologie visibili sono topicamente simili all'utente target, costringendo il giudice a distinguere tra profili utente altamente simili.

Contributi Chiave

1. Nuovo Obiettivo Auto-Supervisionato: Il paper formula la generazione di profili utente come un problema di ranking in-batch bidirezionale, derivando una supervisione densa dai log grezzi senza label di task a valle.
2. BUMP e BUMP+: L'instanziazione di questo obiettivo utilizzando GRPO e un giudice LLM congelato, potenziata dal hard-negative mining per affinare il segnale di apprendimento.
3. Validazione Empirica: Dimostrare che un modello con 4 miliardi di parametri auto-supervisionato può eguagliare o superare API closed-source (es. Gemini-3-Pro) e metodi precedenti che dipendono da ricompense etichettate.

Risultati Sperimentali

Il framework è stato valutato sul benchmark LaMP, coprendo sei task in cinque domini (classificazione, regressione e generazione).

• Performance vs Metodi Supervisionati per Task: BUMP+ ha eguagliato o superato il baseline "Direct Reward" (che utilizza segnali etichettati a valle) in 9 righe di metriche su 11. Ciò conferma che l'auto-supervisione può sostituire le ricompense etichettate.
• Performance vs API Closed-Source: BUMP+ ha superato Gemini-3-Pro (closed-source) in tutte le 11 righe di metriche, nonostante utilizzi un modello open-weight significativamente più piccolo (4B).
• Confronto con la Cronologia Raw: Mentre la cronologia raw ha performato meglio nei task di generazione (dove viene premiata la sovrapposizione n-gram superficiale), BUMP+ ha superato significativamente la cronologia raw nei task di classificazione e rating, dove le preferenze topiche sono più critiche rispetto al testo letterale.
• Studi di Ablazione:
  • Rimuovere la direzione forward o quella backward ha degradato le performance, confermando che entrambe sono necessarie.
  • La direzione "Forward" da sola è stata più efficace della "Backward" da sola, suggerendo che il termine forward guida il segnale primario rilevante per il task, mentre il termine backward agisce come regolarizzatore contro i profili generici.
  • Il hard-negative mining (BUMP+) ha fornito guadagni significativi rispetto ai negativi casuali, sebbene un eccessivo mining abbia introdotto rumore.

Significato e Rivendicazioni

Il paper afferma che l'apprendimento auto-supervisionato può efficacemente sostituire le ricompense etichettate a valle per l'addestramento di profili utente testuali. Sfruttando la struttura intrinseca dei log di interazione degli utenti attraverso il ranking bidirezionale, BUMP genera profili che sono:

• Task-Agnostic: Ottimizzati per essere una descrizione fedele dell'utente piuttosto che una feature per un classificatore specifico, consentendo il trasferimento tra task senza ri-addestramento.
• Scalabili: Il budget di supervisione cresce automaticamente con la popolazione di utenti invece di richiedere annotazioni manuali.
• Efficienti: I profili risultanti sono rappresentazioni compatte e di dimensione fissa che possono essere pre-calcolate e memorizzate in cache, evitando i costi di latenza e memoria del processamento delle intere cronologie di interazione durante l'inferenza.

Gli autori riconoscono i limiti, inclusi i potenziali bias inerenti all'approccio LLM-as-a-judge (es. verbosità, auto-preferenza) e la dipendenza dalla similarità di embedding come proxy per la confondibilità nel hard-negative mining. Tuttavia, i risultati suggeriscono che l'auto-supervisione bidirezionale è un'alternativa valida e potente alla tradizionale generazione di profili supervisionata.