Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

1. Il Problema: Rilevanza vs. Utilità nella Personalizzazione

Il lavoro affronta una sfida fondamentale nell'adattamento dei Large Language Models (LLM) a utenti specifici: come costruire profili utente ottimali per guidare la generazione di risposte personalizzate senza modificare i parametri del modello (approccio retrieval-augmented).

Gli autori identificano due limiti critici negli approcci esistenti:

• La rilevanza non è un proxy affidabile per l'utilità: I metodi tradizionali selezionano i record storici dell'utente basandosi sulla similarità semantica o lessicale con la query corrente. Tuttavia, un record può essere semanticamente simile alla query ma inutile o dannoso per la generazione (es. a causa di ridondanza o informazioni conflittuali).
• L'aggregazione greedy è subottimale: Selezionare i record più rilevanti in modo indipendente (top-k greedy) ignora le dipendenze complesse tra i record. La combinazione di record utili singolarmente può peggiorare le prestazioni se introducono interferenze o vincoli contraddittori nel contesto.

L'obiettivo è quindi trovare un meccanismo di selezione e ordinamento dei record che massimizzi direttamente la qualità della generazione downstream (utilità), piuttosto che la semplice similarità con la query.

2. Metodologia: PURPLE

Gli autori propongono PURPLE (oPtimizes UseR Profiles for LLM pErsonalization), un framework basato sui Contextual Bandits (banditi contestuali) che tratta la costruzione del profilo utente come un processo di generazione sensibile all'ordine.

Formulazione del Problema

Il problema è modellato come un bandito contestuale:

• Contesto ($C$): Composto dalla query corrente ($x$) e dalla collezione di record storici dell'utente ($H$).
• Azione: La selezione di un sottoinsieme ordinato di $K$ record da $H$ per formare un profilo $P$. L'ordine è cruciale perché influenza l'input del LLM.
• Ricompensa ($R$): Misura la qualità della risposta generata dall'LLM (fissato) quando condizionato dal profilo $P$ e dalla query $x$, rispetto a una risposta di riferimento personalizzata ($y$).

Architettura del Modello

1. Codificatore dei Record ($f_\theta$): Utilizza un approccio di late interaction. I record e la query vengono prima codificati token-per-token (usando un encoder pre-addestrato come Contriever) e fusi tramite cross-attention. Successivamente, un encoder Transformer modella le dipendenze inter-record (interazioni tra i diversi record storici) per catturare ridondanza e complementarità.
2. Modello di Punteggio (Propensity Scores): Il modello genera un punteggio di propensione per ogni record.
3. Modello di Ranking (Plackett-Luce): Per gestire la natura ordinata del profilo, PURPLE utilizza il modello di ranking Plackett-Luce. Questo converte i punteggi di propensione in una distribuzione di probabilità su tutte le possibili permutazioni di $K$ record, permettendo al modello di imparare non solo quali record scegliere, ma anche in quale ordine presentarli.

Funzione di Ricompensa e Addestramento

• Ricompensa: Invece di metriche di valutazione superficiali (come ROUGE o accuratezza), PURPLE utilizza il log-likelihood assegnato dall'LLM alla risposta di riferimento ($y$) come segnale di ricompensa. Questo fornisce un feedback semantico ricco e granulare, capace di distinguere tra profili plausibili e ottimali anche quando le metriche finali sono simili.
• Ottimizzazione: Il modello viene addestrato end-to-end utilizzando il Policy Gradient (metodo REINFORCE). Poiché lo spazio delle azioni (tutte le permutazioni) è troppo grande per essere enumerato, si campionano $M$ profili durante l'addestramento per stimare il gradiente.

3. Contributi Chiave

1. Nuovo Paradigma: Introduce PURPLE, che riformula la personalizzazione tramite retrieval come un problema di banditi contestuali, ottimizzando dinamicamente i profili utente oltre le euristiche statiche.
2. Modellazione delle Dipendenze: Dimostra l'importanza di modellare le interazioni tra i record (tramite il modello Plackett-Luce) e l'ordine di presentazione, superando i limiti della selezione indipendente.
3. Segnale di Ricompensa Semantico: Propone l'uso del log-likelihood della risposta di riferimento come segnale di ricompensa, che si è rivelato superiore alle metriche di task-specific per l'addestramento del policy.
4. Validazione Estensiva: Sperimentazione su nove task di personalizzazione (classificazione, regressione, generazione di testo breve e lungo) che coprono scenari reali complessi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark come LaMP e LongLaMP, utilizzando LLM congelati di diverse dimensioni (da Phi-4-Mini a Llama-3-70B).

• Prestazioni Superiori: PURPLE supera costantemente i baselines forti, inclusi:
  • Recuperatori basati su euristiche (BM25, Contriever).
  • Reranker zero-shot basati su LLM (RankGPT, ICR).
  • Modelli RALM (In-Context Retrieval-Augmented Language Models) come IC-RALM e REPLUG.
• Efficienza: Nonostante l'ottimizzazione complessa, PURPLE mantiene un'alta efficienza computazionale (throughput), superando metodi come RankGPT che richiedono modelli più grandi e costosi in inferenza.
• Robustezza: Il metodo funziona bene su task di regressione (es. valutazione di prodotti) e generazione, dimostrando che il log-likelihood è un segnale di ricompensa universale.
• Valutazione Umana: In una valutazione umana su task di parafrasi di tweet, PURPLE è stato preferito rispetto a ICR nel 57.2% dei casi (vs 42.8%), dimostrando una migliore capacità di catturare sfumature stilistiche e toni informali.
• Ablation Study: L'analisi conferma che la rimozione dell'attenzione cross-token, la rimozione della modellazione delle dipendenze tra record (RDM) o l'uso di metriche di reward tradizionali portano a un calo significativo delle prestazioni.

5. Significato e Implicazioni

Il lavoro di PURPLE è significativo perché:

• Sposta il focus dalla Rilevanza all'Utilità: Dimostra che per la personalizzazione, ciò che è semanticamente simile non è necessariamente ciò che è utile per l'utente.
• Soluzione Scalabile e Pratica: Offre un approccio che non richiede il fine-tuning dei parametri dell'LLM (evitando costi computazionali elevati e problemi di sicurezza), rendendo la personalizzazione in tempo reale fattibile su larga scala.
• Paradigma Principale: Stabilisce i banditi contestuali come un paradigma fondato e scalabile per l'ottimizzazione dei profili utente, aprendo la strada a futuri lavori su segnali di feedback più deboli (es. segnali di engagement impliciti) e generalizzazione tra task.

In sintesi, PURPLE rappresenta un avanzamento metodologico cruciale per rendere gli LLM veramente personali, trasformando la selezione del contesto da un problema di recupero statico a un processo di ottimizzazione adattiva e sensibile al contesto.