LATTE: Forecasting Peer Anchored Preference Trajectories for Personalized LLM Generation

Riepilogo Tecnico: LATTE – Previsione delle Traiettorie di Preferenza Ancorate ai Pari per la Generazione Personalizzata con LLM

Enunciato del Problema
La generazione personalizzata con Large Language Models (LLM) congelati richiede un segnale di condizionamento che sia sia compatto che attuale. Gli approcci esistenti si basano tipicamente sul recupero o sulla sintesi di storie utente in formato testuale, o sulla loro compressione in profili latenti statici e prompt soft. Sebbene efficienti, questi metodi trattano la storia utente come un profilo aggregato, confondendo identità stabile, deriva comportamentale recente e contenuto specifico degli elementi in un'unica rappresentazione. Questa aggregazione statica non riesce a catturare gli spostamenti temporali nelle preferenze dell'utente (ad esempio, un revisore che diventa più tecnico nel tempo) e spesso risulta in profili obsoleti o dominati dal contenuto che non corrispondono allo stato attuale dell'utente. La sfida fondamentale consiste nel condizionare un LLM congelato allo stato di preferenza attuale di un utente senza eseguire il fine-tuning del modello o aggiungere parametri specifici per l'utente.

Metodologia: Framework LATTE
Gli autori propongono LAtent Trajectory Tracking and Extrapolation (LATTE), un framework che riformula la personalizzazione come previsione di uno "stato di preferenza relativa ancorato ai pari". Il metodo opera in tre fasi distinte e disaccoppiate:

1. Costruzione di Stati Relativi Ancorati ai Pari:
   Per ogni sessione storica, LATTE costruisce uno stato che isola la preferenza specifica dell'utente dalle variazioni condivise degli elementi.

   • Baseline dei Pari: Per l'interazione di un utente target con un elemento $i_t$ al tempo $\tau_t$, il sistema identifica un insieme di utenti "pari" comparabili che hanno recensito lo stesso elemento prima di $\tau_t$.
   • Calcolo del Residuo: Il sistema calcola una media ponderata degli embedding di risposta dei pari (la baseline) e la sottrae dall'embedding di risposta dell'utente target.
   • Normalizzazione: Il residuo risultante viene normalizzato per formare un vettore di stato relativo ancorato ai pari. Questo processo rimuove matematicamente il componente condiviso dell'elemento (sotto l'assunzione di un modello di embedding additivo), lasciando un segnale che rappresenta come l'utente differisce da pari simili nello stesso contesto.

2. Previsione della Traiettoria:
   Invece di aggregare questi stati in una media statica, LATTE li tratta come una sequenza ordinata nel tempo.

   • Un predittore di sequenza leggero (ad esempio, un GRU, un Transformer o un meccanismo di attenzione appreso) viene addestrato offline per prevedere il prossimo stato nella traiettoria sulla base della storia osservata degli stati ancorati ai pari.
   • L'obiettivo di addestramento è una perdita di regressione diretta (similarità del coseno e MSE) per prevedere il prossimo stato costruito, disaccoppiando la previsione dello stato dalla perdita di modellazione linguistica. Ciò impedisce al vettore di condizionamento di collassare in una scorciatoia a basso rango che si basa esclusivamente sui metadati degli elementi.

3. Ponte Stato-Token (STB):
   Lo stato previsto viene iniettato nell'LLM congelato.

   • Un modulo ponte leggero mappa il vettore latente previsto nello spazio di embedding dei token dell'LLM.
   • Questo vettore sostituisce un singolo token segnaposto ([PREF_TOKEN]) nel prompt.
   • Un ancoraggio in linguaggio naturale precede il token per istruire l'LLM su come interpretare lo stato iniettato.
   • Crucialmente, i pesi dell'LLM rimangono congelati; vengono addestrati solo il ponte e il predittore.

Contributi Chiave

• Formulazione: Il documento formula la personalizzazione degli LLM congelati come previsione di uno stato di preferenza relativa ancorato ai pari, trasformando la storia utente da un profilo statico a una traiettoria latente ordinata nel tempo.
• Progettazione del Framework: Introduce un framework modulare (LATTE) che costruisce stati residui tra pari per lo stesso elemento, prevede il prossimo stato utilizzando un modello di sequenza leggero e inietta la previsione tramite un singolo token soft ancorato.
• Validazione Teorica ed Empirica: Gli autori forniscono dimostrazioni analitiche (Proposizioni 1 e 2) che dimostrano come l'ancoraggio ai pari riduca la variazione condivisa degli elementi e come la previsione della traiettoria offra un compromesso bias-varianza superiore alla media statica quando gli stati utente subiscono una deriva. Sperimentalmente, mostrano che i guadagni sono guidati dalla previsione di informazioni sulla traiettoria specifica dell'utente piuttosto che dalla semplice aggiunta di un'interfaccia di prompt soft.

Risultati Sperimentali
Il metodo è stato valutato su Amazon Reviews 2023 (Libri, Film, CD) e MemoryCD contro un set completo di baseline, inclusi metodi basati sul recupero, memoria di sintesi, profili latenti statici, profili statici consapevoli delle differenze (stile DEP) e compressione di prompt soft (stile PERSOMA).

• Prestazioni: LATTE ha costantemente superato tutte le baseline. Su Amazon Reviews 2023, LATTE (utilizzando un predittore GRU) ha raggiunto una ROUGE-L media di 0,259, migliorando la baseline latente statica più forte (0,245) e la baseline di compressione di prompt soft più forte (0,245).
• Fedeltà della Preferenza: Oltre alla sovrapposizione lessicale, LATTE ha mostrato miglioramenti significativi nei tassi di vittoria pairwise consapevoli della storia (64,0% contro il 58,6% per PERSOMA) e nelle metriche di fedeltà della preferenza, in particolare nell'allineamento "Recency", che si lega direttamente alla formulazione della traiettoria.
• Ablazione e Diagnostica:
  • La rimozione dell'ancoraggio ai pari ha quasi eliminato il guadagno di prestazioni rispetto alla compressione statica, confermando la necessità dell'ancoraggio ai pari.
  • L'addestramento end-to-end (senza regressione disaccoppiata) ha portato a un collasso della rappresentazione e a una generazione scarsa, validando la strategia di addestramento disaccoppiato.
  • Le diagnosi hanno confermato che il modello non disperde il consenso dei pari o il contenuto degli elementi e che gli stati appresi mantengono la variazione utente senza collassare in un vettore costante.

Significato e Affermazioni
Il documento afferma che modellare gli utenti come traiettorie in evoluzione piuttosto che come aggregati fissi è fondamentale per la generazione personalizzata, specialmente in contesti con storie lunghe dove il comportamento recente è determinante. Il significato di LATTE risiede nella sua capacità di:

1. Disaccoppiare Rappresentazione e Iniezione: Separando la previsione dello stato dal condizionamento dell'LLM, evita il problema della "scorciatoia" in cui il modello ignora il segnale utente.
2. Gestire la Deriva Temporale: Prevedendo il prossimo stato invece di mediare il passato, si adatta alle preferenze utente in cambiamento in modo più efficace rispetto ai profili statici.
3. Controllare il Contenuto: Utilizzando l'ancoraggio ai pari, isola il segnale di preferenza specifico dell'utente dalle caratteristiche intrinseche dell'elemento, fornendo un segnale di condizionamento più pulito per l'LLM.

Gli autori mantengono un ambito modesto, notando che il metodo richiede una storia utente sufficiente per la stima della traiettoria e assume l'esistenza di pari comparabili per gli elementi storici. Per gli utenti a freddo (cold-start), il framework ricade su esistenti baseline testuali o latenti statiche. Il lavoro si concentra sul miglioramento del meccanismo di condizionamento per LLM congelati senza richiedere il fine-tuning del modello.