Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

1. Il Problema

I recenti progressi nei Modelli Linguistici su Grande Scala (LLM) hanno migliorato l'allineamento con le preferenze umane generali (utilità, innocuità, onestà). Tuttavia, persiste una sfida fondamentale nell'adattare questi modelli alle preferenze individuali, che presentano due caratteristiche critiche spesso ignorate dalle metodologie attuali:

1. Diversità ed Eterogeneità: Le preferenze variano notevolmente tra gli individui (es. alcuni sono avversi al rischio, altri propensi).
2. Dinamicità e Conflitto: Le preferenze di un singolo individuo non sono statiche; possono cambiare in base al contesto, all'umore o al compito. Inoltre, un utente può esprimere preferenze contraddittorie (es. essere cauto in una situazione di sicurezza ma propenso al rischio in un contesto di investimento).

Le metodologie esistenti (come SFT o DPO standard) tendono a ottimizzare per un'unica direzione di preferenza o richiedono modelli separati per ogni preferenza, risultando inefficienti e incapaci di gestire conflitti valoriali all'interno dello stesso utente. Inoltre, i dati reali sono spesso impliciti e scarsi, rendendo difficile l'addestramento su dataset espliciti.

2. Metodologia: Preference-Paired Fine-Tuning (PFT)

Gli autori propongono un nuovo paradigma di addestramento chiamato Preference-Paired Fine-Tuning (PFT) e un nuovo dataset, Value Conflict Dilemma (VCD).

A. Il Dataset VCD

È stato creato un nuovo dataset specifico per valutare la capacità dei modelli di navigare scenari con conflitti di valore intrinseci.

• Dimensioni: Include quattro dimensioni di conflitto psicologico: Rischio (propenso vs. avverso), Sociale (competitivo vs. collaborativo), Tempo (gratificazione immediata vs. ritardata) e Decisionale (intuitivo vs. analitico).
• Struttura: Ogni scenario presenta coppie di risposte contraddittorie etichettate con preferenze opposte, permettendo un addestramento "paired" (accoppiato).

B. Il Framework PFT

L'approccio PFT si basa sull'idea che un singolo modello possa apprendere a generare risposte diverse per preferenze opposte se addestrato su coppie di preferenze contraddittorie nello stesso scenario.

• Obiettivo di Addestramento: Invece di ottimizzare solo per la risposta "migliore" (come nel DPO standard), PFT utilizza una funzione di perdita sincrona che ottimizza simultaneamente entrambi i lati della contraddizione:
  $$L_{PFT}(\theta) = \mathbb{E} [\lambda_+ \ell(\theta; x, p^+, y^+) + \lambda_- \ell(\theta; x, p^-, y^-)]$$
  Dove $p^+$ e $p^-$ sono preferenze opposte sullo stesso input $x$.
• Generalizzazione sul Manifold delle Preferenze: Gli autori modellano le preferenze dell'utente come un manifold a bassa dimensionalità. Addestrando su coppie conflittuali, il modello impara a navigare lungo le direzioni di differenza tra le preferenze, riducendo il raggio di copertura ($\epsilon$) e la sensibilità alle preferenze ($L_p$). Questo permette al modello di generalizzare a preferenze miste o non viste durante l'addestramento.
• Personalizzazione Rapida: Con pochi dati storici dell'utente, il modello può inferire rapidamente un vettore di preferenza e adattarsi tramite In-Context Learning (ICL) senza bisogno di un ri-addestramento completo.

3. Contributi Chiave

1. Nuovo Dataset (VCD): Risolve la mancanza di risorse di alta qualità per scenari con conflitti di valori espliciti, supportando generazione open-ended e valutazione multidimensionale.
2. Nuovo Paradigma di Addestramento (PFT): Dimostra che un singolo modello può allinearsi a preferenze contraddittorie e dinamiche, superando i limiti dei metodi "single-preference" che richiedono modelli separati.
3. Efficienza dei Dati: PFT raggiunge prestazioni superiori anche con dati di addestramento limitati (circa 1.000 esempi), mostrando una maggiore efficienza rispetto a SFT e DPO.
4. Personalizzazione Dinamica: Il metodo permette un adattamento rapido alle preferenze individuali utilizzando dati storici minimi, superando i modelli statici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Qwen2.5 (3B, 7B) e Llama-3.1 (8B), confrontando PFT con Baseline, SFT, DPO, CPO e CAA.

• Prestazioni Superiori: PFT ha ottenuto i risultati migliori in tutti i backbones testati.
  • Classificazione Multi-Choice: Ha raggiunto una precisione fino al 96,67% (con Llama-3.1-8B), superando significativamente i metodi a preferenza singola.
  • Generazione Open-Ended: Ha ottenuto il punteggio più alto nella valutazione umana (8,69 su 10), indicando una migliore capacità di esprimere preferenze contraddittorie in modo fluido e coerente.
• Gestione del Conflitto: Mentre DPO e SFT spesso falliscono quando si tratta di gestire preferenze opposte (o richiedono modelli separati), PFT mantiene alte prestazioni su entrambi i lati della coppia di preferenze.
• Efficienza: Anche con dataset ridotti, PFT supera i metodi tradizionali. L'analisi di ablazione mostra che le prestazioni convergono a quelle dei modelli a preferenza singola solo quando il numero di esempi scende drasticamente (sotto i 650), confermando la robustezza del metodo.
• Personalizzazione: Con soli 3 esempi storici, il modello può inferire il vettore di preferenza e adattarsi, ottenendo un miglioramento del 44,76% nell'allineamento rispetto ai modelli a preferenza singola.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso l'allineamento personalizzato e consapevole dei conflitti negli LLM.

• Scalabilità: PFT offre una soluzione scalabile per la personalizzazione, evitando il costo computazionale di addestrare e distribuire modelli separati per ogni utente o preferenza.
• Realismo: Riconosce la natura dinamica e talvolta contraddittoria della psicologia umana, permettendo agli AI di adattarsi a contesti complessi (es. un utente che vuole essere creativo ma sicuro allo stesso tempo).
• Futuro della Ricerca: Apre la strada a sistemi di raccomandazione e assistenti personali che non solo rispettano le preferenze statiche, ma comprendono e gestiscono le fluttuazioni e i dilemmi valoriali degli utenti in tempo reale.

In sintesi, il paper dimostra che l'addestramento su coppie di preferenze conflittuali permette di costruire un unico modello robusto capace di adattarsi a una vasta gamma di preferenze individuali dinamiche, superando i limiti delle attuali tecniche di allineamento.