Robust Preference Alignment via Directional Neighborhood Consensus

1. Il Problema: Il "Gap di Copertura delle Preferenze"

Il lavoro affronta una sfida fondamentale nell'allineamento dei Large Language Models (LLM) con le preferenze umane: il gap di copertura delle preferenze (preference coverage gap).

• Natura del problema: Le preferenze umane possono essere visualizzate come vettori in uno spazio multidimensionale ad alta dimensionalità (es. un trade-off tra "utilità" e "verbosità"). Tuttavia, i dati di addestramento sono spesso concentrati in una regione ristretta che rappresenta la "media" o le preferenze dominanti.
• Conseguenze: Quando un utente richiede un output con una preferenza specifica che si discosta dalla tendenza centrale dei dati di addestramento (un caso Out-of-Distribution o OOD), il modello tende a fallire o a degradare in modo imprevedibile.
• Limiti delle soluzioni attuali: I metodi esistenti per colmare questo gap richiedono spesso un riaddestramento costoso (es. Data Augmentation, Ottimizzazione Robusta Distribuzionale - DRO), che non garantisce una generalizzazione completa su tutto lo spettro delle preferenze individuali.

2. Metodologia: Robust Preference Selection (RPS)

Gli autori propongono RPS, un metodo post-hoc e senza riaddestramento (training-free) che opera al momento dell'inferenza. L'idea centrale è passare da una generazione diretta basata su un singolo vettore di preferenza a un approccio basato sul consenso del vicinato direzionale.

L'algoritmo RPS si articola in tre fasi:

1. Costruzione del Vicinato (Neighborhood Construction): Invece di generare risposte direttamente dal vettore di preferenza target $v_{target}$ (che potrebbe essere OOD), RPS campiona $k$ vettori di preferenza vicini ($N_k$) all'interno di una soglia angolare $\theta_{max}$. Questi vettori vicini rappresentano direzioni più "ben addestrate" e affidabili per il modello.
2. Generazione Multi-Direzionale: Il modello genera una risposta distinta per ciascuno dei $k$ vettori di preferenza vicini. Questo crea un pool diversificato di candidati, sfruttando le capacità robuste del modello nelle regioni vicine dello spazio delle preferenze.
3. Selezione del Consenso (Consensus Selection): Tutte le $k$ risposte candidate vengono valutate rispetto alla preferenza originale dell'utente ($v_{target}$) utilizzando un modello di reward. La risposta che massimizza il punteggio proiettato sulla preferenza target viene selezionata come output finale.

3. Fondamenti Teorici

Il paper fornisce un quadro teorico che giustifica la superiorità di RPS rispetto a una baseline forte (che campiona $k$ volte dalla stessa direzione target).

• Assunzione 1 (Degradazione delle prestazioni OOD): Si assume che per una preferenza target OOD, le risposte generate da direzioni vicine (più vicine alla distribuzione di addestramento) abbiano un punteggio atteso superiore rispetto a quelle generate direttamente dalla direzione target.
• Condizione di Coerenza Locale: Si assume che la valutazione di una risposta generata da un vicino, quando valutata rispetto alla direzione target, sia un buon proxy per la sua qualità (la funzione di reward cambia in modo liscio con piccoli cambiamenti angolari).
• Teorema 1 (Superiorità della Generazione del Vicinato): Sotto queste assunzioni, il paper dimostra matematicamente che il punteggio massimo atteso ottenuto selezionando dal pool generato dal vicinato è strettamente superiore a quello ottenuto selezionando da $k$ campioni generati direttamente dalla direzione target. Questo si basa sulla dominanza stocastica di primo ordine delle distribuzioni di punteggio del vicinato rispetto alla baseline.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre paradigmi di allineamento distinti (DPA, DPO, SFT) e tre dataset (UltraFeedback, HelpSteer, HelpSteer2).

• Performance Generale: RPS ha superato costantemente la baseline in tutti i casi, raggiungendo tassi di vittoria (win rates) superiori al 50% in tutte le configurazioni.
• Robustezza OOD: Il vantaggio di RPS aumenta significativamente man mano che la preferenza target si discosta dalla distribuzione di addestramento (angoli più ampi, fino a 45°).
  • Su HelpSteer2 con modelli SFT, RPS ha raggiunto un tasso di vittoria del 69,3% (fino al 94,3% su direzioni specifiche molto OOD).
  • Su UltraFeedback con modelli DPA, il tasso di vittoria è salito dal 53,4% a 45° fino al 69,1%.
• Analisi dei Paradigmi: I modelli SFT (che non hanno un condizionamento esplicito sulle preferenze durante l'addestramento) hanno beneficiato maggiormente di RPS, suggerendo che il metodo agisce come una guida efficace all'inferenza per modelli non specializzati.
• Valutazione Umana e LLM: I risultati sono stati confermati da valutazioni umane (Amazon Mechanical Turk) e da un secondo giudice LLM (Claude Sonnet 4.5), che hanno mostrato preferenze coerenti per le risposte di RPS, specialmente nelle direzioni più OOD.
• Efficienza Computazionale: RPS non introduce sovraccarichi significativi. Poiché genera lo stesso numero di candidati ($k=5$) della baseline, il consumo di VRAM e la latenza sono quasi identici (differenza < 0,01%).

5. Contributi Chiave e Significato

• Definizione Formale: Il lavoro formalizza il "gap di copertura delle preferenze" come una sfida critica OOD che mina l'affidabilità degli LLM allineati.
• Soluzione Pratica e Teorica: Introduce RPS, un metodo che non richiede modifiche ai pesi del modello, offrendo una soluzione "plug-and-play" per migliorare la robustezza. La combinazione di una giustificazione teorica rigorosa (Teorema 1) con evidenze empiriche solide è un punto di forza distintivo.
• Impatto sull'Affidabilità AI: Il metodo dimostra che è possibile rendere i sistemi AI più adattabili e affidabili per esigenze individuali e sfumate senza i costi proibitivi del riaddestramento. Questo apre la strada a sistemi di intelligenza artificiale più controllabili e capaci di gestire la diversità delle preferenze umane in scenari reali.

In sintesi, il paper propone un cambio di paradigma: invece di forzare un modello a generare direttamente da una direzione di preferenza fragile e poco rappresentata, si sfrutta la conoscenza locale del modello (il vicinato) per generare candidati di alta qualità, selezionando poi quello che meglio soddisfa l'intento originale dell'utente.