SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

Riepilogo Tecnico: SHALA-LLM

Definizione del Problema

Molti compiti del linguaggio naturale incentrati sull'uomo, come l'Inferenza del Linguaggio Naturale (NLI) e il Riconoscimento delle Emozioni (ER), possiedono intrinsecamente molteplici interpretazioni plausibili. Ciò porta all'ambiguità delle etichette e a un significativo disaccordo tra gli annotatori umani, guidato da fattori come la comprensione contestuale, il background culturale e l'esperienza personale.

Gli attuali paradigmi di allineamento dei Large Language Models (LLM) trattano prevalentemente questo disaccordo tra annotatori come rumore. Tipicamente, collassano le annotazioni ambigue in un'unica etichetta "gold standard" tramite voto di maggioranza o media. Questo approccio scarta la ricca informazione racchiusa nel disaccordo umano, particolarmente in contesti altamente ambigui. Sebbene studi recenti abbiano esplorato l'allineamento distributivo, essi operano spesso durante l'inferenza (tramite prompting) piuttosto che ottimizzare direttamente gli LLM durante l'addestramento per tenere conto del disaccordo tra annotatori. Di conseguenza, i metodi esistenti non riescono a preservare l'intera distribuzione dei giudizi umani o a dare priorità dinamicamente ai campioni in cui l'ambiguità è più informativa.

Metodologia: SHALA-LLM

Gli autori propongono SHALA-LLM (Smartly Handling Ambiguous Labels in Aligning LLMs), un framework di apprendimento per rinforzo (RL) progettato per allineare direttamente gli LLM con le distribuzioni empiriche degli annotatori piuttosto che con singole etichette collassate. Il framework opera attraverso i seguenti componenti chiave:

1. Formulazione del Problema

Inveve di collassare le annotazioni in un'unica etichetta, SHALA-LLM deriva una Distribuzione Empirica delle Etichette ($p_q$) da $N$ annotatori umani per un dato campione $q$. Questa distribuzione rappresenta la probabilità di ogni classe candidata in base alla frequenza dei voti degli annotatori. L'obiettivo è addestrare l'LLM a generare predizioni ($\hat{p}$) che si allineino con questa distribuzione sottostante del giudizio umano.

2. Predizione della Distribuzione Verbalizzata

Per facilitare l'apprendimento distributivo, l'LLM viene istruito per generare distribuzioni verbalizzate. Invece di produrre una singola classe, il modello genera una risposta testuale contenente stime di probabilità per tutte le classi candidate (ad esempio, in formato JSON). Questi output testuali vengono analizzati per ottenere una distribuzione di probabilità predetta $\hat{p}^{(q,i)}$.

3. Design della Ricompensa: Ottimizzazione Potenziata dall'Ambiguità

L'innovazione principale risiede nella funzione di ricompensa utilizzata all'interno del framework Group Relative Policy Optimization (GRPO). La ricompensa $r^{SHALA}_{(q,i)}$ per un rollout campionato è definita come:

$$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$$

Dove:

• Termine di Allineamento Distributivo: $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$ misura l'accordo tra la distribuzione predetta dal modello e la distribuzione degli annotatori utilizzando la distanza di Jensen-Shannon (JS). Questo sostituisce le ricompense sparse e binarie della supervisione della maggioranza con ricompense continue proporzionali all'accordo distributivo.
• Termine di Potenziamento dell'Ambiguità: $\tilde{H}(p_q)$ è l'entropia normalizzata della distribuzione degli annotatori. Quantifica il grado di disaccordo (ambiguità) tra gli annotatori.
  • Ripesatura Dinamica: I campioni con maggiore disaccordo tra gli annotatori (entropia più elevata) ricevono ricompense proporzionalmente amplificate. Questo dà priorità dinamicamente ai campioni altamente ambigui durante l'ottimizzazione, costringendo il modello a imparare dalle strutture di disaccordo più ricche piuttosto che solo dalle etichette dominanti.

4. Ottimizzazione

Il framework utilizza GRPO per ottimizzare la policy. Calcolando i vantaggi normalizzati per gruppo basati sulle ricompense potenziate dall'ambiguità, SHALA-LLM incoraggia il modello a catturare l'incertezza e le diverse interpretazioni umane. Ciò rimodella la geometria della ricompensa, producendo distribuzioni di vantaggio più fluide e aggiornamenti della policy più informativi sotto supervisione ambigua.

Contributi Chiave

1. Cambio di Paradigma: Il paper sfida l'assunto che il disaccordo tra annotatori sia rumore, riformulandolo come una supervisione informativa che migliora il comportamento del modello.
2. Innovazione Algoritmica: Introduce un nuovo algoritmo basato su RL (SHALA-LLM) che integra la modulazione della ricompensa consapevole dell'ambiguità direttamente nel ciclo di addestramento, utilizzando specificamente GRPO.
3. Miglioramento Duplice: Il metodo dimostra che modellare il disaccordo tra annotatori non solo migliora l'allineamento distributivo (catturando l'incertezza umana), ma potenzia anche le prestazioni di classificazione standard (F1 score), contrariamente alla convinzione che la gestione dell'ambiguità comprometta l'accuratezza.

Risultati Sperimentali

Il framework è stato valutato su benchmark di NLI ed ER sensibili all'ambiguità: ChaosNLI, GoEmotions e MSP-Podcast.

• Allineamento Distributivo: SHALA-LLM ha ridotto significativamente la distanza di Jensen-Shannon (JSD) tra le predizioni del modello e le distribuzioni umane. Su ChaosNLI, la JSD è stata ridotta del 62,1% rispetto alla Supervisione della Maggioranza (MLS). Su MSP-Podcast, la Jamente ridotta del 6,2%.
• Prestazioni di Classificazione: Contrariamente all'aspettativa che la supervisione distributiva possa danneggiare l'accuratezza della stima puntuale, SHALA-LLM ha migliorato gli F1 score. Su ChaosNLI, l'F1 è aumentato del 16,6%; su MSP-Podcast, è aumentato del 29,2% rispetto a MLS.
• Robustezza all'Ambiguità: L'analisi attraverso diversi livelli di ambiguità (bassa, media, alta) ha rivelato che SHALA-LLM mantiene prestazioni stabili all'aumentare dell'ambiguità, mentre i metodi baseline (come MLS) subiscono un degrado significativo negli scenari ad alta ambiguità.
• Guadagni Specifici per Categoria: Il modello ha mostrato miglioramenti particolarmente forti nelle categorie semantiche intrinsecamente ambigue (ad esempio, "Contraddizione" in NLI e "Sorpresa" in ER), dove i modelli baseline spesso faticano.
• Comportamento di Ragionamento: L'analisi qualitativa ha mostrato che SHALA-LLM genera pattern di ragionamento che riflettono molteplici interpretazioni valide e incertezza, piuttosto che output a interpretazione singola e troppo sicuri tipici dei baseline zero-shot o della maggioranza.

Significato e Assertiva

Gli autori affermano che SHALA-LLM dimostra il valore del trattare il disaccordo umano come un segnale piuttosto che come rumore. Preservando le strutture di disaccordo e dando priorità dinamica ai campioni ambigui, il framework porta a un comportamento degli LLM più robusto e allineato all'uomo.

Il paper conclude che:

1. Preservare il Disaccordo: Mantenere l'intera struttura dei giudizi umani permette ai modelli di imparare da etichette diverse e potenzialmente conflittuali, portando a un migliore allineamento con le distribuzioni umane.
2. Sinergia delle Prestazioni: L'ottimizzazione consapevole dell'ambiguità non sacrifica l'accuratezza della classificazione per l'allineamento; piuttosto, le rafforza entrambe.
3. Generalizzabilità: L'approccio è efficace attraverso diverse modalità (testo e parlato) e tipi di task (inferenza e riconoscimento delle emozioni).

Gli autori riconoscono i limiti, notando che la valutazione attuale si concentra su distribuzioni di etichette strutturate e non affronta ancora compiti generativi aperti o interazioni complesse multi-turno. Notano inoltre che il framework assume che le distribuzioni empiriche rappresentino adeguatamente fattori sottostanti come l'expertise dell'annotatore, il che potrebbe non catturare appieno tutte le fonti di ambiguità. Tuttavia, il lavoro suggerisce una direzione promettente per lo sviluppo di Large Language Models più robusti e centrati sull'uomo.