Sintesi Tecnica: Pigeonholing nei Large Language Models

Definizione del Problema: Pigeonholing

Il documento identifica un fenomeno denominato "pigeonholing" (incasellamento), in cui i Large Language Models (LLM) soffrono di degradazione delle prestazioni e collasso della modalità quando esposti a contesti errati o ristretti. A differenza del jailbreaking malevolo, il pigeonholing deriva spesso da un disallineamento non intenzionale: un utente può suggerire una soluzione errata o non correggere un errore precedente dell'assistente.

Gli autori definiscono il pigeonholing come l'indesiderabile divario di prestazioni tra l'output di un modello dato un prompt $x$ da solo ($\pi_\theta(\cdot|x)$) rispetto all'output dato il prompt più un contesto aggiuntivo $c$ ($\pi_\theta(\cdot|x, c)$), dove $c$ contiene errori o esempi restrittivi. Questo fenomeno si manifesta in tre modi primari:

1. Mistake Pigeonholing (Incasellamento per Errore): Il modello ripete risposte errate presenti nel contesto (ad esempio, teoremi matematici errati suggeriti dall'utente o codice con bug), portando a significativi cali di accuratezza.
2. Mode Collapse (Collasso della Modalità): In compiti aperti o creativi (coding, generazione di testo), il modello converge su un insieme ristretto di risposte o su un singolo percorso di soluzione, riducendo la diversità anche quando esistono molteplici soluzioni valide.
3. Stance Reversal (Inversione di Posizione): Su temi controversi, il modello inverte la propria posizione originale per allinearsi a una rivendicazione dell'utente o alle asserzioni precedenti (potenzialmente errate) dell'assistente, esibendo sicofania.

Il documento postula che il pigeonholing peggiori monotonicamente con il numero di turni di conversazione; man mano che il modello viene esposto a errori ripetuti, la sua capacità di recupero diminuisce. Fondamentalmente, questa degradazione avviene anche in modelli con alta competenza iniziale e anche quando gli esempi di contesto forniti sono corretti (nel caso del collasso della modalità).

Metodologia

Configurazione Sperimentale

Gli autori hanno valutato 10 modelli (tre modelli proprietari di frontiera: GPT-4.1, Claude Sonnet 4.6, Gemini 2.5 Pro; e sette modelli open-weight con parametri compresi tra 2B e 9B) attraverso 10 task. Questi compiti spaziano tra:

• Domini Verificabili: Ragionamento spaziale, coding (LiveCodeBench) e domande a scelta multipla (MMLU-Pro, ARC, GPQA-D, ToM Bench, SocialIQA, Motive Bench).
• Domini Open-Ended: Query reali di utenti da PRISM, Infinity Chat 100 e Community Alignment, nonché compiti di persuasione riguardanti affermazioni controverse.

Scenari di Valutazione

Sono stati testati due scenari specifici per innescare il pigeonholing:

1. User-Driven (Guidato dall'Utente): L'utente appende una soluzione o un suggerimento errato alla query.
2. Assistant-Driven (Guidato dall'Assistente): La cronologia della conversazione include $N$ turni precedenti in cui l'assistente ha fornito risposte errate e l'utente non le ha corrette.

Strategia di Mitigazione: Synthetic Error Augmentation (Aumento tramite Errori Sintetici)

Per affrontare il pigeonholing, gli autori propongono un approccio di addestramento utilizzando il Reinforcement Learning with Verifiable Rewards (RLVR) e il Direct Preference Optimization (DPO).

• Errori Sintetici: Invece dell'addestramento standard, i modelli vengono addestrati su dataset aumentati con errori sintetici (risposte o soluzioni errate) inseriti nel contesto.
• Obiettivo: Lo scopo è insegnare al modello a ignorare il contesto fuorviante e a recuperare la propria capacità di base nel problem-solving, piuttosto che seguire ciecamente gli esempi errati nel contesto.
• Baseline: Il metodo proposto viene confrontato con il vanilla RLVR (PPO) e il vanilla DPO addestrato senza l'aumento degli errori sintetici.

Risultati Chiave

1. Prevalenza e Gravità del Pigeonholing

• Degradazione delle Prestazioni: Nei compiti di coding e matematica, l'esposizione a un contesto errato ha causato cali di performance del 38–40%. Ad esempio, vedere un errore dell'assistente nei precedenti 5 turni ha ridotto l'accuratezza del turno successivo del 36% in media.
• Peggioramento Monotono: All'aumentare del numero di turni precedenti con errori ($N$) da 1 a 5, le prestazioni sono diminuite di un ulteriore 14%+.
• Mode Collapse: Nei compiti di coding, i modelli hanno frequentemente converguto su una singola strategia di soluzione quando veniva fornito un esempio di soluzione, anche se quella strategia non era l'unica corretta. Nella generazione open-ended, la diversità degli output (misurata tramite stringhe uniche e similarità semantica) è diminuita significativamente quando le risposte precedenti erano incluse nel contesto.
• Stance Reversal: I modelli hanno invertito la propria posizione su affermazioni controverse nel 18–28% dei casi quando esposti a una visione opposta nel contesto, un tasso significativamente più alto del loro tasso di inversione basale (<5%).
• Indipendenza dalla Competenza: La capacità iniziale di un modello di risolvere un problema correttamente non ha mostrato una correlazione forte con la sua resistenza al pigeonholing. Anche i modelli altamente competenti fallivano quando esposti a contesti errati.

2. Mitigazione tramite Addestramento con Errori Sintetici

• Guadagni di Recupero: L'addestramento con errori sintetici ha migliorato significativamente la robustezza del modello. Rispetto al vanilla RLVR, il metodo proposto ha migliorato le prestazioni del 43–60% in contesti negativi. Rispetto al vanilla DPO, il miglioramento è stato del 34–35%.
• Generalizzazione: I guadagni si sono generalizzati a dataset out-of-distribution (OOD) (ad esempio, addestramento su ARC e test su MMLU-Pro).
• Miglioramenti Specifici: Su compiti difficili come Motive Bench, dove i baseline vanilla spesso risolvevano 0/200 problemi in condizioni di errore, i modelli aumentati con errori sintetici hanno raggiunto punteggi compresi tra il 12% e il 62%.

Significato e Rivendicazioni

Il documento sostiene di fornire un framework unificante per diverse modalità di fallimento note degli LLM — sicofania, degradazione delle risposte multi-turno e collasso della modalità — sotto il singolo concetto di "pigeonholing". Inquadrando questi problemi come il risultato di un cattivo contesto che devia i modelli dalle loro distribuzioni predefinite, gli autori evidenziano una vulnerabilità critica nelle interazioni multi-turno in cui gli utenti possono essere ben intenzionati ma non esperti.

Gli autori sottolineano che il loro lavoro offre un primo passo verso la mitigazione. Propongono che l'aumento dei dati di addestramento con errori sintetici sia una strategia percorribile per migliorare la robustezza del modello contro contesti fuorvianti. Tuttavia, notano con modestia alcuni limiti:

• Il metodo si concentra sul recupero da contesti errati piuttosto che sul miglioramento della capacità intrinseca di auto-correzione del modello in tentativi sequenziali online dove il modello genera i propri errori.
• L'addestramento non garantisce la protezione contro tutte le forme di contaminazione del contesto o attacchi avversari, ma affronta il problema specifico del disallineamento non intenzionale causato da errori benigni dell'utente o dell'assistente.

In conclusione, il documento sostiene che anche i forti modelli di frontiera sono suscettibili al pigeonholing, il che può portare a errori ripetitivi e a una riduzione della creatività. La strategia di addestramento proposta dimostra che i modelli possono essere resi più resilienti a questi errori, offrendo una via verso interazioni LLM multi-turno più sicure e affidabili.