Making Bias Non-Predictive: Training Robust LLM Reasoning via Reinforcement Learning

` per il Chain-of-Thought).
* $R_{acc}$ (Accuratezza Fattuale): Ricompensa positiva per la risposta corretta.
* $R_{ind}$ (Incentivo all'Indipendenza): Il componente cruciale.
* Contesto Adversarial (Bias $\neq$ Risposta Corretta): Se il modello segue il bias verso la risposta sbagliata, riceve una penalità severa ($-\gamma_1$). Se ignora il bias e risponde correttamente, riceve un bonus ($+\gamma_1$).
* Contesto Supportivo (Bias = Risposta Corretta): Se il modello risponde correttamente, non riceve bonus extra per aver seguito il bias (guadagno marginale zero). Se risponde male, viene penalizzato.
* Obiettivo: Questo design impedisce al modello di imparare la scorciatoia "seguire sempre il bias" (che funzionerebbe solo nel 50% dei casi) e lo forza a basarsi sul ragionamento fattuale.

3. Ottimizzazione:
   Il framework utilizza GRPO (Group Relative Policy Optimization) per aggiornare la politica, massimizzando la ricompensa attesa rispetto alla media del gruppo di risposte generate.

3. Contributi Chiave

1. Formulazione del Problema: Definizione dell'indipendenza epistemica come un problema di RL in cui i segnali spurii devono essere resi non predittivi della ricompensa.
2. Innovazione Algoritmica: Proposta della strategia di conflitto bilanciato e del design della ricompensa asimmetrica che previene l'apprendimento di scorciatoie superficiali.
3. Generalizzazione e Robustezza: Dimostrazione che EIT non solo migliora l'accuratezza, ma induce una vera indipendenza cognitiva che si trasferisce a tipi di bias mai visti durante l'addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Qwen3 (1.7B, 4B, 8B) e Llama-3.2-3B, utilizzando dataset come MMLU-Pro, MedQA e HellaSwag.

• Miglioramento di Accuratezza e Robustezza:

  • Su Qwen3-4B, l'accuratezza sotto bias avversario (bandwagon errato) è passata dal 70.1% all'83.3% (+13.2%).
  • Il tasso di robustezza (stabilità della decisione) è aumentato del 16.4%.
  • Transfer Learning: Addestrando solo sul bias "Bandwagon", il modello ha mostrato miglioramenti significativi su bias Authority (+4.4% RR) e Distraction (+39.1% RR), dimostrando che ha imparato un principio generale di indipendenza e non solo a ignorare un tipo specifico di testo.

• Confronto con Baseline:

  • Vs. Prompting: Il prompting di mitigazione spesso riduce l'accuratezza generale (il modello diventa "testardo" e rifiuta anche segnali utili).
  • Vs. SFT: Il Fine-Tuning Supervisionato su dati debiasing porta a un "Indipendenza Performatica". I modelli SFT imparano a dire frasi come "non devo seguire l'opinione popolare" ma, senza ragionamento sottostante, commettono errori. EIT, invece, forza il ragionamento sostanziale.
  • Vs. Scaling: Un modello più grande (Qwen3-14B) non addestrato con EIT è meno robusto di un modello più piccolo (Qwen3-4B) addestrato con EIT. L'addestramento mirato è più efficace del semplice aumento delle dimensioni del modello.

• Generalizzazione Cross-Benchmark e Cross-Modello:

  • I miglioramenti si sono trasferiti a benchmark non visti (MedQA, HellaSwag) e ad altre architetture (Llama-3.2-3B).
  • EIT supera metodi di distribuzione shift come GroupDRO e IRM senza richiedere etichette ambientali predefinite.

5. Significato e Impatto

Il lavoro dimostra che la robustezza cognitiva non è una proprietà emergente automatica dei grandi modelli, ma deve essere insegnata attraverso un obiettivo di ottimizzazione specifico.

• Indipendenza Epistemica Reale vs. Imitazione: La differenza fondamentale è che EIT insegna al modello a ragionare contro il bias, mentre gli approcci precedenti (SFT) insegnano solo a imitare l'aspetto linguistico dell'indipendenza.
• Sicurezza dei Sistemi di Valutazione: Poiché gli LLM sono sempre più usati come "giudici" (LLM-as-a-Judge) per valutare altri modelli o contenuti, la loro suscettibilità ai bias può portare a valutazioni ingiuste o manipolate. EIT offre un metodo per rendere questi sistemi più affidabili e resistenti a manipolazioni esterne (es. attacchi di consenso o autorità).
• Efficienza: Mostra che un addestramento mirato su modelli di dimensioni moderate può superare le prestazioni di robustezza di modelli molto più grandi non addestrati, rendendo la soluzione più scalabile ed economica.

In sintesi, il paper propone che la vera resilienza ai bias non si ottiene ignorando i segnali esterni, ma rendendo tali segnali statisticamente inutili per la previsione della ricompensa, costringendo così il modello a fare affidamento esclusivamente sul ragionamento intrinseco e fattuale.