Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models

1. Il Problema: Il Collasso della Distribuzione nei Modelli Linguistici

I moderni Large Language Models (LLM) sono tipicamente addestrati tramite Reinforcement Learning (RL) per produrre una singola risposta "migliore" per ogni query. Questo obiettivo, noto come Reinforcement Learning with Verifiable Rewards (RLVR), incentiva il modello a convergere verso la modalità più probabile della distribuzione sottostante delle risposte.

Sebbene efficace per compiti con una sola risposta corretta (es. benchmark standard), questo approccio presenta limiti critici in scenari reali complessi:

• Ambiguità e Incertezza: In campi come la diagnosi medica, la risposta a domande ambigue o la programmazione, possono esistere multiple risposte valide simultaneamente o un'incertezza intrinseca dovuta a informazioni incomplete.
• Collasso dell'Entropia: L'addestramento RL standard tende a sopprimere ipotesi plausibili alternative, portando il modello a generare ripetutamente la stessa risposta dominante, anche quando altre soluzioni sono corrette.
• Inefficienza Computazionale: Le tecniche attuali per ottenere un insieme di risposte (es. best-of-k o campionamento ripetuto) richiedono molteplici passaggi di inferenza, generando ridondanza computazionale (stessi token di ragionamento ripetuti) e costi elevati.
• Mancanza di Calibrazione: I modelli addestrati per una singola risposta spesso mancano di stime di incertezza affidabili, risultando sistematicamente sovraccerti.

2. Metodologia: Multi-Answer Reinforcement Learning (Multi-Answer RL)

Gli autori propongono un nuovo framework di addestramento che sposta l'obiettivo da una singola risposta a una distribuzione di risposte plausibili generate in un'unica passata in avanti (forward pass).

A. Obiettivo di Addestramento

Il modello viene istruito a generare un insieme strutturato di $K$ candidati distinti ($A = \{a_1, ..., a_K\}$) all'interno di una singola catena di pensiero.

B. Funzioni di Ricompensa

Il paper introduce due varianti principali basate su regole di scoring adeguate (proper scoring rules):

1. Multi-Answer RLVR (Reinforcement Learning with Verifiable Rewards):

   • L'obiettivo è massimizzare la copertura dell'insieme di ground-truth.
   • La ricompensa è definita come il numero di risposte generate che appartengono all'insieme delle risposte corrette ($Y^*$):
     $$R_{RLVR}^{multi}(A, Y^*) = \sum_{i=1}^{K} \mathbb{I}[a_i \in Y^*]$$
   • Questo generalizza il pass@k e incoraggia la diversità senza penalizzare la correttezza.

2. Multi-Answer RLCR (Reinforcement Learning with Calibration Rewards):

   • Estende RLVR includendo stime di confidenza calibrate ($Q = \{q_1, ..., q_K\}$) per ogni risposta.
   • Utilizza il Multi-Brier Score per penalizzare la discrepanza tra la confidenza dichiarata e la correttezza effettiva:
     $$R_{Brier}^{multi} = \frac{1}{K} \sum_{i=1}^{K} (q_i - \mathbb{I}[a_i \in Y^*])^2$$
   • La ricompensa totale combina correttezza e calibrazione: $R_{RLCR}^{multi} = R_{RLVR}^{multi} - R_{Brier}^{multi}$.
   • Questo permette al modello di apprendere una distribuzione discreta sulle risposte, dove le probabilità possono sommare a 1 (per risposte mutualmente esclusive) o essere indipendenti (per diagnosi multiple).

C. Implementazione

• Architettura: Utilizzo di modelli Qwen3-8B addestrati con GRPO (Group Relative Policy Optimization).
• Vincoli: Vengono imposti vincoli di formato per garantire che le risposte generate siano univoche e che le confidenze rispettino i vincoli probabilistici (es. somma $\le 1$).

3. Contributi Chiave

1. Cambio di Paradigma: Passaggio dall'ottimizzazione per una singola modalità all'ottimizzazione esplicita per la generazione di distribuzioni di risposte.
2. Efficienza Computazionale: Il metodo genera insiemi di risposte in un'unica generazione, eliminando la ridondanza dei token tipica del campionamento ripetuto (inference-time scaling).
3. Calibrazione Intrinseca: L'uso di regole di scoring adeguate durante l'addestramento permette di ottenere stime di incertezza meglio calibrate rispetto ai metodi post-hoc.
4. Generalizzazione: Il framework funziona sia in scenari con una sola risposta corretta ma ambigua (es. HotPotQA modificato) sia in scenari con multiple risposte corrette (es. diagnosi medica).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset: DDXPlus (diagnosi medica), HotPotQA-Modified (QA ambiguo) e MBPP (codice).

• Copertura e Diversità:
  • I modelli Multi-Answer RL superano significativamente i baselines Single-Answer nella copertura delle risposte corrette (es. su DDXPlus, la copertura media sale da 0.62 a 0.79).
  • A parità di budget di token, i modelli Multi-Answer producono quasi il doppio di risposte uniche corrette rispetto al campionamento ripetuto di modelli Single-Answer.
• Efficienza (Token Usage):
  • I modelli Multi-Answer richiedono meno della metà dei token per generare lo stesso numero di risposte rispetto ai modelli Single-Answer che usano il campionamento ripetuto.
  • Questo è dovuto alla rimozione della ridondanza nel ragionamento intermedio (i modelli Single-Answer ripetono spesso le stesse premesse logiche per ogni campione).
• Accuratezza:
  • Sui task di coding (MBPP), l'approccio Multi-Answer RL aumenta l'accuratezza top-1 di oltre il 50% rispetto ai baselines, dimostrando che l'esplorazione di più ipotesi non compromette la qualità della risposta principale.
• Calibrazione:
  • L'approccio RLCR Multi ottiene punteggi di calibrazione (Brier Score, ECE) significativamente migliori rispetto a RLVR, riducendo il sovraccertezza sistematica.
  • Le curve di calibrazione mostrano che i modelli Multi-Answer sono più allineati con la realtà empirica, specialmente nei task medici dove l'incertezza è alta.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso modelli di linguaggio più robusti per applicazioni ad alto rischio (medicina, diritto, sicurezza).

• Decisioni Informate: Permette agli utenti di vedere non solo una risposta, ma un ventaglio di possibilità con le relative probabilità, facilitando la decisione umana.
• Ottimizzazione delle Risorse: Dimostra che l'addestramento esplicito per la diversità è più efficiente del semplice aumento della potenza di calcolo durante l'inferenza (inference-time scaling).
• Futuro della Ricerca: Suggerisce che l'obiettivo di addestramento dei LLM dovrebbe evolvere dalla ricerca della "risposta perfetta" alla modellazione esplicita dell'incertezza e della distribuzione delle soluzioni, specialmente in contesti dove la verità non è monolitica.

In sintesi, il paper propone che l'addestramento RL per la "ragionamento distribuzionale" sia un'alternativa principled ed efficiente per gestire l'ambiguità e l'incertezza nei sistemi di IA, superando i limiti del collasso modale tipico dei metodi attuali.