💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

Questo articolo introduce la Step-level Self-Consistency Group Relative Policy Optimization (SSC-GRPO), un metodo innovativo che mitiga le allucinazioni fattuali sensibili al contesto nei grandi modelli linguistici assegnando ricompense a livello di step basate sui puntei di auto-coerenza attraverso molteplici rollout di ragionamento, raggiungendo così prestazioni allo stato dell'arte nei benchmark di ragionamento matematico e di allucinazione.

Autori originali: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Pubblicato 2026-07-22

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot brillante e iper-creativo come risolvere un mistero. Questo robot ha letto quasi tutti i libri della biblioteca e può parlare come un essere umano, ma ha un'abitudine stravagante: a volte, quando si perde in una storia lunga, inizia a inventare fatti. Potrebbe dire con sicurezza: "Il maggiordomo è stato con un candelabro", anche se gli indizi puntano chiaramente al giardiniere. Nel mondo dell'intelligenza artificiale, questo viene chiamato "allucinazione". Non è che il robot stia mentendo intenzionalmente; è solo che il suo cervello si aggroviglia così tanto nella sua lunga catena di pensieri da dimenticare ciò che sa realmente.

Per molto tempo, gli scienziati hanno pensato che questi errori avvenissero perché il robot semplicemente non conosceva la risposta. Ma se il robot conosce la risposta, ma si confonde con la storia che sta raccontando a se stesso? Questo è l'enigma che questo articolo affronta. I ricercatori stanno esaminando come questi modelli di IA pensano passo dopo passo, come un detective che annota indizi su un taccuino. Hanno scoperto che il robot spesso inciampa sui propri piedi, non perché gli manchi la conoscenza, ma perché il contesto della storia che sta scrivendo lo porta a dimenticare la verità. Per risolvere questo problema, hanno inventato un nuovo metodo di addestramento che funge da sistema di "auto-controllo", insegnando al robot a fermarsi e chiedersi: "Aspetta, questa frase ha senso con tutto quello che ho appena scritto?".

Il Problema: La "Nebbia Cerebrale" del Robot

Incontra il Large Language Model (LLM). Pensalo come a un pappagallo super intelligente che ha memorizzato l'intero internet. Quando gli poni un problema matematico difficile, non si limita a sputare fuori una risposta; cerca di "pensare" attraverso il problema, scrivendo una lunga catena di ragionamento, passo dopo passo. Questo è fantastico per risolvere enigmi complessi, ma ha un difetto. Man mano che la catena di pensiero si allunga, il robot a volte diventa "sensibile al contesto".

Immagina di risolvere un problema di matematica nella tua testa. Sai che $3 \times 100 = 300$ . Ma poi, inizi a scrivere una storia su un mago che lancia un incantesimo che trasforma i numeri in frutta. Improvvisamente, il tuo cervello si confonde e potresti scrivere: "Quindi, $3 \times 100$ è sicuramente una banana". Tu sai che è 300, ma la storia buffa che ti stai raccontando ti ha fatto dimenticare.

I ricercatori hanno scoperto che è esattamente questo quello che succede all'IA. Lo chiamano Allucinazione Fattuale Sensibile al Contesto. Il robot ha effettivamente i fatti corretti memorizzati nel suo cervello, ma il "rumore" del lungo processo di ragionamento lo inganna portandolo a commettere un errore. È come un musicista che sa suonare una canzone perfettamente, ma si distrae così tanto dal rumore del pubblico da suonare la nota sbagliata.

La Scoperta: Non è una Lacuna di Conoscenza

Per capire questo, il team ha agito come dei detective. Hanno preso un robot che aveva commesso un errore in una lunga catena di ragionamento e gli hanno posto una domanda semplice: "Se prendessi solo quella singola frase errata e te la chiedessi isolatamente, riusciresti a rispondere correttamente?".

La risposta era quasi sempre sì.

Quando hanno isolato l'errore, il robot ha detto: "Oh, certo! $3 \times 100$ è 300, non una banana!". Questo ha dimostrato che il robot non era privo di conoscenza; era solo confuso dal contesto. Infatti, la loro analisi ha mostrato che quasi il 70% degli errori commessi da questi modelli di ragionamento sono di questo specifico tipo di "nebbia cerebrale", dove il modello conosce la verità ma viene tratto in inganno dalla propria storia.

La Soluzione: Il Coach della "Auto-Coerenza"

Quindi, come si insegna a un robot a smettere di confondersi con la propria storia? Gli autori hanno creato un nuovo metodo di addestramento chiamato SSC-GRPO (Step-Level Self-Consistency Group Relative Policy Optimization). È un nome complicato, quindi scomponiamolo con un'analogia basata su un gioco.

Immagina di addestrare una squadra di 8 robot per risolvere lo stesso puzzle contemporaneamente.

Il Rollout: Ogni robot scrive la propria soluzione passo dopo passo.
L'Auto-Controllo: Inveve di controllare solo se la risposta finale è corretta, il sistema chiede ai robot di confrontare i propri passaggi. "Robot A, il tuo secondo passaggio corrisponde a quello che hanno scritto il Robot B e il Robot C?".
Il Premio: Se il passaggio di un robot corrisponde a ciò che dicono gli altri (alta coerenza), riceve un punteggio alto. Se sbanda e dice qualcosa di strano con cui nessun altro è d'accordo (bassa coerenza), riceve un punteggio basso.

La magia qui è che il robot agisce come il proprio giudice. Non ha bisogno di un insegnante umano o di un database di fatti per dirgli che ha sbagliato. Ha solo bisogno di guardare i suoi "pari" (le altre versioni di se stesso) e rendersi conto: "Ehi, sono l'unico che dice che la risposta è una banana. Probabilmente è sbagliato".

Il sistema usa poi questi punteggi per dare "premi" ai passaggi che sono stati coerenti e "punizioni" ai passaggi che sono stati allucinazioni. Col tempo, il robot impara a fidarsi dei passaggi che hanno senso nel gruppo e smette di inventare fatti solo per adattarsi alla storia.

I Risultati: Robot Più Intelligenti e Più Onesti

Il team ha testato questo nuovo metodo su alcune delle sfide di matematica e ragionamento più difficili disponibili. Hanno utilizzato modelli come Qwen3 e Llama3. I risultati sono stati impressionanti.

Migliore Matematica: Nei test matematici standard, il nuovo metodo ha aiutato i robot a ottenere punteggi più alti rispetto a prima. Ad esempio, in un test, il nuovo metodo ha migliorato il punteggio di circa l'1,8% rispetto ai metodi di addestramento standard.
Meno Allucinazioni: Cosa più importante, i robot hanno commesso molti meno di quegli errori "sensibili al contesto". Il numero di volte in cui si sono confusi con le proprie storie è sceso significativamente.
Nessun Aiuto Esterno Necessario: A differenza di altri metodi che richiedono al robot di consultare un'enciclopedia gigante (il che è lento e costoso), questo metodo utilizza solo il cervello del robot per controllare se stesso.

I ricercatori hanno anche notato qualcosa di interessante durante l'addestramento: man mano che i robot imparavano, la loro "coerenza" aumentava. Iniziavano ad accordarsi con se stessi più spesso e il numero di passaggi confusi e inventati diminuiva. Era come osservare uno studente che passa dall'essere distratto e confuso all'essere concentrato e sicuro di sé.

Perché Questo è Importante

Questo articolo suggerisce un nuovo modo per risolvere uno dei problemi più grandi dell'IA: la tendenza a sembrare sicuri di sé pur essendo sbagliati. Capendo che il robot spesso conosce la risposta ma si perde solo nella storia, gli autori hanno trovato un modo per tenerlo sulla strada giusta.

Non hanno solo tirato a indovinare; hanno misurato. Hanno dimostrato che, quando si isola l'errore, la conoscenza c'è. Hanno provato che il loro nuovo metodo riduce questi specifici tipi di errori. Sebbene l'articolo noti che questo richiede un po' più di potenza di calcolo (perché i robot devono controllare se stessi più volte), il compromesso sembra valere la pena per rendere l'IA più affidabile.

In breve, gli autori hanno dato all'IA un nuovo strumento: uno specchio. Invece di guardare solo avanti verso il prossimo passo della storia, il robot ora impara a guardare indietro e chiedersi: "Questo si adatta con tutto quello che ho detto finora?". E facendo così, smette di inventare fatti e inizia a dire la verità.

Sintesi Tecnica: Step-Level Self-Consistency Group Relative Policy Optimization per LLM

1. Definizione del Problema: Allucinazioni Fattuali Sensibili al Contesto

Sebbene i Large Language Models (LLM) abbiano dimostrato capacità avanzate nel ragionamento a catena lunga, essi rimangono soggetti alla generazione di affermazioni sicure ma errate, note come allucinazioni. Gli autori identificano una modalità di fallimento specifica e prevalente denominata Allucinazione Fattuale Sensibile al Contesto.

A differenza delle allucinazioni da "lacuna di conoscenza" (knowledge gap), in cui il modello manca delle informazioni necessarie, le allucinazioni sensibili al contesto si verificano quando il modello possiede la corretta conoscenza fattuale ma produce un errore fattuale a causa dell'interferenza del contesto di ragionamento circostante. Il documento dimostra che se un passaggio di ragionamento allucinato viene estratto e riformulato come una domanda indipendente, il modello è in grado di rispondere correttamente. Tuttavia, all'interno di una complessa traiettoria di ragionamento multi-step, il modello viene tratto in errore dal contesto, portando a una cascata di errori e a una risposta finale errata. L'analisi empirica rivela che questo tipo di allucinazione costituisce quasi il 70% degli errori nei modelli di ragionamento, una proporzione che persiste anche al migliorare delle capacità del modello e alla diminuzione degli errori da lacuna di conoscenza.

2. Metodologia: SSC-GRPO

Per mitigare queste allucinazioni senza fare affidamento su basi di conoscenza esterne, gli autori propongono la Step-Level Self-Consistency Group Relative Policy Optimization (SSC-GRPO). Questo metodo integra il rilevamento della self-consistency direttamente nel ciclo di addestramento di reinforcement learning (RL) di Group Relative Policy Optimization (GRPO).

Meccanismo Centrale

L'approccio sfrutta l'osservazione che GRPO genera naturalmente molteplici traiettorie di ragionamento (rollout) per un singolo prompt, il che si allinea con il rilevamento delle allucinazioni basato sulla self-consistency. Il metodo procede come segue:

Group Rollouts: Per una data query, il modello di policy genera un gruppo di $G$ traiettorie di ragionamento (rollout).
Step-Level Self-Consistency Scoring: Invece di assegnare un premio solo alla fine di una traiettoria, SSC-GRPO valuta ogni passaggio di ragionamento $o_{i,k}$ $o_{i, k}$ all'interno di un rollout $i$ $i$ rispetto ai corrispondenti passaggi in altri rollout $j$ $j$ all'interno dello stesso gruppo.
- Il modello agisce come il proprio giudice, utilizzando un prompt di Natural Language Inference (NLI) per determinare se un passaggio in un rollout $i$ implica, contraddice o è neutrale rispetto al passaggio corrispondente in un rollout $j$ .
- Un punteggio di coerenza viene calcolato aggregando questi giudizi NLI, pesati dal reward dell'esito del rollout di riferimento $j$ (assegnando un peso maggiore ai passaggi nei rollout che conducono a risposte finali corrette).
Step Advantage Rescaling: Lo standard vantaggio GRPO (derivato dal reward dell'esito finale) viene ridistribuito tra i passaggi della traiettoria.
- I passaggi con punteggi di self-consistency elevati ricevono una quota maggiore di vantaggio se la traiettoria è corretta, o una penalità minore se la traiettoria è errata.
- Ciò avviene tramite un coefficiente di riscalamento $w_{i,k}$ che regola l'advantage per ogni passaggio preservando il totale dell'advantage a livello di traiettoria.
Policy Optimization: Il modello viene aggiornato utilizzando un obiettivo di tipo PPO che massimizza la somma pesata di questi advantage a livello di step, incoraggiando efficacementamente il modello a generare passaggi che siano coerenti con la maggioranza dei percorsi di ragionamento corretti.

3. Contributi Chiave

Il documento delinea tre contributi primari:

Identificazione di un Tipo Dominante di Allucinazione: Gli autori forniscono un'analisi fine-grained dimostrando che le allucinazioni fattuali sensibili al contesto sono la modalità di errore dominante negli attuali modelli di ragionamento. Dimostrano che questi errori derivano dall'interferenza contestuale piuttosto che dalla mancanza di conoscenza, un fenomeno che i metodi di rilevamento tradizionali spesso non colgono.
Algoritmo SSC-GRPO: Propongono un nuovo metodo basato su RL che utilizza segnali di self-consistency attraverso molteplici rollout per generare reward a livello di step. Ciò consente al modello di imparare a evitare errori fattuali indotti dal contesto senza richiedere fonti di conoscenza esterne o strumenti di fact-checking.
Validazione Empirica: Estesi esperimenti su benchmark di ragionamento matematico e di allucinazione validano che SSC-GRPO riduce efficacemente la proporzione di allucinazioni sensibili al contesto e migliora le prestazioni generali di ragionamento.

4. Risultati Sperimentali

Gli autori hanno valutato SSC-GRPO su Qwen3-4B-Base, Qwen3-4B-Instruct e Llama3-8B-Instruct, confrontandolo con baseline tra cui modelli Vanilla, GRPO standard, FSPO (Factuality-aware Step-wise Policy Optimization) e SEED-GRPO.

Ragionamento Matematico: SSC-GRPO ha raggiunto prestazioni state-of-the-art su benchmark inclusi GSM8K, MATH-500, AIME-24 e AIME-25. Su Qwen3-4B-Base, ha superato la baseline in media del 1,80%.
Mitigazione delle Allucinazioni: Sui benchmark di allucinazione (HaluEval, TruthfulQA, HotpotQA), il metodo ha dimostrato prestazioni superiori rispetto alle baseline, notando in particolare che raggiunge questi risultati utilizzando solo la conoscenza interna del modello, a differenza di metodi come FSPO che si affidano al retrieval esterno.
Analisi delle Allucinazioni: L'analisi post-training ha mostrato una riduzione significativa della proporzione di allucinazioni fattuali sensibili al contesto (scendendo da ~22,76% a ~16,90% in una configurazione) e un corrispondente aumento dei passaggi di ragionamento corretti.
Dinamiche di Addestramento: Il monitoraggio dei rapporti di coerenza durante l'addestramento ha rivelato un costante aumento dei passaggi coerenti e una diminuzione dei passaggi incoerenti, confermando che il processo di RL potenzia con successo la coerenza del ragionamento.

5. Significato e Rivendicazioni

Il documento sostiene di offrire una nuova prospettiva per rilevare e mitigare le allucinazioni nel processo di ragionamento degli LLM. Spostando l'attenzione dalla verifica della risposta finale alla self-consistency a livello di step, gli autori sostengono che sia possibile addestrare i modelli a riconoscere e correggere i propri errori indotti dal contesto.

La significatività risiede nella scoperta che i modelli spesso "sanno" i fatti ma non riescono ad applicarli correttamente sotto contesti di ragionamento complessi. SSC-GRPO affronta questo problema rinforzando la coerenza dei passaggi di ragionamento intermedi, mitigando così il tipo specifico di allucinazione che affligge il ragionamento a catena lunga. Gli autori mantengono una posizione modesta, riconoscendo che, sebbene il loro metodo sia efficace, introduce un carico computazionale aggiuntivo dovuto ai controlli di self-consistency ed è attualmente valutato su specifiche famiglie di modelli (Qwen e Llama) nelle scale di 4B e 8B parametri.