Riepilogo Tecnico: ReFact – Riformulazione Adattiva dei Fatti per un Ragionamento Chain-of-Thought Compatto e Fedele

1. Definizione del Problema

I Large Language Models (LLM) si affidano sempre più al ragionamento a lungo formato per risolvere compiti complessi che coinvolgono input a contesto lungo. Tuttavia, i modelli esistenti spesso faticano ad allineare i propri processi di ragionamento con l'evidenza contestuale fornita, in particolare quando l'evidenza è incompleta, rumorosa o in conflitto con la conoscenza parametrica del modello. Questo disallineamento porta a "Chain of Thought" (CoT) non fedeli, in cui i modelli trascurano il contesto rilevante, si affidano a conoscenze interne che contraddicono l'input o generano passaggi di ragionamento allucinati.

Gli approoli attuali per l'ancoraggio (grounding) del ragionamento rientrano generalmente in due categorie, entrambe con limitazioni:

1. Generazione Basata su Citazioni: Questi metodi aggiungono citazioni dopo la generazione o durante il ragionamento per migliorare la trasparenza. Tuttavia, trattano spesso le citazioni come riferimenti esterni piuttosto che come componenti integrali del processo di ragionamento, fallendo nel garantire che l'informazione citata sia sufficiente a supportare le inferenze intermedie.
2. Ragionamento di Riproduzione dei Fatti: Questi metodi richiedono agli LLM di riformulare esplicitamente i fatti di supporto dal contesto. Sebbene ciò migliori l'allineamento, i requisiti rigidi di riformulazione spesso compromettono la compattezza e la coerenza delle traiettorie di ragionamento, portando a tracce ridondanti e sovra-citate che non sfruttano adattivamente l'evidenza.

La sfida centrale è consentire agli LLM di determinare quando l'ancoraggio contestuale è necessario e come riformulare i fatti sorgente a un livello di dettaglio appropriato per garantire un ragionamento affidabile, compatto e fedele.

2. Metodologia: Il Framework ReFact

ReFact (Adaptive Fact Restatement) è un framework progettato per consentire agli LLM di riformulare selettivamente i fatti sorgente a vari livelli di granularità (entità, frasi, sentenze o paragrafi) solo quando necessario per un determinato passaggio di ragionamento. Il framework impiega una pipeline di addestramento a due stadi: Supervised Fine-Tuning (SFT) seguita da Reinforcement Learning (RL).

2.1 Costruzione dei Dati di Addestramento

Gli autori costruiscono un dataset ($D_{training}$) sintetizzando traiettorie di ragionamento adattive basate su citazioni da dataset di QA esistenti (HotpotQA_CARE e MuSiQue).

• Modello Teacher: Un LLM teacher più forte (Gemini-3.1-preview) genera traiettorie di ragionamento di alta qualità. Gli viene chiesto di decidere quando citare e come riformulare i fatti (granularità e forma) sulla base dei "Supporting Facts" forniti nel contesto.
• Contesti con Diversità di Lunghezza: Per garantire la generalizzazione in scenari a lungo contesto, il contesto gold viene inserito in documenti distruttori di lunghezze variabili (32k, 64k, 128k token), simulando le sfide del mondo reale nei contesti lunghi.
• Filtraggio della Qualità: Le traiettorie generate sono filtrate utilizzando quattro criteri:
  1. Formato: Uso corretto dei tag (<evidence N>...</evidence>) e separazione del ragionamento dalle risposte.
  2. Accuratezza: La risposta finale corrisponde allo standard gold.
  3. Tracciabilità: Tutto il contenuto citato deve esistere verbatim nei fatti di supporto.
  4. Rispondibilità (Answerability): Un modello verificatore deve essere in grado di derivare la risposta corretta utilizzando solo il contenuto citato, garantendo che le citazioni siano sufficienti.

2.2 Pipeline di Addestramento a Due Stadi

Il modello student (Qwen3-4B e Qwen3-8B) è ottimizzato attraverso:

1. Cold-Start SFT: Il modello viene addestrato sulle coppie curate $(question, long\_context, reasoning\_trajectory)$ per apprendere il formato di output e il comportamento di ancoraggio del ragionamento ai fatti.
2. Group Relative Policy Optimization (GRPO): Il modello è ulteriormente ottimizzato utilizzando una funzione di ricompensa ($R$) che bilancia quattro componenti:
   • $R_{format}$: Correttezza strutturale.
   • $R_{acc}$: Correttezza della risposta.
   • $R_{trace}$: Fedeltà del contenuto citato rispetto alla fonte.
   • $R_{ans}$: Sufficienza del contenuto citato per rispondere alla domanda.
     La ricompensa finale è una somma pesata: $R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$.

3. Contributi Chiave

• Meccanismo di Citazione Adattiva: A differenza del lavoro precedente che impone posizioni di citazione fisse o attribuzioni post-hoc, ReFact insegna ai modelli di determinare adattivamente la necessità e la granularità della riformulazione dei fatti. Ciò produce tracce di ragionamento più dense e fedeli senza ridondanze inutili.
• Framework SFT-to-RL: Il documento propone una specifica pipeline di addestramento che passa dall'apprendimento dei formati di citazione (SFT) all'ottimizzazione dell'utilità delle citazioni per il ragionamento (RL), garantendo che i fatti citati non siano solo presenti, ma sufficienti per l'inferenza.
• Ragionamento Compatto e Fedele: L'approccio dimostra che migliorare la fedeltà non richiede tracce di ragionamento più lunghe; anzi, ReFact produce tracie significativamente più brevi mantenendo o migliorando l'accuratezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su LongBench v1/v2, LV-Eval (contesti da 16k a 128k) e ConFiQA (fedeltà controfattuale).

• Performance su Long-Context QA: ReFact ha superato costantemente i baseline (Zero-Shot, LongAlign, LongFaith, CARE) su LongBench v1 e LV-Eval. Ha ottenuto punteggi F1 più elevati attraverso diverse lunghezze di contesto (fino a 128k) generando al contempo un numero sostanzialmente inferiore di token di ragionamento (ad esempio, riducendo l'uso di token del ~60-70% rispetto a CARE).
• Qualità della Citazione ed Efficienza: L'analisi ha mostrato che ReFact ha raggiunto punteggi F1 di citazione più elevati (migliore allineamento con l'evidenza gold) riformulando significativamente meno fatti per traccia rispetto a Zero-Shot e CARE. Ciò indica che il modello impara a selezionare solo l'evidenza sufficiente per la risposta.
• Fedeltà Controfattuale: Su ConFiQA, dove il contesto contraddice la conoscenza parametrica, ReFact ha dimostrato una maggiore Preferenza della Sorgente (PS) e un minore Override Parametrico (PO). Era più propenso a seguire il contesto fornito rispetto ai fatti memorizzati.
• Analisi del Meccanismo:
  • Perplessità: Le tracce di ReFact hanno prodotto una perplessità inferiore per le risposte gold, indicando una guida più forte per la predizione finale.
  • Attivazione FFN: L'analisi delle attivazioni delle reti feed-forward (FFN) ha rivelato che ReFact presenta rapporti di attivazione inferiori negli strati medi e profondi rispetto a Zero-Shot. Poiché questi strati sono associati al recupero della memoria parametrica, ciò suggerisce che ReFact faccia meno affidamento sulla conoscenza interna che confligge con il contesto.
  • Studi di Ablazione: La rimozione della ricompensa di "Rispondibilità" o della supervisione di "Allineamento dell'Evidenza" ha portato a un degrado delle prestazioni, confermando che l'ottimizzazione della sufficienza dell'evidenza e dell'allineamento esplicito è cruciale.

5. Significato e Rivendicazioni

Il paper sostiene che ReFact rappresenti un passo avanti significativo nel rendere il ragionamento degli LLM sia compatto che fedele. Trasformando le citazioni da riferimenti esterni in stati di ragionamento intermedi adattivi, ReFact consente ai modelli di:

1. Ridurre il Carico Cognitivo: Riformulando solo i fatti necessari, il processo di ragionamento rimane conciso.
2. Aumentare l'Affidabilità: Il modello è meno propenso alle allucinazioni e all'override parametrico, poiché è esplicitamente addestrato a verificare che i suoi passaggi di ragionamento siano supportati dal contesto fornito.
3. Migliorare l'Efficienza: La riduzione dei token di ragionamento suggerisce che un ragionamento di alta qualità non richiede riformulazioni verbiose e ridondanti, rendendo il ragionamento a lungo contesto computazionalmente più efficiente.

Gli autori concludono che la chiave per un ragionamento a lungo contesto fedele non risiede nel forzare più citazioni, ma nell'insegnare ai modelli di selezionare e integrare adattivamente i fatti giusti con la giusta granularità.