Sintesi Tecnica: Dal Rifiuto alla Ricchezza: Rubric Rewards per il Reinforcement Learning della Allucinazione a Lungo Formato

1. Definizione del Problema

La generazione a lungo formato nei Large Language Models (LLM) soffre di due tipi distinti di allucinazione: allucinazione fattuale (affermazioni incoerenti con la conoscenza del mondo) e allucinazione di fedeltà (affermazioni non supportate dal contesto fornito). Sebbene il Reinforcement Learning (RL) con ricompense basate sull'ancoraggio (grounding) possa mitigare le affermazioni non supportate, introduce un compromesso critico: i modelli spesso imparano a "rifiutarsi" di rispondere o a fornire risposte eccessivamente concise per evitare penalità, sacrificando così la ricchezza (copertura informativa).

Gli approcci esistenti per imporre la ricchezza si affidano a proxy globali come la lunghezza della risposta, il conteggio delle affermazioni o la rilevanza a coppie. Gli autori sostengono che questi siano insufficienti perché:

• La lunghezza può essere gonfiata da riempitivi (filler).
• Il conteggio delle affermazioni può includere fatti banali o irrilevanti.
• I giudizi di rilevanza generici non riescono a identificare contenuti mancanti specifici dipendenti dalla domanda.
• Le ricompense di ancoraggio rigorose (ad esempio, penalità binarie per frasi non supportate) incoraggiano i modelli a minimizzare l'output per massimizzare la sicurezza, portando a un collasso "dal rifiuto alla ricchezza" dove i modelli rispondono meno per evitare l'allucinazione.

2. Metodologia

Concetto Core: Rubriche a Punti Chiave

Inveve di proxy globali, il paper propone l'uso di rubriche a punti chiave per singolo campione. Una rubrica è definita non come una risposta ideale (gold-standard), ma come una checklist strutturata che specifica le informazioni richieste e opzionali che una risposta ricca deve coprire per una specifica domanda.

• Costruzione: Le rubriche sono generate utilizzando una pipeline di multi-generazione (GPT-5.4, Gemini-3-Flash-Preview e GPT-OSS-120B) per garantire una copertura ampia ed evitare omissioni da parte di un singolo generatore.
• Funzione: Esse servono a duplice scopo: come metrica di valutazione per la copertura informativa e come segnale di ricompensa nel RL.

Varianti del Design della Ricompensa

Lo studio confronta cinque strategie di ricompensa su due famiglie di modelli (Qwen3-4B e DeepSeek-R1-Distill-Llama-8B):

1. FACT-ONLY: Ricompensa di ancoraggio binaria ($R = G(y)$). Penalizza qualsiasi frase non supportata.
2. FACT-PROXY: Combina l'ancoraggio con il dettaglio generico (logaritmo del conteggio delle affermazioni supportate) e la rilevanza a coppie.
3. RUBRIC-ONLY: Premia la copertura della checklist della rubrica ($C_{rub}$) senza un termine di ancoraggio esplicito.
4. FACT-RUBRIC: Una combinazione additiva di ancoraggio e copertura della rubrica.
5. FACT-RUBRIC-REL: Una ricompensa morbida a tre componenti che combina l'ancoraggio ($0.5G$), la copertura della rubrica ($0.4C_{rub}$) e la rilevanza a coppie ($0.1R_{rel}$). Fondamentalmente, questo evita il "gating" (moltiplicativo) dove un fallimento dell'ancoraggio azzera l'intera ricompensa.

Protocollo di Addestramento

• Algoritmo: GRPO (Group Relative Policy Optimization).
• Dati: Un set di addestramento di 4.000 prompt comprendente 2.000 prompt con contesto (ancorati) e 2.000 prompt open (senza contesto).
• Meccanismo di Sicurezza: Viene applicata una penalità di formato se la risposta è troppo breve per supportare un giudizio di ancoraggio significativo, impedendo ai modelli di "hackerare" la ricompensa troncando le risposte.

3. Risultati Chiave

Performance In-Distribution (Benchmark di Ancoraggio)

Sui benchmark di ancoraggio standard (FACTS Grounding, LongFact, FActScore):

• FACT-ONLY ottiene la massima accuratezza di ancoraggio ma sopprime significativamente la copertura della rubrica e il conteggio delle affermazioni (ad esempio, la copertura di Qwen3-4B scende da 0.459 a 0.334).
• RUBRIC-ONLY massimizza la copertura ma causa il collasso dell'accuratezza di ancoraggio (ad esempio, scendendo a 0.097 su Qwen3-4B).
• FACT-RUBRIC-REL offre un compromesso equilibrato, mantenendo l'ancoraggio sopra il modello base pur preservando un'alta copertura.

Performance Out-of-Distribution (OOD)

Su compiti che richiedono il completamento di checklist (CL-bench) e scrittura creativa (Arena-Hard):

• Ancoraggio Rigoroso (FACT-ONLY/PROXY): Queste ricompense danneggiano attivamente le prestazioni OOD. Su DeepSeek-R1-Distill-Llama-8B, FACT-PROXY riduce i tassi di vittoria nella scrittura creativa a una frazione delle prestazioni del modello base.
• RUBRIC-ONLY: Fornisce i risultati OOD più forti, indicando che il segnale di copertura specifica della domanda si trasferisce bene a compiti diversi.
• FACT-RUBRIC-REL: È l'unica variante che migliora sia l'ancoraggio in-distribution sia il comportamento OOD rispetto al modello base. Trasferisce con successo il comportamento di completamento della checklist delle rubriche pur mantenendo un ancoraggio sufficiente.

Sensibilità del Modello

Il compromesso "rifiuto-ricchezza" è coerente tra Qwen3-4B e DeepSeek-R1-Distill-Llama-8B. Tuttavia, il modello DeepSeek, distillato per il ragionamento, è più sensibile alle ricompense di ancoraggio rigide, mostrando un collasso della lunghezza della risposta più netto e un degrado OOD più severo rispetto a Qwen.

4. Contributi Principali

1. Formalizzazione della Ricchezza: Il paper definisce la ricchezza nelle risposte a lungo formato come copertura informativa specifica per domanda piuttosto che dettaglio generico, inquadrando il RL dell'allucinazione come una mitigazione congiunta degli errori fattuali e di fedeltà.
2. Pipeline della Rubrica: La costruzione di una pipeline di multi-generazione per le rubriche a punti chiave per singolo campione, applicata a quattro benchmark di ancoraggio e un set di addestramento RL di 4K.
3. Analisi della Composizione della Ricompensa: Evidenza empirica del fatto che la composizione morbida dell'ancoraggio e della copertura della rubrica (specificamente FACT-RUBRIC-REL) produce la migliore frontiera di Pareto, bilanciando la sicurezza in-distribution con l'utilità out-of-distribution.

5. Significato e Rivendicazioni

Il paper sostiene che il problema del "rifiuto-ricchezza" nasce perché le ricompense che si adattano eccessivamente all'ancoraggio insegnano ai modelli a dire meno. La significanza di questo lavoro risiede nel dimostrare che:

• L'ancoraggio da solo è insufficiente: Cattura il supporto ma non la completezza.
• Le rubriche sono essenziali: Forniscono il segnale necessario su ciò che una risposta dovrebbe contenere, non solo su ciò che dovrebbe evitare.
• La composizione morbida è la chiave: Il gating moltiplicativo (dove il fallimento dell'ancoraggio annulla le ricompense di copertura) sopprime il comportamento utile. Una combinazione additiva morbida permette ai modelli di ricevere credito per la copertura dei punti richiesti anche se esistono lievi problemi di ancoraggio, preservando il comportamento "stile checklist" necessario per la generazione a lungo formato.

Gli autori concludono che le rubriche per singolo campione sono più efficaci come complemento all'ancoraggio, non come sostituto, e che la composizione di ricompensa proposta (FACT-RUBRIC-REL) fornisce una soluzione robusta per l'addestramento di generatori a lungo formato che siano sia ancorati che ricchi.

6. Limitazioni

Lo studio è limitato a due modelli a pesi aperti relativamente piccoli (Qwen3-4B e DeepSeek-R1-Distill-Llama-8B). Gli autori notano che modelli proprietari più forti o più grandi potrebbero mostrare sensibilità differenti ai gate di ancoraggio rigidi. Inoltre, le prestazioni a libro aperto di FActScore sono rimaste vicine allo zero, attribuito ai limiti della conoscenza parametrica del modello base piuttosto che al design della ricompensa.