Riepilogo Tecnico: Indagine sull'Interazione tra Fedeltà del Ragionamento a Catena di Pensiero Contestuale e Parametrica sotto Ottimizzazione

Enunciato del Problema

Il ragionamento a catena di pensiero (CoT) si è dimostrato efficace nel migliorare le prestazioni dei Modelli Linguistici di Grande Dimensione (LLM), tuttavia permane una preoccupazione critica: la fedeltà del CoT. Ciò si riferisce al fatto che i passaggi di ragionamento generati riflettano genuinamente il processo computazionale sottostante del modello o servano meramente come razionalizzazioni plausibili ex post.

La valutazione attuale della fedeltà del CoT è frammentata in due paradigmi disgiunti:

1. Fedeltà Contestuale: Valutata perturbando l'input o la traccia di ragionamento (ad esempio, inserendo errori, parafrasando o iniettando suggerimenti) e osservando se la risposta del modello cambia di conseguenza. Ciò misura la coerenza tra la traccia di ragionamento e l'output, ma ignora la conoscenza parametrica interna del modello.
2. Fedeltà Parametrica: Valutata intervenendo sulla conoscenza parametrica del modello (ad esempio, disimparando la conoscenza alla base di un passaggio di ragionamento specifico) per verificare se la risposta cambia. Ciò mira ai meccanismi interni ma è limitato alla conoscenza esplicitamente verbalizzata nel CoT, potenzialmente tralasciando fattori non espressi che plasmano la generazione.

Il lavoro precedente ha confrontato questi paradigmi in gran parte in modo descrittivo su CoT fissi, lasciando un vuoto nella comprensione di come interagiscano quando i modelli sono esplicitamente ottimizzati per la fedeltà. Rimane incerto se l'ottimizzazione per un paradigma produca guadagni nell'altro, o se questi paradigmi premiano proprietà conflittuali.

Metodologia: Framework FaithMATE

Per affrontare ciò, gli autori introducono FaithMATE (Valutazione di Trasferimento e Allineamento della Metrica di Fedeltà), un'interfaccia unificata di allineamento delle preferenze progettata per ottimizzare i modelli verso la fedeltà contestuale o parametrica e valutare il trasferimento di questi guadagni.

Il framework opera in quattro passaggi chiave:

1. Campionamento CoT: Per ogni input, il modello base campiona un insieme di $m$ CoT.
2. Valutazione della Fedeltà: Ogni CoT campionato viene valutato utilizzando una suite di metriche ($\mathcal{F}$). La suite include:
   • Metriche Contestuali: Basate sulla corruzione (Risposta Anticipata, Aggiunta di Errore, Parafrasi, Token Riempitivo) e basate sull'attribuzione (CC-SHAP).
   • Metriche Parametriche: Misure binarie ($f_{hard}$) e continue ($f_{cont}$) basate sul disapprendimento dei passaggi di ragionamento.
3. Costruzione di Coppie di Preferenza: Per una metrica di addestramento scelta ($F_{train}$), il CoT più fedele viene selezionato come risposta "scelta" ($y_w$) e il meno fedele come risposta "rifiutata" ($y_l$).
4. Ottimizzazione: Il modello viene ottimizzato utilizzando sia l'Addestramento Supervisionato Fine-Tuning (SFT) sui CoT scelti sia l'Ottimizzazione Diretta delle Preferenze (DPO) utilizzando le coppie costruite.

L'indagine centrale coinvolge il Trasferimento del Guadagno di Fedeltà ($\delta$): Dopo l'ottimizzazione per una specifica metrica $f_i$, il modello viene valutato su tutte le altre metriche ($f_j$) per misurare $\delta(f_i, f_j) = f_j(c') - f_j(c)$, dove $c'$ è l'output del modello ottimizzato e $c$ è il modello base.

Contributi Chiave

1. Interfaccia di Ottimizzazione Unificata: FaithMATE fornisce il primo framework per ottimizzare sistematicamente gli LLM verso obiettivi di fedeltà sia contestuali che parametrici, permettendo uno studio controllato della loro interazione.
2. Scoperta di Accoppiamento Asimmetrico: Lo studio rivela che, sebbene i due paradigmi siano positivamente accoppiati, sono asimmetrici. L'ottimizzazione per la fedeltà parametrica produce guadagni coerenti in entrambi i paradigmi. Al contrario, l'ottimizzazione per la fedeltà contestuale produce guadagni variabili; i miglioramenti su una metrica contestuale non si trasferiscono coerentemente alle altre.
3. Incoerenza Interna delle Metriche Contestuali: Gli autori dimostrano che le metriche di fedeltà contestuale catturano aspetti disgiunti della fedeltà. Ad esempio, l'ottimizzazione per "Aggiunta di Errore" può talvolta degradare le prestazioni su "Parafrasi", suggerendo che queste metriche non sono proxy intercambiabili per una singola quantità latente.
4. Differenziazione Meccanicistica: L'analisi qualitativa mostra che i guadagni contestuali derivano principalmente da una migliore coerenza ragionamento-risposta e dalla mitigazione delle razionalizzazioni ex post. I guadagni parametrici, al contrario, derivano da un ancoraggio più esplicito a fatti e conoscenze rilevanti per il compito.
5. Strategia di Fusione dei Modelli: Il documento esplora la fusione aritmetica dei compiti di modelli ottimizzati per diverse metriche contestuali. Si scopre che fondere modelli ottimizzati per "Risposta Anticipata" e "Token Riempitivo" amplifica i guadagni di fedeltà, mentre includere "Parafrasi" spesso diluisce i guadagni, probabilmente a causa di direzioni opposte di aggiornamento dei parametri.

Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli (Gemma3-4B, Qwen2.5-7B, Llama3.1-8B) su due dataset (OpenBookQA, LogiQA) utilizzando sei metriche di fedeltà.

• Trasferimento Cross-Paradigma:
  • Parametrico $\Rightarrow$ Contestuale: Altamente coerente. L'ottimizzazione per la fedeltà parametrica ha migliorato la fedeltà contestuale in 28 casi su 30 su OpenBookQA e 24 su 25 su LogiQA.
  • Contestuale $\Rightarrow$ Parametrico: Positivo ma altamente variabile. Sebbene 32 casi su 48 abbiano mostrato un trasferimento positivo, l'entità è variata significativamente a seconda della specifica metrica contestuale (ad esempio, "Token Riempitivo" si è trasferito bene, mentre "Aggiunta di Errore" si è trasferito male).
• Trasferimento Within-Paradigma (Contestuale):
  • I guadagni non si sono trasferiti coerentemente tra diverse metriche contestuali. Ad esempio, l'ottimizzazione per "Parafrasi" non ha migliorato in modo affidabile i punteggi di "Aggiunta di Errore", e in alcuni casi le due metriche erano in tensione.
• Paradigmi di Addestramento:
  • DPO ha costantemente superato SFT nella generazione di guadagni di fedeltà, suggerendo che i segnali contrastivi (distinguere alta da bassa fedeltà) sono più efficaci della semplice massimizzazione della verosimiglianza.
• Prestazioni del Compito:
  • L'ottimizzazione della fedeltà ha in gran parte preservato o migliorato l'accuratezza complessiva del compito, senza osservare un degrado significativo.

Significato e Affermazioni

Il documento afferma che la fedeltà del CoT non è un obiettivo monolitico. I risultati implicano che:

• La fedeltà parametrica è un target più affidabile per la generalizzazione ampia, poiché migliora coerentemente sia le misure parametriche che quelle contestuali.
• La fedeltà contestuale è una famiglia di proprietà correlate ma distinte. Affidarsi a una singola metrica contestuale per la valutazione o l'ottimizzazione è insufficiente e potenzialmente fuorviante, poiché i miglioramenti in un'area potrebbero non riflettere miglioramenti in altre.
• È necessaria un'Ottimizzazione Multifaccettata. Poiché metriche diverse premiano comportamenti sottostanti diversi (ad esempio, coerenza del ragionamento vs. ancoraggio fattuale), un approccio completo al miglioramento della fedeltà del CoT richiede di affrontare questi aspetti distinti, potenzialmente attraverso tecniche come la fusione dei modelli o l'ottimizzazione multi-obiettivo.

Gli autori concludono che FaithMATE funge da fondamento per lo sviluppo di obiettivi di fedeltà che siano sia ancorati parametricamente che robusti contestualmente, permettendo affermazioni più precisamente circoscritte sulla validità delle singole metriche di fedeltà.