Riepilogo Tecnico: Colmare il divario tra Conoscenza e Predizione negli LLM su Domande a Scelta Multipla

1. Definizione del Problema

I Large Language Models (LLM) mostrano frequentemente un "divario tra conoscenza e predizione" (knowledge-prediction gap), un fenomeno in cui un modello possiede la risposta corretta all'interno delle sue rappresentazioni latenti interne ma non riesce a generarla come output finale. Questa discrepanza è particolarmente evidente nei contesti di domande a scelta multipla (MCQ), dove i modelli possono selezionare opzioni errate nonostante codifichino linearmente la risposta corretta nei loro residual streams. Studi precedenti hanno attribuito tali fallimenti a indizi superficiali, bias delle opzioni o artefatti stilistici, ma una spiegazione unificata che colleghi questi fallimenti alla struttura geometrica interna del modello è rimasta inesplorata. Nello specifico, non è chiaro se questo divario sia pervasivo in domini diversi, quale struttura geometrica sottenda il disallineamento tra la conoscenza interna e il comportamento di output, e se tale divario possa essere mitigato al tempo di inferenza senza riaddestramento.

2. Metodologia

Gli autori propongono un framework di analisi e intervento in tre fasi:

A. Quantificazione del Divario tramite Probing Lineare

Gli autori definiscono il divario tra conoscenza e predizione come la discrepanza tra la conoscenza codificata nelle rappresentazioni interne e le predizioni generate. Per misurare questo, addestrano due probe lineari distinti sulle attivazioni del residual stream degli LLM:

1. Knowledge Probe (Probe della Conoscenza): Un classificatore lineare a $k$-class addestrato per predire la risposta corretta ($y$) a partire dagli stati nascosti.
2. Prediction Probe (Probe della Predizione): Un classificatore lineare a $k$-class addestrato per predire la propria scelta generata dal modello ($\tilde{y}$).

Valutano questi probe attraverso diversi modelli (ad es., Llama 3.1 8B, Qwen 2.5 7B) e benchmark (Ragionamento, Conoscenza, Veridicità, Bias). Per quantificare il divario, introducono due metriche:

• Prediction Agreement (AGR - Accordo di Predizione): La frequenza con cui il probe della conoscenza e l'output del modello selezionano la stessa opzione.
• Distributional Divergence (KLD - Divergenza Distribuzionale): La divergenza di Kullback-Leibler tra le distribuzioni di probabilità del probe della conoscenza e dell'output del modello.

B. Interpretazione Geometrica

Gli autori interpretano i vettori di peso dei probe addestrati come definitori di sottospazi a bassa dimensionalità all'interno del residual stream:

• Knowledge Subspace (Sottospazio della Conoscenza): Spaziato dai pesi del knowledge probe.
• Prediction Subspace (Sottospazio della Predizione): Spaziato dai pesi del prediction probe.

Ipotizzano che un ampio divario tra conoscenza e predizione corrisponda a un disallineamento sistematico tra questi due sottospazi. Quando il divario è ampio, le coordinate di uno stato nascosto proiettato sul prediction subspace divergono significativamente dalle sue coordinate nel knowledge subspace.

C. KAPPA: Intervento al Tempo di Inferenza

Per mitigare questo divario, gli autori introducono KAPPA (Knowledge-Aligned Prediction through Projection-based Adjustment). KAPPA è un intervento leggero, al tempo di inferenza, che applica una trasformazione affine al residual stream.

• Meccanismo: Risolve un problema di ottimizzazione vincolata per perturbare minimamente lo stato nascosto $h$ in modo che le sue coordinate nel prediction subspace si allineino con le sue coordinate nel knowledge subspace.
• Formulazione: La trasformazione $T$ mappa $h$ in $h'$ risolvendo:
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{s.t.} \quad W_{pred}^\top h' = W_{know}^\top h$$
  Ciò produce una soluzione in forma chiusa che aggiusta lo stato nascosto solo all'interno del prediction subspace, lasciando invariate le componenti ortogonali.
• Generalizzazione: Il metodo include gli iperparametri $\alpha$ e $\beta$ per controllare la forza dell'allineamento, permettendo un aggiustamento flessibile di quanto fortemente la conoscenza interna debba influenzare la predizione.

3. Contributi Chiave

1. Evidenza Empirica di un Divario Diffuso: Lo studio stabilisce che il divario tra conoscenza e predizione è pervasivo in diversi benchmark MCQ e famiglie di modelli. Il divario è più pronunciato nei compiti di ragionamento, veridicità e bias, mentre è meno evidente nei benchmark intensivi di conoscenza.
2. Spiegazione Geometrica: Il paper fornisce un'interpretazione geometrica del divario, identificandolo come un disallineamento tra distinti sottospazi di conoscenza e di predizione nel residual stream.
3. Intervento KAPPA: Gli autori presentano KAPPA, un metodo al tempo di inferenza che calibra geometricamente gli stati nascosti per allineare le predizioni del modello alla conoscenza interna. A differenza dei precedenti metodi di steering che applicano correzioni fisse, KAPPA adatta il proprio aggiustamento in base al divario specifico tra conoscenza e predizione di ogni istanza.

4. Risultati

• Entità del Divario: I probe lineari superano costantemente l'accuratezza della generazione del modello base in tutti i dataset testati, confermando che i modelli codificano una conoscenza linearmente accessibile che poi non riescono a utilizzare. Il divario varia significativamente per dominio, con TruthfulQA e BBQ che mostrano le maggiori discrepanze (ad es., $\Delta$ACC fino a +21.3% per Qwen 2.5 7B).
• Miglioramento delle Prestazioni: KAPPA riduce costantemente il divario e migliora l'accuratezza rispetto ai modelli baseline e ai metodi esistenti al tempo di inferenza (come CAA e DoLA).
  • Su TruthfulQA, KAPPA ha migliorato l'accuratezza di Llama 3.1 8B di 8.9–16.9 punti.
  • Sui benchmark di Ragionamento (GSM8k, BBH), KAPPA ha ottenuto guadagni costanti di 1.5–5.0 punti.
  • KAPPA ha aumentato significativamente l'Agreement Rate (AGR) tra il probe della conoscenza e l'output del modello, avvicinandosi spesso all'accuratezza del probe della conoscenza stesso.
• Generalizzazione:
  • Tra i Modelli: KAPPA mitiga efficacementamente il divario in modelli di diverse dimensioni (da 4B a 14B) e architetture (Mistral, Llama, Qwen).
  • Trasferimento Cross-Dataset: Sebbene i sottospazi siano generalmente specifici per il dataset, è stato osservato un trasferimento efficace tra compiti che richiedono abilità sottostanti simili (ad es., da BBH-NLP a GSM8K).
  • Generazione Free-Form: Applicare KAPPA a contesti di generazione libera (senza opzioni MCQ) ha migliorato l'accuratezza su TruthfulQA, dimostrando che l'allineamento geometrico si estende oltre i formati a scelta multipla.

5. Significato e Rivendicazioni

Il paper sostiene che molti fallimenti degli LLM, in particolare le allucinazioni e gli errori di ragionamento, non derivano dalla mancanza di conoscenza, ma da un disallineamento tra ciò che il modello codifica internamente e ciò che alla fine predice. Identificando distinti sottospazi di conoscenza e di predizione, gli autori forniscono una spiegazione geometrica interpretabile di questi fallimenti.

L'introduzione di KAPPA dimostra che questo divario può essere colmato attraverso l'allineamento a livello di rappresentazione senza addestramento aggiuntivo. Gli autori concludono che l'allineamento a livello di rappresentazione è una direzione promettente per elicitare predizioni più fedeli dagli LLM. Notano che, sebbene il loro lavoro si concentri sulla conoscenza linearmente accessibile, sono necessari futuri studi per comprendere come allineare la conoscenza più complessa e non lineare.