Sintesi Tecnica: Latent Debate: Un Framework Surrogato per Interpretare il Pensiero degli LLM

1. Definizione del Problema

I Large Language Models (LLM) esibiscono significative capacità di ragionamento ma rimangono soggetti a allucinazioni — generando output che contraddicono i prompt dell'utente o la conoscenza del mondo stabilita. Una sfida primaria nel mitigare questo problema è l'opacità degli LLM; i loro processi di "pensiero" interni sono difficili da interpretare, rendendo complicato comprendere perché vengano effettuate specifiche predizioni o perché esse falliscano. Mentre lavori recenti hanno esplorato l'interpretabilità meccanicistica (attivazioni, pattern di attenzione) e la coerenza esterna (dibattiti multi-agente), manca un framework che modelli i disaccordi interni e le dinamiche argomentative che avvengono all'interno di un singolo modello durante un singolo step di inferenza.

2. Metodologia

2.1. Framework Concettuale: Latent Debate

Gli autori propongono Latent Debate, un framework surrogato strutturato progettato per interpretare le predizioni del modello attraverso la lente di argomentazioni implicite interne. A differenza dei tradizionali Multi-Agent Debates (MAD), dove distinti agenti discutono esternamente, il latent debate cattura segnali di supporto e di attacco nascosti che emergono tra i livelli di un singolo modello. Il framework consiste in tre componenti astratte e model-agnostic:

1. Argomenti Latenti: Segnali interni (es. stati nascosti) che trasmettono implicitamente opinioni di supporto o di attacco verso una tesi.
2. Interprete degli Argomenti: Un meccanismo che traduce questi segnali latenti in posizioni leggibili dall'uomo (supporto/attacco) e ne quantifica la forza.
3. Modulo di Pensiero: Una componente che aggrega questi argomenti interpretati per raggiungere una decisione finale, simulando il processo decisionale interno del modello.

2.2. Istanziazione Simbolica per gli LLM

Il paper istanzia questo framework per compiti di predizione Vero/Falso utilizzando LLM basati su decoder. L'implementazione specifica prevede:

• Argomenti Latenti: Gli stati nascosti ($h^{(l)}_n$) dei token ad ogni livello $l$ (escluso il livello di output finale) sono trattati come argomenti.
• Interprete degli Argomenti: La matrice di unembedding ($W_{unemb}$) proietta gli stati nascosti nello spazio del vocabolario. Le probabilità di specifici token (es. "Vero" vs "Falso") quantificano la posizione e la forza dell'argomento.
• Modulo di Pensiero: Viene impiegato un Quantitative Bipolar Argumentation Framework (QBAF) per aggregare gli argomenti.
  • Costruzione del Grafo: I nodi rappresentano gli argomenti (token a specifici livelli). Gli archi rappresentano le relazioni: un arco di "supporto" (+) collega argomenti con la stessa polarità, mentre un arco di "attacco" (-) collega polarità opposte.
  • Semantica Graduale: Il framework utilizza una semantica graduale personalizzata per calcolare la forza finale degli argomenti ($\sigma$). Ciò comporta l'aggregazione dell'influenza degli attaccanti e dei sostenitori e l'aggiornamento della forza iniziale ($\tau$) tramite una funzione tangente iperbolica combinata con pesi per ogni token.
  • Pesi per Token: Punteggi di importanza vengono assegnati ai token in base a quanto la loro rimozione alteri la similarità semantica del testo (misurata tramite un cross-encoder).

2.3. Rilevamento delle Allucinazioni

Per rilevare le allucinazioni, gli autori estraggono caratteristiche dal grafo costruito dal QBAF, tra cui:

• Numero di attacchi (argomenti conflittuali).
• Media e varianza delle forze iniziali e finali degli argomenti.
  Queste caratteristiche sono stratificate per profondità del modello (livelli inferiori, medi, superiori). Un semplice classificatore ad albero (XGBoost) viene addestrato su queste caratteristiche per distinguere tra output allucinati e non allucinati.

3. Contributi Chiave

1. Framework Latent Debate: Introduzione di un nuovo framework model-agnostic che sfrutta gli argomenti interni per interpretare il processo di "pensiero" degli LLM, spostando il focus dai dibattiti multi-agente esterni alle dinamiche interne di un singolo modello.
2. Modello Surrogato Fedele: Presentazione di un'istanziazione simbolica del latent debate che funge da surrogato trasparente per i compiti Vero/Falso degli LLM. I risultati empirici mostrano che questo surrogato raggiunge un'alta coerenza (fino al 97,11% con LLaMA-13B) con le predizioni del modello originale, validando la sua capacità di imitare il processo decisionale del modello.
3. Baseline per il Rilevamento delle Allucinazioni: Sviluppo di un approccio basato sul dibattito per il rilevamento delle allucinazioni. Lo studio identifica che specifici pattern di dibattito, in particolare un alto grado di latent debate (conflitto) nei livelli medi della rete, sono forti predittori di allucinazioni.

4. Risultati Sperimentali

• Fedeltà del Surrogato: Il surrogato del latent debate ha superato significativamente i baseline di surrogati strutturati (Random, Average, Majority Voting) e le varianti del framework di dibattito (senza pesi dei token o con connessioni quadratiche) su sei dataset (Common Claims, CounterFact, Company, TriviaQA, MuSiQue, TruthfulQA) e tre dimensioni di modello (Llama-8B, Mistral-7B, Llama-13B). Per Llama-13B, il latent debate ha raggiunto una coerenza media del 97,11%, rispetto al 90,97% del miglior baseline non-debate.
• Rilevamento delle Allucinazioni: Il Latent Debate Detector, utilizzando le caratteristiche estratte dal grafo del dibattito interno, ha ottenuto prestazioni competitive nel rilevare le allucinazioni. Ha superato i metodi di isolamento delle feature e i baseline come SelfCheckGPT e SAPLMA su diversi dataset, raggiungendo un AUROC medio di 0,82.
• Interpretabilità: L'analisi dei punteggi di attribuzione SHAP ha rivelato che il numero di latent debate nei livelli medi è il predittore più forte di allucinazioni, suggerendo che il disaccordo interno durante le fasi di elaborazione intermedia correla con errori fattuali.

5. Significato e Rivendicazioni

Il paper posiziona il latent debate come un potenziale framework per comprendere i meccanismi interni degli LLM, specificamente in scenari in cui si verificano (dis)accordi interni durante l'inferenza. Gli autori sottolineano che il loro obiettivo è l'interpretabilità, non il miglioramento delle capacità del modello (es. l'incremento della fattualità). Il framework fornisce un "surrogato strutturato fedele" che rende trasparente il processo decisionale della black-box, visualizzando gli argomenti interni di supporto e di attacco. I risultati suggeriscono che le allucinazioni non sono semplici errori casuali, ma sono legate a pattern specifici e rilevabili di conflitto interno all'interno dell'architettura del modello.