Sintesi Tecnica: Possiamo fidarci della logica degli LLM? Quantificare l'incertezza, la coerenza e la robustezza tramite un framework basato su grafi

1. Definizione del problema

I Large Language Models (LLM) producono frequentemente ragionamenti plausibili ma non fedeli, spesso definiti "allucinazioni", che possono essere erroneamente corretti con estrema sicurezza. Le attuali strategie di decoding, in particolare la Self-Consistency (SC), si affidano al voto di maggioranza sulla risposta finale per migliorare l'accuratezza. Tuttavia, la SC valuta solo l'accordo della risposta finale, ignorando la validità logica dei passaggi intermedi. Ciò consente ai "fortunati indovini" (lucky guesses)—dove percorsi di ragionamento fallaci, illogici o contraddittori convergono casualmente sulla risposta corretta—di gonfiare artificialmente le metriche di accuratezza. In domini critici (es. medicina, legge, finanza), questa mancanza di fedeltà nel ragionamento pone rischi significativi.

Il documento identifica tre sfide fondamentali:

1. Quantificazione dell'incertezza (UQ): Come quantificare in modo affidabile l'incertezza nei processi di ragionamento degli LLM che catturi il collasso strutturale e le allucinazioni sicure, piuttosto che la semplice probabilità a livello di token.
2. Decoding Fedele: Se la consapevolezza semantica e strutturale possa filtrare i "fortunati indovini" non fedeli che la semplice votazione a maggioranza non rileva.
3. Robustezza: Quanto sia robusta la topologia del ragionamento in condizioni avversarie, specificamente quando i percorsi di ragionamento dominanti vengono rimossi.

2. Metodologia: GRAPHEVAL

Gli autori propongono GRAPHEVAL, un framework di ragionamento basato su grafi che trasforma le generazioni di testo grezzo in strutture topologiche analizzabili per valutare olisticamente la fedeltà del ragionamento. La pipeline si compone di cinque fasi:

A. Decomposizione dei fatti causali e costruzione del DAG

• Generazione: Un Generatore LLM ($G_{LLM}$) produce $N$ tracce di Chain-of-Thought (CoT) ad alta temperatura per catturare la diversità del ragionamento.
• Annotazione: Ogni passaggio è annotato con dipendenze causali dirette (es. [depends_on: 0, 1]).
• Decomposizione: Un Decompositore LLM distinto ($D_{LLM}$), operante a temperatura deterministica, scompone i passaggi grossolani in fatti atomici Soggetto-Verbo-Oggetto preservando le originali dipendenze causali.
• Rappresentazione a grafo: L'output è mappato in un Grafo Aciclico Diretto (DAG) $G = (V, E)$, dove i nodi sono fatti atomici e gli archi rappresentano le dipendenze causali.

B. Computazione della distanza Semantico-Strutturale (SS-GED)

Per misurare la coerenza attraverso il manifold del ragionamento, il framework calcola le distanze a coppia tra tutti i DAG utilizzando una versione estesa della Graph Edit Distance (GED).

• Ottimizzazione: Invece della ricerca A* NP-difficile, gli autori utilizzano l'algoritmo ungherese ($O(m^3)$) per un matching bipartito efficiente.
• Funzione di costo: I costi di sostituzione si basano sulla distanza del coseno tra gli embedding di nodi e archi.
• Miglioramenti:
  • Normalizzazione equa: Scala i costi di editing in base alla dimensione media del grafo per gestire lunghezze variabili.
  • Fusione Semantico-Strutturale: Combina la somiglianza strutturale con la somiglianza semantica dei nodi terminali (conclusioni). Il punteggio di somiglianza finale $S(G_i, G_j)$ è una combinazione pesata della similarità del coseno dei nodi terminali e di una trasformazione della Funzione di Base Radiale (RBF) della distanza di edit normalizzata.

C. Punteggio di Coerenza del Ragionamento su Grafo (GRCS)

GRCS è una nuova metrica di UQ definita come l'inverso della distanza media a coppia attraverso il manifold del ragionamento:
$$\text{GRCS} = \frac{1}{1 + \mu(D(q))}$$
dove $D(q)$ è l'insieme delle distanze a coppia. GRCS quantifica il consenso semantico-strutturale. È progettato per rilevare il collasso del modo (scorciatoie ripetitive e fallaci) e le allucinazioni sicure (fatti fabbricati che portano a conclusioni disconnesse), che aumentano la distanza media a coppia.

D. Graph Self-Consistency (GSC)

GSC è una strategia di decoding che seleziona la CoT medoide—il percorso più centrale e supportato all'interno del manifold semantico-strutturale del grafo—invece della risposta finale più frequente.

• Criteri di selezione: Il medoide $z^*$ massimizza un punteggio che combina la Centralità Strutturale (somiglianza totale con altri grafi) e il Consenso a livello di Grafo (frazione di altri grafi che contengono nodi semanticamente simili, pesata fortemente per i nodi terminali).
• Obiettivo: Scambiare l'accuratezza nominale con la fedeltà del ragionamento, filtrando i percorsi non fedeli che per caso portano alla risposta corretta.

E. Ablazione del Medoide Avversaria

Per testare la robustezza, il framework impiega un attacco di prompt-poisoning che proibisce esplicitamente al modello di riutilizzare il percorso medoide selezionato da GSC. Ciò costringe il modello a generare percorsi di ragionamento alternativi, permettendo agli autori di misurare se l'accuratezza diminuisce o se emergono "fortunati indovini" quando il percorso primario "portante" viene rimosso.

3. Contributi Chiave

1. Metrica GRCS: Una metrica di incertezza distributiva basata su SS-GED che mostra costantemente una correlazione negativa con la fedeltà del ragionamento attraverso diverse scale di modelli, catturando efficacementmente l'incertezza nascosta in percorsi di ragionamento fallaci dove le metriche tradizionali (dispersione, entropia, Topo-UQ) falliscono.
2. Strategia di Decoding GSC: Un metodo di decoding strutturale che isola i "fortunati indovini". I risultati empirici mostrano che riduce significativamente il ragionamento non fedele nei modelli più piccoli (es. Llama 3.1 8B) pur preservando o migliorando l'accuratezza nei modelli più capaci (es. DeepSeek R1).
3. Risultati sulla Robustezza Avversaria: Lo studio dimostra che il medoide selezionato da GSC agisce come un "percorso portante". Costringere i modelli lontano da questo percorso spesso degrada la fedeltà del ragionamento, anche se l'accuratezza viene temporaneamente mantenuta tramite scorciatoie fallaci.

4. Risultati Sperimentali

Il framework è stato valutato su cinque dataset (GSM8K, BoolQ, StrategyQA, MedQA, GPQA) e tre modelli (Llama 3.1 8B, Phi-4, DeepSeek R1).

• Quantificazione dell'incertezza: GRCS è stata l'unica metrica a mantenere una correlazione negativa con la fedeltà nel 93% (14/15) delle configurazioni. I baseline come dispersione ed entropia hanno spesso mostrato correlazioni positive o deboli, scambiando il ragionamento fallace ripetitivo per fiducia.
• Performance di Decoding:
  • Modelli piccoli (Llama 3.1 8B): GSC ha causato cali significativi di accuratezza (es. -7,6% su GSM8K, -9,0% su MedQA) rispetto a SC. Ciò indica che l'alta accuratezza di SC era gonfiata da "fortunati indovini" non fedeli che GSC ha invece filtrato con successo.
  • Modelli capaci (DeepSeek R1): GSC ha mantenuto o leggermente migliorato l'accuratezza in tutti i dataset, suggerendo che per i modelli più grandi, il percorso strutturalmente centrale si allinea più strettamente con la risposta corretta.
• Audit dei Disaccordi: Nei casi in cui SC e GSC sono in disaccordo, le risposte selezionate da GSC sono state significativamente più probabili di essere fedeli (79,5% vs 57,6% per SC).
• Ablazione Avversaria: Quando il percorso medoide è stato ablato, i modelli più piccoli hanno mostrato una forte correlazione negativa tra i guadagni di accuratezza e i cali di fedeltà, confermando empiricamente il fenomeno del "fortunato indovino". I modelli più grandi hanno mostrato una correlazione minore ma hanno comunque mostrato una degradazione della fedeltà quando l'accuratezza veniva preservata.

5. Significato e Assertions

Il paper sostiene che la fiducia negli LLM non può essere giudicata solo dall'accordo sulle risposte. Modellando le CoT campionate come DAG, gli autori dimostrano che la struttura del ragionamento rivela segnali critici di incertezza e robustezza che il consenso sulla risposta finale oscura.

• Cambio di Paradigma: Il lavoro motiva un passaggio dalla valutazione della frequenza dell'output finale all'analisi del livello di ragionamento, particolarmente per contesti mission-critical dove gli errori hanno conseguenze catastrofiche.
• Ruolo dei Medoidi: Il medoide selezionato da GSC è identificato non solo come una media statistica, ma come una struttura "portante" essenziale per una deduzione affidabile.
• Limitazioni: Gli autori riconoscono che GRAPHEVAL ha una complessità temporale superiore ($O(N^2 \cdot m^3)$) rispetto a SC e che la sua forza statistica diminuisce su modelli molto grandi e capaci (come DeepSeek R1), che presentano topologie di ragionamento più ampie e ad alta entropia. Il framework è attualmente ottimizzato per benchmark a breve orizzonte (3–6 step), e la scalabilità a compiti altamente compositivi e a lungo contesto rimane una questione aperta.

In sintesi, GRAPHEVAL fornisce un meccanismo rigoroso basato su grafi per quantificare la fedeltà del ragionamento, offrendo un'alternativa più affidabile alle standard strategie di decoding per garantire l'impiego affidabile degli LLM.