Sintesi Tecnica: Coerenza Cross-Contestuale come Misura della Credibilità degli LLM

Definizione del Problema

I Large Language Models (LLM) funzionano come potenti sistemi black-box, rendendo difficile determinare se i loro output riflettano convinzioni interne stabili o un superficiale abbinamento di pattern. Sebbene gli LLM dimostrino prestazioni elevate in vari compiti, spesso falliscono nel preservare la coerenza logica. Gli esempi includono la "maledizione del ribaltamento" (reversal curse — fallimento nell'associare fatti logicamente implicati) e il "dirottamento del contesto" (context hijacking — cambiare le risposte quando viene aggiunto un contesto semanticamente neutro). I metodi di valutazione esistenti presentano significativi limiti:

• Metodi basati su segnali interni: Approcci che utilizzano probabilità a livello di token o stati nascosti sono inapplicabili ai modelli closed-source e faticano con le risposte aperte.
• Autovalutazione della fiducia (Self-Reported Confidence): I modelli spesso mostrano un eccesso di fiducia, fornendo punteggi di confidenza elevati per risposte errate.
• Auto-coerenza e Parafrasi: Questi metodi possono soffrire di fallimenti meccanicistici, come il rischio che i modelli rimangano intrappolati sulla stessa risposta errata attraverso più generazioni o che introducano derive semantiche durante la parafrasi, portando a stime di confidenza gonfiate.

Esiste la necessità di un approccio rigoroso e black-box per valutare la credibilità del modello che non dipenda da conoscenze esterne, parametri del modello o misure auto-riportate.

Metodologia: Coerenza Cross-Contestuale (C3)

Il paper propone la Coerenza Cross-Contestuale (C3), una proprietà comportamentale secondo la quale una risposta credibile dovrebbe rimanere stabile quando lo stesso compito viene presentato sotto variazioni contestuali allineate al tema ma neutre nel contenuto.

Operazionalizzazione

1. Strategia di Perturbazione: Per una data query $x$, gli autori campionano un set di perturbazioni contestuali $E = \{\epsilon_1, \dots, \epsilon_n\}$. Queste perturbazioni sono prefissate alla query originale per creare $x' = [\epsilon; x]$.
   • Vincoli: Le perturbazioni devono soddisfare l'allineamento tematico (rimanere nel dominio), la neutralità del contenuto (non rivelare, supportare o contraddire la risposta) e la non-trivialità (introdurre variazioni significative piuttosto che ripetere la domanda).
2. Confronto Distribuzionale: Il metodo tratta la generazione del modello come un processo stocastico. Viene campionato l'output dal prompt originale ($Y \sim P(Y|x)$) e dai prompt perturbati ($Y_E \sim P^E(Y|x)$).
3. Definizione della Metrica: C3 è definita come una distanza inversa normalizzata tra le distribuzioni di output originale e perturbata:
   $$C3(x; E) = 1 - \tilde{D}(P(Y|x), P^E(Y|x))$$
   dove $\tilde{D}$ è una funzione di distanza adattiva al compito normalizzata nell'intervallo $[0, 1]$. Nell'implementazione principale, gli autori utilizzano la Massima Discrepanza Media (MMD) come metrica di distanza, il che consente il confronto sia di generazioni a formato fisso che di generazioni aperte.
4. Interpretazione: Un punteggio C3 più elevato indica che la distribuzione dell'output del modello è stabile sotto variazione contestuale (alta credibilità), mentre un punteggio più basso indica fragilità contestuale (bassa credibilità).

Contributi Chiave

1. Identificazione di una Proprietà Sottoutilizzata: Il paper identifica la C3 come un indicatore comportamentale della credibilità degli LLM, postulando che le risposte ben supportate debbano rimanere stabili sotto esame incrociato (variazione contestuale).
2. Framework Operativo: Gli autori istanziano la C3 come un protocollo di valutazione black-box applicabile a compiti di scelta multipla, risposta breve, fattualità a lungo termine e generazione di codice.
3. Validazione Empirica: Attraverso esperimenti su 16 modelli su sei benchmark, il paper dimostra che la C3 si allinea con la correttezza e la fattualità, funge da robusto strumento diagnostico per la saturazione dei benchmark e fornisce un asse di valutazione complementare alle metriche di accuratezza tradizionali. (Nota: un ulteriore set di 10 modelli è stato incluso in uno studio di caso limitato al benchmark MMLU High School Statistics).

Risultati Sperimentali

Gli autori hanno valutato la C3 rispetto ai baseline (Auto-coerenza, Coerenza della Parafrasi, Auto-riportata Fiducia e FActScore) attraverso sei benchmark: SVAMP, MMLU High School Statistics, CommonsenseQA, SimpleQA, FActScore e HumanEval.

• Calibrazione Superiore: La C3 ha costantemente superato i baseline nell'allineare la "credibilità" del modello con la verità. Ad esempio, su SVAMP (ragionamento matematico), la C3 ha raggiunto un AUROC di 0,917 rispetto allo 0,861 dell'Auto-coerenza. Su SimpleQA (fattualità), la C3 ha ottenuto un AUROC di 0,823, superando significativamente l'Auto-coerenza (0,792) e l'Auto-riporto (0,490).
• Rilevamento della Fattualità: La C3 ha rilevato efficacemente gli errori legati alla fattualità. Gli autori hanno osservato una correlazione di rango di Spearman di 0,624 tra C3 e FActScore, suggerendo che lo stato interno del modello contenga rappresentazioni latenti dei suoi confini di conoscenza. I fatti allucinati tendono a risiedere in regioni a bassa probabilità che cambiano significativamente sotto perturbazione.
• Generazione a Lungo Termine: La C3 si è scalata efficacemente su compiti aperti (HumanEval, FActScore) dove molti metodi esistenti falliscono, raggiungendo una forte calibrazione (ad esempio, 0,110 ECE su HumanEval) senza richiedere ambienti di esecuzione esterni.
• Diagnosi dei Benchmark: Tracciando le prestazioni a livello di istanza rispetto alla C3, gli autori hanno identificato quattro regioni distinte:
  • Mastered (Alta Performance, Alta C3): Comprensione corretta e stabile.
  • Brittle (Alta Performance, Bassa C3): Alta accuratezza guidata da un superficiale abbinamento di pattern o contaminazione dei dati; i modelli falliscono sotto perturbazione.
  • Biased (Bassa Performance, Alta C3): I modelli sono costantemente errati a causa di forti prior errati o pregiudizi.
  • Unlearned (Bassa Performance, Bassa C3): Reali lacune nella conoscenza.
    Questa analisi ha rivelato che benchmark come HumanEval mostrano segni di "fragilità" (overfitting), mentre SimpleQA rimane ampiamente nella regione "Unlearned".

Significato e Rivendicazioni

Il paper sostiene che la C3 fornisca un asse di valutazione complementare che rimane informativo anche quando i benchmark convenzionali diventano saturi o contaminati. A differenza dei metodi che testano esplicitamente la correttezza, la C3 misura la stabilità del processo di generazione. Gli autori sostengono che:

• La Credibilità come Stabilità: La risposta di un modello dovrebbe essere robusta rispetto a contesti logicamente e semanticamente equivalenti. Se gli output variano sostanzialmente tra diversi framing, la credibilità del modello è compromessa.
• Utilità Black-Box: La C3 non richiede l'accesso ai parametri del modello, rendendola applicabile ai modelli closed-source, e non dipende dalla fiducia auto-riportata, che è spesso mal calibrata.
• Potere Diagnostico: La C3 aiuta a distinguere tra vera comprensione e performance "fragili" guidate dalla memorizzazione o dal bias, offrendo un modo pratico per rivelare la fragilità della risposta che la valutazione standard basata sull'accuratezza non coglie.

Gli autori concludono che, sebbene la C3 sia un potente strumento diagnostico, non deve essere trattata come una garanzia di verità, poiché un modello può essere coerente e comunque errato. È intesa come un aiuto per identificare le generazioni fragili al contesto piuttosto che come un sostituto della supervisione umana.