Sintesi Tecnica: Coerenza sotto Impegno (CUC)

Definizione del Problema

I Large Language Models (LLM) impiegati in domini ad alta intensità di conoscenza esibiscono un modo critico di fallimento: la coerenza vacua. Le metriche di valutazione standard privilegiano la coerenza logica (ad esempio, la coerenza di negazione, dove un modello non afferma simultaneamente una proposizione e la sua negazione). Tuttavia, un modello può soddisfare trivialmente questi vincoli di coerenza attraverso l'astensione sistematica da qualsiasi giudizio decisivo. Ritirando l'impegno verso l'implicazione o la confutazione, un modello ottiene una coerenza nulla di contraddizioni logiche, ma fornisce zero utilità di ragionamento.

In ambienti ad alto rischio (ad esempio, diagnostica clinica, ragionamento scientifico), questo comportamento "sicuro" è indistinguibile da una genuina affidabilità sotto le valutazioni standard. Un modello che rifiuta di rispondere al 90% delle query appare "coerente", ma è operativamente inutile. I paradigmi di valutazione attuali non riesciano a rilevare ciò perché misurano la coerenza in isolamento, ignorando l'impegno epistemico richiesto per un ragionamento azionabile.

Metodologia: Coerenza sotto Impegno (CUC)

Gli autori propongono la Coerenza sotto Impegno (CUC), un paradigma di valutazione a doppia query progettato per misurare congiuntamente la coerenza logica e la decisione epistemica.

1. Protocollo di Elicitazione a Doppia Query

Inveovce di una singola query, la CUC costruisce una coppia simmetrica di query per ogni premessa $P$ e ipotesi $\phi$:

• $Q_\phi$: "$\phi$ è logicamente implicata da $P$?"
• $Q_{\neg\phi}$: "$\neg\phi$ è logicamente implicata da $P$?"

Per eliminare la varianza di campionamento e gli artefatti di decodifica, il protocollo utilizza l'elicitazione deterministica. Esso estrae le probabilità logaritmiche normalizzate per le risposte binarie (SÌ/NO) direttamente dai logit del modello:
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{SÌ}|Q_\phi))}{\exp(\log P(\text{SÌ}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
Ciò produce una massa di probabilità per la risposta affermativa sia per l'ipotesi che per la sua negazione.

2. Metriche Core

Il framework definisce due metriche primarie derivate dalle probabilità $\mathcal{P}(\phi)$ e $\mathcal{P}(\neg\phi)$:

• Punteggio di Impegno ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  Questo quantifica la totale massa di probabilità allocata a esiti decisivi. Un punteggio basso indica che il modello tratta la query come effettivamente ignota (astensione), indipendentemente dal fatto che sia coerente.

• Violazione della Coerenza di Negazione ($v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  Questa misura l'entità con cui un modello assegna più di un'unità di massa di probabilità a esiti mutuamente esclusivi. Un valore $>0$ indica incoerenza logica (sovra-impegno simultaneo).

Insight Chiave: Il documento stabilisce l'identità algebrica $v_{neg} = \max(0, c - 1)$. Ciò implica che qualsiasi modello con $c(\phi) \leq 1$ otterrà automaticamente una violazione nulla, indipendentemente dalla sua qualità di ragionamento. Perti, bassi tassi di violazione possono essere un artefatto di un basso impegno.

3. Framework Decisionale a 3 Vie

Per operazionalizzare queste metriche, gli autori definiscono una regola decisionale con soglie $\tau$ (fiducia) e $\delta$ (margine):

• VERO: Se $\mathcal{P}(\phi) \geq \tau$ e $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$.
• FALSO: Se $\mathcal{P}(\neg\phi) \geq \tau$ e $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$.
• INCERTEZZA: Altrimenti.

Ciò consente alla valutazione di riportare la Copertura (frazione di predizioni non-INCERTE) e l'Accuratezza Condizionale ($Acc_{cov}$), distinguendo tra modelli che sono precisi ma si astengono e modelli che sono decisivi ma contraddittori.

Configurazione Sperimentale

• Dataset: Valutati su FOLIO v0.0 (204 esempi con negazioni formalmente verificate) e LOGIQA v2 (304 esempi con negazione basata su regole).
• Modelli: Quattro modelli open-weight (1.1B–3B parametri): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, e Qwen2.5-3B.
• Protocollo: Estrazione deterministica della log-probabilità sui token SÌ/NO.

Risultati Chiave

1. La Frontiera Coerenza-Impegno

Gli esperimenti rivelano una frontiera di compromesso netta ed empiricamente robusta. Nessun modello raggiunge simultaneamente un'alta copertura e una bassa violazione.

• Astensione Sistematica (Qwen2.5-3B): Ottiene il tasso di violazione più basso ($E[v_{neg}] = 0.025$), apparendo "migliore" sotto le metriche di sola coerenza. Tuttavia, ha un punteggio di impegno di $0.115$ e una copertura del 7.4%, trattenendo le predizioni su oltre il 92% degli esempi.
• Sovra-impegno Sistematico (TinyLlama-1.1B): Ottiene una copertura del 79.4% ma viola gli assiomi di probabilità nel 100% degli esempi ($E[v_{neg}] = 0.698$), assegnando $>1.6$ di massa di probabilità a esiti contraddittori.
• Modelli Intermedi: Phi-2 e Qwen2.5-1.5B occupano posizioni intermedie, mostrando diversi gradi di sia astensione che contraddizione.

2. Fallimento della Valutazione Standard

• Cecità dell'Accuratezza: Gli punteggi di accuratezza a 3 vie standard sono quasi identici tra i modelli (variando solo da 0.343 a 0.441), mascherando i diametralmente opposti modi di fallimento tra astensione e sovra-impegno.
• Trappola della Coerenza-Solo: Una valutazione di sola coerenza classificherebbe Qwen2.5-3B come il modello superiore (6.6× meno violazione rispetto al secondo migliore), premiando erroneamente un modello che fornisce quasi nessuna ragionamento azionabile.
• Illusione della Calibrazione: Anche sul piccolo sottoinsieme di predizioni impegnate, i modelli mostrano una scarsa calibrazione (alto Errore di Calibrazione Atteso). L'apparente calibrazione di Qwen2.5-3B è un artefatto del suo aggressivo filtraggio (selezionando solo il 7% degli esempi più facili).

3. Effetti di Scaling

Lo scaling di Qwen2.5 da 1.5B a 3B parametri ha prodotto una riduzione dell'83% dell'impegno e un calo di 23.5 punti nella copertura, con un cambiamento trascurabile nell'accuratezza. Il modello più grande ha imparato a fare hedging (astenersi) piuttosto che ragionare con più precisione, un comportamento che le metriche standard interpreterebbero erroneamente come un miglioramento della coerenza.

Significato e Rivendicazioni

Il documento sostiene che la valutazione del ragionamento logico debba spostarsi dal chiedere "Il modello è coerente?" al chiedere "Il modello è utilmente coerente?".

1. La Coerenza Vacua è un Punto Cieco: Le metriche standard non possono distinguere tra un modello che ragiona correttamente e uno che semplicemente rifiuta di rispondere. CUC espone questo richiedendo un impegno non vacuo.
2. La Frontiera è Inevitabile: Esiste una tensione fondamentale tra coerenza e impegno. I modelli che ottimizzano una dimensione spesso degradano l'altra.
3. Agnosticismo Modale: Sebbene istanziata sul testo, la struttura è teoricamente applicabile a contesti multimodali (ad esempio, VQA, robotica) dove possono essere poste query complementari su immagini e testo.
4. Necessità Metodologica: Gli autori sostengono che riportare sia la coerenza che l'impegno è essenziale per i deployment ad alto rischio dove l'astensione comporta costi operativi reali. CUC fornisce il primo framework principato per quantificare questo trade-off e prevenire il deployment di modelli che sono "coerenti" solo perché sono silenti.

Il documento conclude che senza metriche come CUC, i professionisti rischiano di distribuire modelli che appaiono affidabili ma che sono funzionalmente inerti nei domini ad alta intensità di conoscenza.