DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles

1. Il Problema

I sistemi multi-agente basati su Large Language Models (LLM), dove più istanze di un modello rispondono indipendentemente alla stessa domanda, sono sempre più utilizzati per compiti di ragionamento complesso. Tuttavia, i metodi attuali per quantificare l'incertezza delle loro risposte collettive si basano su statistiche di voto superficiali (es. maggioranza semplice).

Il limite fondamentale di questi approcci è che trattano tutti i casi di disaccordo allo stesso modo, ignorando il ricco contenuto semantico del ragionamento degli agenti. Ad esempio, un disaccordo 3 contro 2 viene assegnato la stessa fiducia (60%) sia che la minoranza stia portando nuove prove convincenti, sia che stia semplicemente ripetendo argomentazioni deboli con evidenze diverse. Questo porta a stime di confidenza scarsamente calibrate e non discriminative.

2. Metodologia: Il Framework DISCOUQ

Gli autori introducono DISCOUQ (Disagreement-Structure Confidence for Uncertainty Quantification), un framework che va oltre il semplice conteggio dei voti analizzando la struttura interna del disaccordo tra gli agenti.

Il sistema estrae due famiglie complementari di caratteristiche (features) dalle risposte degli agenti:

1. Caratteristiche Strutturali Linguistiche (Linguistic Structure Features):
   Ottenute interrogando un LLM (a temperatura 0) per analizzare i testi di ragionamento degli agenti. Vengono calcolati sei punteggi:

   • Overlap delle evidenze: Quanto le maggioranze e le minoranze condividono gli stessi fatti.
   • Nuove informazioni della minoranza: Presenza di argomenti genuinamente nuovi introdotti dalla minoranza.
   • Forza dell'argomento della minoranza: Solidità logica del ragionamento minoritario (indipendentemente dalla correttezza).
   • Linguaggio di confidenza della maggioranza: Grado di certezza o esitazione nel linguaggio usato dalla maggioranza.
   • Complessità del ragionamento.
   • Profondità della divergenza: A quale punto del processo di ragionamento gli agenti divergono (inizio, mezzo o fine).

2. Caratteristiche Geometriche degli Embedding (Embedding Geometry Features):
   Calcolate utilizzando un sentence transformer (BGE-large) per ottenere vettori di embedding dei testi di ragionamento. Vengono derivati sette metriche geometriche basate sulla distanza coseno:

   • Dispersione complessiva, coesione della maggioranza, distanza tra i centroidi dei gruppi, grado di outlier della minoranza, ecc.

Sulla base di queste features, vengono proposti tre metodi di classificazione di crescente complessità per stimare la probabilità che la risposta maggioritaria sia corretta:

• DISCOUQ-LLM: Regressione logistica sulle sole features linguistiche estratte dal LLM.
• DISCOUQ-Embed: Regressione logistica sulle sole features geometriche degli embedding (non richiede chiamate LLM aggiuntive oltre a quelle iniziali).
• DISCOUQ-Learn: Una rete neurale (MLP) che combina tutte le features (linguistiche + geometriche + confidenza verbale).

3. Contributi Chiave

• Formalizzazione della struttura del disaccordo: Definizione di un set di features linguistiche e geometriche che catturano la natura del disaccordo tra agenti LLM.
• Proposta di tre metodi scalabili: Un approccio che va da modelli semplici e interpretabili (regressione logistica) a modelli neurali complessi.
• Validazione empirica estensiva: Sperimentazione su quattro benchmark diversi (StrategyQA, MMLU, TruthfulQA, ARC-Challenge) con un sistema a 5 agenti basato su Qwen3.5-27B.

4. Risultati Sperimentali

Il framework è stato valutato confrontando nove metodi, inclusi baselines come il semplice conteggio dei voti, l'entropia, la confidenza verbalizzata e un "LLM Aggregator" (un singolo LLM che legge tutte le risposte).

• Prestazioni di Discriminazione (AUROC):
  • DISCOUQ-LLM ha ottenuto il miglior AUROC medio (0.802), superando il baseline più forte (LLM Aggregator, 0.791) e tutti gli altri metodi.
  • I metodi DISCOUQ mostrano miglioramenti significativi soprattutto nei casi di "disaccordo debole" (dove il voto è vicino, es. 3-2), dove il conteggio dei voti fallisce nel fornire informazioni utili.
• Calibrazione (ECE - Expected Calibration Error):
  • DISCOUQ-LLM ha raggiunto un ECE medio di 0.036, riducendo l'errore di calibrazione del 57-63% rispetto ai baselines (es. 0.098 per l'LLM Aggregator).
  • Questo indica che le stime di probabilità prodotte sono molto più affidabili e allineate alla realtà.
• Generalizzazione: Le features apprese generalizzano bene tra diversi benchmark (cross-benchmark), con una degradazione delle prestazioni quasi nulla quando il modello è addestrato su un set di dati e testato su un altro.
• Efficienza dei Costi:
  • DISCOUQ-LLM offre il miglior compromesso costo-prestazione: richiede solo 1.624 chiamate LLM aggiuntive (una per domanda non unanime) per ottenere la massima accuratezza, mentre l'LLM Aggregator richiede una chiamata per ogni domanda (2.750) con risultati inferiori.
  • DISCOUQ-Embed richiede zero chiamate LLM aggiuntive (solo inferenza di embedding) e supera comunque la maggior parte dei baselines.

5. Significato e Implicazioni

Il lavoro dimostra che il disaccordo tra agenti LLM non è rumore casuale, ma contiene struttura informativa significativa.

• Superiorità rispetto al voto: Analizzare come gli agenti dissentono (es. se la minoranza ha nuove prove o se il ragionamento diverge solo alla fine) è molto più informativo del semplice quanto dissentono.
• Calibrazione naturale: L'uso della regressione logistica su queste features strutturate permette di generare probabilità ben calibrate senza bisogno di tecniche di post-processing complesse.
• Applicabilità pratica: DISCOUQ abilita la predizione selettiva (selective prediction), permettendo ai sistemi di rifiutare di rispondere quando l'incertezza è alta, mantenendo un'accuratezza molto elevata sulle risposte fornite (es. copertura al 95% con accuratezza superiore rispetto ai metodi tradizionali).

In conclusione, DISCOUQ rappresenta un passo avanti fondamentale per rendere i sistemi multi-agente LLM più affidabili, fornendo stime di incertezza che sono sia discriminative che ben calibrate, superando i limiti delle statistiche di voto tradizionali.