💻 computer science

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

Questo articolo mette in discussione l'affidabilità dell'uso della self-consistency e dell'accordo tra modelli come segnali di confidenza per i Large Language Models, dimostrando attraverso uno studio su larga scala che, sebbene l'accordo sia un predittore positivo ma debole della correttezza, esso porta spesso a un eccesso di fiducia nei modelli all'avanguardia dove un alto grado di accordo coincide con errori frequenti.

Autori originali: Kaihua Ding

Pubblicato 2026-07-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kaihua Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un talent show colossale per trovare il miglior cervello artificiale. Hai una giuria di giudici (i modelli AI) e poni loro un milione di domande difficili. La grande regola che tutti seguono è: "Se tutti i giudici concordano su una risposta, allora deve essere giusta." Sembra un senso comune, giusto? Se dieci persone dicono che il cielo è verde, forse stiamo tutti vedendo un filtro strano? Ma se lo dicono cento persone, probabilmente è vero!

Questo articolo è come una storia di investigazione che va dietro le quinte per controllare se questa regola funzioni davvero. L'autore, Kaihua Ding, ha condotto un esperimento enorme con 53 diversi "runner" (persone che eseguono i test dell'AI) e ha chiesto loro di generare 265.000 risposte ad alcune delle domande di matematica e scienza più difficili disponibili (chiamate GPQA Diamond e AIME).

Ecco il colpo di scena che l'articolo svela: L'accordo non è la stessa cosa di essere corretti.

La trappola della "Camera dell'Eco"

Pensa ai modelli AI come a un gruppo di studenti che hanno studiato tutti dallo stesso libro di testo leggermente errato. Se tutti hanno memorizzato la stessa risposta sbagliata a una domanda, alzeranno tutti la mano e concorderanno su quella risposta sbagliata. Non sono d'accordo perché sono intelligenti; sono d'accordo perché condividono lo stesso pregiudizio o un "euristica memorizzata".

L'articolo ha scoperto che quando i modelli AI concordano con se stessi (o tra di loro), spesso stanno solo facendo l'eco di un errore condiviso, non è un segno di verità.

Lo studente modello "Troppo Sicuro di Sé"

La scoperta più sorprendente riguarda i modelli "frontier" — le versioni più avanzate e super intelligenti dell'AI. Potresti pensare che il modello più intelligente sia il più affidabile. L'articolo mostra il contrario è vero in questa specifica configurazione.

La scoperta: Il modello più avanzato (gpt-4.1) concordava con se stesso l'89% delle volte (un punteggio di confidenza molto alto). Ma quando concordava, era corretto solo il 48% delle volte.
L'analogia: Immagina uno studente che è così sicuro della sua risposta da gridarla con il 100% di fiducia, ma in realtà sbaglia la metà delle volte. L'articolo chiama questo fenomeno "over-confident" (troppo sicuro di sé). In effetti, questo modello super intelligente era peggiore dei modelli di livello intermedio nel segnalare quando aveva ragione.
La prova: Lo studio ha misurato questo fenomeno usando un legame statistico (chiamato correlazione) tra "accordo" e "correttezza". Per il modello più intelligente, questo legame era molto debole (circa 0,20), il che significa che la sua alta confidenza era quasi inutile come segnale di fiducia.

Il "Chain-of-Thought" aiuta?

Alcune persone pensano che se chiedi all'AI di "mostrare il proprio lavoro" (un metodo chiamato Chain-of-Thought o catena di pensiero), sarà più onesta.

Il risultato: Sì, chiedere all'AI di mostrare il proprio lavoro l'ha resa leggermente più accurata (ha risposto correttamente a più domande).
Il problema: Tuttavia, non ha reso il "segnale di accordo" molto migliore. L'AI non era ancora in grado di dirti in modo affidabile quando aveva ragione solo guardando quanto concordava con se stessa. È come uno studente che scrive una spiegazione lunga e dettagliata ma poi sbaglia comunque la risposta finale, e tu non puoi distinguere la differenza solo guardando quanto sia scritta bene la spiegazione.

Il mistero del "Pregiudizio Condiviso"

I ricercatori hanno anche controllato se diverse famiglie di AI (come GPT e Claude) commettessero gli stessi errori.

La scoperta: Hanno scoperto che quando diversi modelli AI sbagliavano una domanda, spesso sceglievano la stessa identica risposta errata.
L'analogia: È come se due studenti diversi, provenienti da scuole diverse, sbagliassero lo stesso problema di matematica perché entrambi hanno imparato un trucco specifico e sbagliato in classe. Questo suggerisce che quando le AI concordano su una risposta errata, non si tratta di una coincidenza fortunata; è un pregiudizio condiviso radicato nel loro addestramento.

Quindi, dovremmo smettere di usare l'accordo?

Non esattamente. L'articolo non dice "non fidarti mai dell'accordo". Dice: "Usalo con cautela e conosci i tuoi limiti."

Buono per il budgeting: L'accordo è ottimo per decidere quanta potenza di calcolo spendere. Se i modelli sono tutti incerti (basso accordo), potresti voler dedicare più tempo o denaro per ottenere una risposta migliore.
Cattivo per la fiducia: Non dovresti mai usare l'accordo come un pulsante "fidati di me" autonomo. Se un modello super intelligente dice: "Sono sicuro al 90%" e concorda con se stesso, non puoi comunque essere sicuro che abbia ragione. In effetti, l'articolo suggerisce che indirizzare le domande difficili al modello "più intelligente" basandosi sulla confidenza è una cattiva idea perché quel modello è il più eccessivamente sicuro di sé.

In sintamente

L'articolo conclude che l'auto-coerenza (l'accordo) è un "proxy condizionale". È un indizio utile in alcune situazioni (come con i modelli di livello medio), ma non è una garanzia di verità.

Ciò che è dimostrato: In questi test specifici, un alto accordo significava spesso alta confidenza ma bassa accuratezza, specialmente per i modelli più avanzati.
Ciò che viene suggerito: L'eccessiva sicurezza di sé potrebbe essere un effetto collaterale del modo in cui questi modelli vengono addestrati, e gli errori condivisi avvengono perché modelli diversi apprendono da dati simili.
Ciò che non è noto: L'articolo nota che questi risultati sono specifici per i modelli e le domande testate. Non sappiamo se questo accada con ogni tipo di AI o ogni tipo di domanda, ma l'avvertimento è chiaro: Non dare per scontato che, solo perché tutti sono d'accordo, abbiano ragione. A volte, stanno solo guardando tutti la stessa mappa errata.

Sintesi Tecnica: Quando gli LLM sono d'accordo, hanno ragione?

Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati come sistemi "LLM-as-judge", spesso in ensemble o panel "mixture-of-experts", per valutare gli output dell'IA in pipeline aziendali. Questi sistemi operano su un'intuizione pervasiva: che l'accordo (sia tra più giudici, sia tramite l'auto-coerenza tra campioni stocastici di un singolo modello) sia un segnale di correttezza. Di conseguenza, l'accordo viene utilizzato come proxy di confidenza per il routing basato sui costi, l'allocazione adattiva del budget di campionamento e la predizione selettiva (astensione).

Tuttavia, il paper sostiene che tale assunzione sia inaffidabile. L'accordo non è sinonimo di accuratezza. Un modello può essere d'accordo con se stesso o con altri modelli a causa di bias condivisi, euristiche memorizzate, priorità di posizione delle opzioni o allucinazioni sistematiche, piuttosto che per verità. La domanda centrale è: In quali condizioni la funzione di segnale dell'accordo è un proxy utilizzabile per la correttezza, e quando fallisce?

Metodologia

Gli autori conducono un audit su larga scala tra diversi runner per separare gli errori ricorrenti da quelli stocastici.

Provenienza dei Dati: Lo studio analizza 265.000 campioni generati da 53 runner (partecipanti a un corso di laurea) che hanno inviato i propri output dei modelli. Sebbene i runner condividessero lo stesso contesto di corso, le loro esecuzioni sono state trattate come invii indipendenti. Il dataset copre 394 casi unici tra GPQA Diamond (scelta multipla a 4 opzioni di livello graduate) e AIME (matematica competitiva).
Design Sperimentale:
- Modelli: Gli esperimenti si concentrano sulla famiglia gpt-4.1 (nano, mini e frontier gpt-4.1) e un controllo esplorativo su tre livelli di Claude di Anthropic (haiku, sonnet, opus).
- Assi di Confronto:
  - Asse A (Tier): Nano vs. Mini.
  - Asse B (Prompting): Zero-shot vs. Chain-of-Thought (CoT) sul modello Mini.
  - Asse C (Scala): Mini vs. Frontier gpt-4.1.
- Parametri: Temperatura = 1.0, $K=50$ campioni per caso.
Metriche:
- Auto-coerenza ( $C$ ): La proporzione di campioni che concordano con la risposta di maggioranza ( $n_{maj}/K$ ).
- Maggioranza-Correttezza ( $M$ ): Un indicatore binario se la risposta di maggioranza corrisponde alla verità fondamentale (ground truth).
- Accuratezza del Campione ( $A$ ): La proporzione di singoli campioni che corrispondono alla verità fondamentale.
- Correlazione: Rho di Spearman ( $\rho$ ) tra $C$ e $M$ (e $A$ ).
Inferenza Statistica: A causa dei dati non i.i.d. (i runner contribuiscono con più righe; i casi sono condivisi), gli autori utilizzano un bootstrap gerarchico raggruppato per runner (ricampionamento dei runner, poi dei casi all'interno dei runner) e un bootstrap raggruppato per caso per robustezza.

Contributi Chiave

Audit su Larga Scala: Un audit di 265.000 campioni sull'auto-coerenza come segnale di confidenza su benchmark di ragionamento complessi, utilizzando il bootstrapping gerarchico per controllare le dipendenze tra runner e casi.
Evidenza della Degradazione dei Modelli Frontier: Dimostrazione che il segnale di accordo degrada nei modelli frontier più consistenti. Questi modelli esibiscono over-confidence (alta $C$ ) senza un corrispondente aumento dell'accuratezza, rendendo controproducente il routing basato sulla confidenza verso di essi.
Analisi della Ricorrenza: Una separazione tra errori stocastici ed errori ricorrenti e sicuri di sé. Lo studio mostra che molti errori sicuri non sono rumore di campionamento ma ricorrono attraverso diversi runner e prompt.
Controllo del Bias Posizionale: Un esperimento di shuffling delle opzioni rivela che una parte significativa della "confidenza" nelle impostazioni a scelta multipla è guidata da prior di posizione delle opzioni (ad esempio, evitare l'opzione D) piuttosto che dalla comprensione semantica.
Controllo Cross-Family: Un'analisi esplorativa che mostra come gli errori sicuri siano in parte condivisi tra i provider (GPT e Claude), suggerendo che l'accordo tra modelli possa riflettere bias condivisi di pre-training piuttosto che una verifica indipendente.
Rilascio del Dataset: Rilascio pubblico di un dataset de-identificato e validato secondo uno schema, insieme alla pipeline di analisi.

Risultati

1. L'accordo è un predittore positivo ma debole

In tutte le 12 celle sperimentali (combinazioni di modello, prompt e benchmark), la correlazione tra auto-coerenza ( $C$ ) e maggioranza-correttezza ( $M$ ) è positiva ma debole ( $\rho \approx 0.20–0.59$ ).

Nessuna cella supera $\rho = 0.60$ .
Una regola di "accettazione automatica ad alto accordo" ammette comunque un numero sostanziale di risposte errate.
Il segnale dipende dal regime: è più forte per i modelli di fascia media e più debole per i modelli frontier.

2. Il Paradosso del Modello Frontier

Il modello frontier (gpt-4.1) esibisce la massima auto-coerenza ( $C=0.89$ su GPQA) ma la minore correlazione tra accordo e correttezza ( $\rho(C, M) = 0.20$ ).

Over-confidence: Il 77% dei casi GPQA per il modello frontier ha $C \ge 0.8$ , eppure il 48% di queste risposte ad alto accordo è errato.
Calibrazione: Il modello frontier ha l'errore di calibrazione attesa peggiore (ECE = 0.41) tra tutte le configurazioni testate.
Implicazione: Il routing dei casi difficili verso il modello frontier basato su un alto accordo è controproducente, poiché eredita un alto tasso di errore.

3. Effetti della Chain-of-Thought (CoT)

Accuratezza: La CoT migliora robustamente l'accuratezza ( $\Delta A \approx +0.067$ su GPQA).
Segnale: La CoT fornisce solo un miglioramento marginale al segnale accordo-correttezza ( $\rho(C, M)$ ). Sebbene migliori la correlazione con l'accuratezza del campione ( $A$ ), il suo effetto sulla label di deployment ( $M$ ) è borderline o nullo a seconda del metodo di ricampionamento.

4. Errori Ricorrenti e Condivisi

Ricorrenza: Un sottoinsieme non trascurabile di errori sicuri (ad esempio, il 28% dei casi unici GPQA per gpt-4.1) sono erroneamente sicuri ( $C \ge 0.8$ ) per ogni runner, indicando che si tratta di bias sistematici piuttosto che di rumore di campionamento.
Bias Posizionale: In GPQA, lo shuffling delle opzioni riduce significativamente l'accuratezza e altera le distribuzioni della risposta di maggioranza, confermando che la "confidenza" spesso riflette i prior di posizione (ad esempio, la sotto-selezione di "D") piuttosto che la verità.
Condivisione Cross-Provider: Sui casi GPQA condivisi, i modelli GPT e Claude concordano frequentemente sulle stesse risposte errate con alti livelli di confidenza. Questo tasso supera il valore nullo della permutazione delle etichette, suggerendo bias condivisi tra i provider.

5. Implicazioni di Sistema

Campionamento Adattivo: L'accordo è utile per l'allocazione delle risorse computazionali (campionamento adattivo). Una regola adattiva che utilizza l'accordo per interrompere il campionamento precocemente risparmia circa il 60% dei campioni mantenendo i tassi di errore.
Politiche di Routing: Un cascade di routing basato sulla confidenza (economico $\to$ costoso) performa meglio del routing casuale, ma è dominato dall'uso costante del modello di fascia media. Il routing verso il modello frontier over-confident degrada le prestazioni.

Significato e Rivendicazioni

Il paper conclude che l'auto-coerenza non è accuratezza, ma piuttosto un proxy empirico condizionale e dipendente dal regime per essa.

Regimi Utilizzabili: L'accordo è un segnale utile e grossolano per l'allocazione delle risorse (campionamento adattivo) ed è più affidabile per i modelli di fascia media non saturi.
Regimi Non Utilizzabili: L'accordo è un povero punteggio di confidenza autonomo, specialmente per i modelli frontier, dove l'alto accordo è scollato dalla correttezza a causa dell'over-confidence e dei bias condivisi.
Implicazione per la Sicurezza: I sistemi che trattano l'auto-coerenza come una soglia di confidenza definitiva rischiano di instradare risposte certamente errate verso percorsi fidati. Il paper mette in guardia dal considerare l'accordo come un motivo per scalare i casi difficili verso i modelli frontier più consistenti.

Gli autori sottolineano la modestia delle loro rivendicazioni: lo studio è un audit di specifici benchmark (GPQA, AIME) e famiglie di modelli, e i risultati evidenziano la necessità di trattare l'accordo come un "segnale grossolano di risparmio dei costi" piuttosto che come una soglia affidabile per la correttezza.