Sintesi Tecnica: ERRORQUAKE: Distribuzioni della Gravità degli Errori a Coda Pesante nei Modelli Linguistici di Grandi Dimensioni Open-Weight

1. Definizione del Problema

I benchmark standard sulle allucinazioni (es. TruthfulQA, HaluEval) riducono le prestazioni del modello a un singolo tasso di errore scalare ($\varepsilon$), trattando tutti gli errori come equivalenti. Questo approccio collassa una dimensione critica del fallimento del modello: la gravità dell'errore. Un modello che cita una data di pubblicazione errata e un modello che fabbrica un intero parere giudiziario contribuiscono entrambi con un singolo conteggio a $\varepsilon$, eppure le loro conseguenze a valle differiscono di ordini di grandezza.

Il documento sostiene che, a parità di accuratezza, i modelli linguistici (LLM) open-weight esibiscono differenze sostanziali nella forma della distribuzione della gravità degli errori. Nello specifico, il "comportamento della coda" (la frequenza degli errori catastrofici rispetto ai piccoli scivoloni) varia significativamente tra i modelli, una proprietà invisibile ai tassi di errore scalari. Prendendo in prestito dalla sismologia, gli autori propongono di caratterizzare questo comportamento della coda utilizzando la pendenza $b$ della relazione tra magnitudo e frequenza di Gutenberg–Richter: $\log_{10} N(M \ge m) = a - b m$. Un valore di $b$ piccolo indica pochi errori ma catastrofici; un valore di $b$ grande indica molti piccoli errori con gravità limitata.

2. Metodologia

2.1 Il Benchmark ERRORQUAKE-10K

Gli autori introducono ERRORQUAKE-10K, un benchmark composto da 10.000 query attraverso 8 domini (BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT) e 5 livelli di difficoltà (T1–T5).

• Struttura: 1.250 query per dominio; T1–T2 sono query fattuali semplici, mentre T4–T5 includono domande trabocchetto progettate per indurre fabbricazioni sicure.
• Modelli Valutati: 21 modelli open-weight istruiti (instruction-tuned) con parametri attivi da 3B a circa 37B, inclusi architetture dense e MoE.

2.2 Scala di Punteggio della Gravità

Le risposte sono valutate su una scala continua 0.0–4.0 (quantizzata in incrementi di 0.5, 9 livelli distinti):

• 0.0: Corretto.
• 0.5–1.0: Imprecisioni che preservano il senso generale.
• 1.5–2.0: Errori fattuali moderati.
• 2.5–3.0: Errori sostanziali che possono trarre in inganno un tipico lettore.
• 3.5–4.0: Fabbricazione (asserzione sicura di informazioni inventate).

2.3 Pipeline di Valutazione

• Sistema a Doppio Giudice: Ogni risposta è valutata da due giudici provenienti da un pool round-robin di 8 modelli (escluso il modello target).
• Aggregazione: Il punteggio finale è la media se i giudici concordano entro un intervallo di 1.0; altrimenti, si utilizza la mediana di tre con un criterio di spareggio.
• Validazione Umana: Un campione stratificato di 519 elementi è stato valutato da tre esperti umani per validare la pipeline dei giudici LLM.
  • Affidabilità: L'inter-rater reliability umana è eccellente (ICC(2, k=3) = 0.85).
  • Correlazione: I ranking di gravità derivati dagli umani correlano fortemente con i ranking dei giudici LLM ($\rho = 0.89$).
  • Tasso di Overcall: I giudici LLM sovrastimano la gravità (punteggio 2.0) nel 33,5% dei casi, rispetto al 13,7% degli umani.

2.4 Analisi Statistica

• Fitting della Distribuzione: Cinque famiglie candidate (legge di potenza discreta, legge di potenza troncata, esponenziale, esponenziale dilatata, lognormale) sono adattate ai punteggi strettamente positivi.
• Stima dei Parametri: L'indice di distribuzione della gravità ($b$) è stimato utilizzando la formula di Aki con una correzione di discrezione su punteggi quantizzati su griglia.
• Intervalli di Confidenza: Si utilizzano bootstrap di percentile al 95% (2.000 campionamenti) per determinare gli intervalli di confidenza per $b$.

3. Contributi Chiave

1. Teorema della Non-Riducibilità (C1): Una prova teorica che mostra come il profilo di gravità ($b$) e il tasso di errore ($\varepsilon$) siano informazionalmente non ridondanti. Empiricamente, $I(b; \text{modello} \mid \varepsilon) = 1.56$ bit, il che significa che il 64,5% della varianza in $b$ tra i modelli non è spiegato da $\varepsilon$.
2. Discriminatore a Accuratezza Corrispondente (C3): La principale scoperta empirica secondo cui $b$ distingue i modelli anche quando i loro tassi di errore sono identici.
3. Tassonomia dei Meccanismi di Gravità (C4): Una classificazione in 6 categorie (recupero, fabbricazione, amplificazione, ragionamento, formato, metacognizione) che mostra come i meccanismi di errore cambino categoricamente con la gravità.
4. Correlazione di Scaling (C5): Un'analisi della relazione tra la dimensione del modello e la forma della coda della gravità.
5. Rilascio delle Risorse (C7): Il rilascio del benchmark ERRORQUAKE-10K, del toolkit di punteggio e del codice di analisi.

4. Risultati Chiave

4.1 Discriminazione a Accuratezza Corrispondente

Tra 210 coppie dei 21 modelli, 85 coppie hanno intervalli di confidenza al 95% disgiunti per $b$ quando i loro tassi di errore sono pareggiati ($|\Delta\varepsilon| < 0.05$) sul punteggio basato sul consenso umano.

• Esempio: DEEPSEEK-V3.2 e MINISTRAL-14B hanno tassi di errore identici ($\varepsilon = 0.586$) ma pendenze della coda significativamente diverse ($\Delta b = 0.47$).
• Robustezza: Questo risultato è confermato attraverso jackknife cross-domain, diverse regole di aggregazione dei giudici e subset con alta copertura del doppio giudice.

4.2 Caratterizzazione della Distribuzione

• Natura a Coda Pesante: 17 modelli su 21 sono meglio descritti da famiglie non esponenziali (esponenziale dilatata o legge di potenza troncata), confermando la presenza di "code pesanti" (decadimento più lento rispetto all'esponenziale) sulla griglia di gravità discreta.
• Definizione Operativa: "Coda pesante" qui significa che la famiglia con il miglior BIC è non esponenziale o che la massa residua negli intervalli superiori ($M \ge 2.5$) è maggiore di quanto previsto da un fit esponenziale.

4.3 Correlazione di Scaling

• Modelli Densi: Esiste una correlazione negativa tra la dimensione del modello (log dei parametri attivi) e il valore di $b$ ($\rho_s = -0.86$ sui dati umani).
• Interpretazione: I modelli densi più grandi commettono meno piccoli scivoloni (decadimento del bulk più ripido) ma una frazione relativamente più alta di fabbricazioni catastrofiche (coda superiore più piatta).
• Nota: Questa correlazione è specifica per la pendenza della coda superiore; il tasso di decadimento del bulk si muove nella direzione opposta.

4.4 Tassonomia dei Meccanismi

• Spostamento della Gravità: Gli errori di bassa gravità (0.5–1.0) sono prevalentemente di tipo recupero (71%). Gli errori di alta gravità (2.0–4.0) sono prevalentemente fabbricazioni (39%).
• Accoppiamento con la Dimensione: I modelli piccoli (3–9B) mostrano il 44,7% di errori di recupero, mentre i modelli grandi (≥24B) mostrano il 29,2% di errori di fabbricazione. Lo spostamento verso la fabbricazione nei modelli più grandi spiega le code più pesanti.

4.5 Limiti della Predizione

L'ipotesi pre-registrata secondo cui il fitting di $b$ sui tier facili (T1/T2) predice i conteggi degli errori catastrofici sui tier difficili (T4/T5) è fallita il suo criterio primario.

• Risultato: La correlazione di rango era debole ($\rho_s = 0.443$) e la predizione del tasso assoluto è fallita (0/21 modelli hanno sovrastimato; 17/21 hanno sottostimato).
• Ragione: Le query difficili sollevano l'intera distribuzione della gravità verso l'alto (uno spostamento di livello), che la legge di Gutenberg–Richter (catturando la pendenza relativa) non può estrapolare dai dati facili da sola.

5. Significato e Rivendicazioni

Il documento sostiene che la distribuzione della gravità dovrebbe essere riportata insieme all'accuratezza perché porta informazioni discriminanti che il tasso di errore non può fornire.

• Valore Informativo: Il profilo di gravità non è una semplice ripetizione ridondante del tasso di errore. Due modelli con la stessa accuratezza possono avere rischi di fallimento catastrofico molto diversi (differendo di un ordine di grandezza nel numero atteso di eventi catastrofici per milione di query).
• Rischio di Deployment: Ignorare la distribuzione della gravità porta a diagnosi di rischio errate. Un modello con una "coda più pesante" (basso $b$) pone un rischio maggiore di fabbricazione catastrofica nonostante abbia lo stesso tasso di errore di un modello a "coda leggera".
• Paradosso dello Scaling: Le leggi di scaling possono migliorare l'accuratezza complessiva pur peggiorando contemporaneamente la composizione dei fallimenti residui (spostandosi dai recuperi alle fabbricazioni), una sfumatura invisibile agli standard dei tassi di errore.

Gli autori posizionano questo lavoro come uno strumento diagnostico per la selezione e l'audit dei modelli in contesti fattuali ad alto rischio, piuttosto che come un singolo numero per una classifica. Essi notano esplicitamente i limiti, tra cui l'esclusione di modelli proprietari di frontiera, la dipendenza da query generate da LLM e il fallimento del compito di predizione micro-errore-verso-catastrofe.