Riepilogo Tecnico: Orizzonti a Errore Zero nei LLM Affidabili

1. Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in domini critici per la sicurezza come la sanità, la finanza e i sistemi nucleari. Nonostante le loro apparenti capacità di ragionamento, i LLM esibiscono dei "vuoti" nella loro competenza, commettendo errori inspiegabili su compiti semplici (ad esempio, calcolare $127 \times 82$, determinare la parità di una breve stringa binaria o verificare il bilanciamento delle parentesi).

Le attuali metriche di valutazione, principalmente l'accuratezza, sono insufficienti per le applicazioni critiche per diverse ragioni:

• Arbitrarietà della Scala: L'accuratezza dipende dalla scelta dell'esaminatore riguardo all'intervallo dei problemi (ad esempio, testare la moltiplicazione fino a $50 \times 50$ rispetto a $99 \times 99$). Un modello può apparire altamente accurato su un intervallo limitato, pur fallendo catastroficamente su input leggermente più grandi.
• Mancanza di Garanzie di Sicurezza: Un'alta accuratezza media non esclude l'esistenza di "vuoti" in cui il modello fallisce. In contesti critici per la sicurezza, un singolo errore può essere fatale.
• Saturazione: I benchmark di dimensioni fisse finiscono inevitabilmente per saturarsi man mano che i modelli migliorano, perdendo la capacità di differenziare le prestazioni allo stato dell'arte.

Il documento sostiene la necessità di una metrica che definisca un confine di sicurezza garantito piuttosto che un punteggio di prestazione media.

2. Metodologia: Orizzonte a Errore Zero (ZEH)

Gli autori propongono l'Orizzonte a Errore Zero (Zero-Error Horizon - ZEH), una metrica che rappresenta la dimensione massima del problema $n$ per la quale un modello può risolvere tutti gli istanze senza errori sotto una decodifica greedy deterministica.

Definizione

Dato un modello fisso, un tipo di problema e un prompt:

• Sia $B_n$ l'insieme dei problemi di dimensione $n$.
• Sia $T_n = \bigcup_{i=1}^n B_i$ l'insieme di tutti i problemi di dimensione al massimo $n$.
• Sia $C$ l'insieme dei problemi che il modello risolve correttamente.
• Il ZEH è definito come:
  $$\text{ZEH} = \max \{ n \mid T_n \subseteq C \}$$

In sostanza, un modello con $\text{ZEH} = k$ risolve correttamente ogni istanza da $1$a$k$, ma commette almeno un errore su un'istanza di dimensione $k+1$. L'istanza specifica di dimensione $k+1$ in cui il modello fallisce per la prima volta è definita Limitatore ZEH.

Compiti di Valutazione

Gli autori valutano lo ZEH su quattro compiti:

1. Moltiplicazione: Moltiplicazione tra interi ($a \times b$), dove la dimensione è definita come $\max(a, b)$.
2. Parità: Determinare la parità (conteggio pari/dispari dei 1) di stringhe binarie, dove la dimensione è la lunghezza della stringa.
3. Parentesi Bilanciate: Determinare se una stringa di parentesi è bilanciata, dove la dimensione è la lunghezza della stringa.
4. Colorazione dei Grafi: Trovare il numero cromatico di grafi semplici non orientati, dove la dimensione è il numero di nodi.

Ottimizzazione per l'Efficienza

Valutare lo ZEH richiede una verifica esaustiva, il che è computazionalmente costoso. Il documento propone quattro tecniche di accelerazione:

1. Teacher Forcing: Invece della decodifica autoregressiva, il modello riceve l'intera sequenza (ad esempio, $28 \times 43 = 1204$) con una maschera causale per verificare la correttezza token per token in parallelo.
2. Look-Ahead (Batching): Le istanze di diverse dimensioni vengono raggruppate per l'elaborazione parallela per massimizzare l'utilizzo della GPU, anziché elaborare dimensione per dimensione.
3. Prompt Prefilling: I prefissi comuni del prompt vengono elaborati una sola volta e le loro cache Key-Value (KV) vengono condivise tra tutte le istanze.
4. FlashTree: Un approccio strutturato ad albero che utilizza un Trie per condividere le cache KV tra i prefissi comuni (ad esempio, $1 \times 1$, $1 \times 2$, $1 \times 3$). Questo utilizza un'implementazione di softmax online (ispirata a FlashAttention) per evitare il collo di bottiglia della maschera di attenzione $O(N^2)$, ottenendo un aumento di velocità fino a 10 volte rispetto alla autoregressione naive.

3. Risultati Chiave

3.1 Fallimenti Sorprendenti in Modelli State-of-the-Art

La valutazione di GPT-5.2 (un modello ipotetico nel contesto del documento, datato Gennaio 2026) rivela lacune di capacità significative:

• Parità: ZEH = 4. Il modello fallisce sulla stringa di 5 caratteri 11000.
• Parentesi Bilanciate: ZEH = 10. Il modello fallisce sulla stringa di 11 caratteri ((((()))))).
• Moltiplicazione: ZEH = 126. Il modello fallisce su $127 \times 82$.
  Questi risultati dimostrano che anche i modelli capaci di generare codice complesso (ad esempio, fluidodinamica) falliscono su compiti elementari di aritmetica e logica.

3.2 Analisi della Famiglia Qwen2.5

Gli autori hanno analizzato la serie Qwen2.5 (da 0.5B a 72B) sulla moltiplicazione:

• Correlazione con l'Accuratezza: Sebbene lo ZEH e l'accuratezza aumentino generalmente con la dimensione del modello, non sono correlati uno a uno. Ad esempio, l'accuratezza per il modello 72B su $99 \times 99$ è del 98,6%, ma il suo ZEH è solo 42.
• Memorizzazione vs Ragionamento Algoritmico:
  • Modelli Piccoli (0.5B - 3B): Mostrano un'alta correlazione tra la frequenza nei dati di addestramento (corpus C4) e l'accuratezza, suggerendo un affidamento sulla memorizzazione. Il loro ZEH è basso e stagnante perché la memorizzazione è stocastica; "vuoti" casuali nei dati di addestramento impediscono un orizzonte di errore zero continuo.
  • Modelli Grandi (14B - 72B): Mostrano una diminuzione della correlazione con la frequenza di addestramento, indicando uno spostamento verso il ragionamento algoritmico.
• Errori Strutturati: Man mano che i modelli crescono, gli errori diventano più "strutturati". Per i modelli grandi, la differenza tra la risposta prevista e quella corretta è spesso un multiplo di 10 (ad esempio, predire 1006 invece di 986). Ciò suggerisce che il modello comprende l'algoritmo di moltiplicazione (ad esempio, ottenere correttamente la cifra delle unità) ma commette errori di esecuzione (ad esempio, errori di riporto) piuttosto che allucinazioni casuali.
• Sensibilità al Riporto: L'analisi della regressione logistica mostra che i modelli più grandi sono più sensibili alle operazioni di "riporto" (dove la moltiplicazione delle cifre è $\ge 10$) rispetto ai modelli più piccoli. Questo risultato controintuitivo supporta l'ipotesi che i modelli più grandi stiano tentando di eseguire regole aritmetiche piuttosto che recuperare risposte memorizzate; pertanto, sono suscettibili alla difficoltà computazionale delle regole che stanno cercando di eseguire.

3.3 Stabilità del Prompt

Lo ZEH è relativamente robusto alle variazioni del prompt. Per i modelli Qwen2.5, la deviazione standard dello ZEH attraverso diverse formulazioni di prompt è stata di circa 3. Tuttavia, per applicazioni critiche per la sicurezza, gli autori raccomandano di utilizzare lo ZEH più basso osservato attraverso molteplici prompt.

4. Significato e Rivendicazioni

Il documento sostiene che lo ZEH offra vantaggi distinti rispetto alle tradizionali metriche di accuratezza per i LLM affidabili:

1. Garanzie di Sicurezza e Segnali di Allarme: Lo ZEH fornisce un confine chiaro: i problemi entro l'orizzonte sono "sicuri" (corretti garantiti), mentre quelli oltre l'orizzonte sono "pericolosi". Ciò è fondamentale per i domini critici per la sicurezza dove la prestazione media non è sufficiente.
2. Prove Concrete (Limitatori ZEH): A differenza degli astrazioni dei punteggi di accuratezza, lo ZEH fornisce esempi specifici e riproducibili (limitatori) in cui il modello fallisce. Ciò facilita il debugging e fornisce una prova innegabile delle lacune di capacità.
3. Metrica Oggettiva: Lo ZEH elimina l' "arbitrarietà della scala" dell'accuratezza. L'orizzonte è determinato dalle capacità intrinseche del modello, non dalla scelta dell'intervallo di test da parte di un valutatore.
4. Intuizione sull'Emergenza: Lo ZEH è un indicatore sensibile della transizione dalla memorizzazione al ragionamento algoritmico. La crescita dello ZEH correla con la capacità del modello di eseguire le regole in modo affidabile, anche se l'accuratezza complessiva si stabilizza.
5. Prontezza per il Futuro: A differenza dei benchmark fissi che saturano, lo ZEH è aperto e continua a servire come metrica man mano che i modelli migliorano.

Gli autori concludono che, sebbene lo ZEH comporti costi computazionali, le tecniche di ottimizzazione proposte (FlashTree, ecc.) lo rendono fattibile. Sottolineano che lo ZEH debba essere utilizzato come metrica complementare all'accuratezza, in particolare per verificare l'affidabilità in applicazioni ad alto rischio.