💬 NLP

Information-Theoretic Limits of Reliability and Scaling in Language Models

Questo articolo contesta l'assunto che l'affidabilità perfetta sia raggiungibile attraverso la sola scalabilità, stabilendo un quadro informativo-teorico che definisce i soffitti intrinseci di affidabilità basati sull'ambiguità del compito e sulle dipendenze inter-token, derivando così una legge di scala unificata che identifica il collo di bottiglia tra i dati di addestramento e la capacità del modello, spiegando al contempo fenomeni quali l'aumento del recupero e l'oblio catastrofico.

Autori originali: Subhabrata Majumdar

Pubblicato 2026-07-17

📖 9 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Subhabrata Majumdar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come raccontare una storia, risolvere un problema matematico o scrivere una poesia. Potresti pensare che, se dai semplicemente al robot più potenza cerebrale (più chip per computer) e lo nutri con più libri (più dati), alla fine diventerà perfetto in tutto. Questa idea è stata la forza trainante dietro la rapida crescita dell'Intelligenza Artificiale. Ma cosa succederebbe se ci fosse un soffitto invisibile? E se alcuni compiti fossero semplicemente impossibili da eseguire correttamente al 100%, indipendentemente da quanto il robot diventi intelligente? Questo articolo approfondisce questa domanda utilizzando un ramo della scienza chiamato teoria dell'informazione. Pensa alla teoria dell'informazione come allo studio di quanta "sorpresa" o "incertezza" è racchiusa in un messaggio. Se chiedi a un robot "Quanto fa 2+2?", la sorpresa è zero; la risposta è sempre 4. Ma se chiedi "Scrivi una poesia su una nuvola triste", la sorpresa è enorme perché non esiste un'unica risposta corretta. Gli autori si chiedono: quanta di quella sorpresa può effettivamente risolvere un robot, e dove incontra un muro?

L'articolo sostiene che la credenza popolare — ovvero che modelli più grandi raggiungeranno un giorno una perfetta affidabilità in qualsiasi compito — sia matematicamente errata. Gli autori dimostrano che ogni compito ha un "soffitto di affidabilità", un limite invalicabile su quanto un modello possa mai essere accurato. Questo limite non riguarda la dimensione del modello; riguarda la natura stessa del compito. Per un problema matematico, il soffitto è il cielo (è possibile raggiungere il 100% di accuratezza). Per la scrittura creativa, il soffitto è molto più basso perché la risposta "corretta" dipende da sentimenti soggettivi e contesti culturali che nessun robot può davvero conoscere. L'articolo dimostra che non puoi superare questo soffitto attraverso la scalabilità.

Inoltre, gli autori hanno scoperto che il modo in cui questi modelli generano testo — parola per parola, come una reazione a catena — peggiora le cose. Se il modello commette un piccolo errore all'inizio, quell'errore può trasformarsi in una valanga, facendo andare fuori strada il resto della storia o del codice. Hanno scoperto che alcuni compiti, come la programmazione, sono come un robusto muro di mattoni dove un mattone scivolato non fa crollare l'intera struttura. Altri compiti, come scrivere una poesia, sono come un castello di carte: un movimento sbagliato all'inizio può far collassare l'intera struttura.

Infine, l'articolo offre una nuova regola su come far crescere questi modelli. Invece di lanciare semplicemente più dati o più potenza di calcolo su un problema, gli autori suggeriscono che le prestazioni siano limitate dalla risorsa più scarsa. Se hai tantissimi dati ma un cervello minuscolo, aggiungere più dati non servirà a nulla. Se hai un cervello gigante ma pochi dati, aggiungere più potenza cerebrale non servirà a nulla. Devi bilanciarli perfettamente. Questa nuova regola spiega perché alcuni compiti migliorano con la scalabilità mentre altri raggiungono un plateau, e fornisce una mappa matematica per capire quando aggiungere più risorse funziona davvero e quando è solo uno spreco di tempo.

Il Soffitto Invisibile

Immagina di giocare a "Indovina la Prossima Parola". A volte, il gioco è facile. Se la frase è "Il sole sorge a...", la parola successiva è quasi certamente "Est". Non c'è mistero. Ma altre volte, è un gioco di indovinelli con un colpo di scena. Se la frase è "Il gatto si è seduto sul...", la parola successiva potrebbe essere "tappeto", "moquette", "divano" o "pavimento". Tutte sono corrette, ma trasmettono sensazioni diverse.

Gli autori di questo articolo chiamano lo scenario "Est" un compito completamente verificabile. In questi casi, come risolvere un'equazione matematica o scrivere un codice che deve girare senza errori, la risposta è determinata interamente dalla domanda. Non c'è informazione nascosta. Il "soffitto di affidabilità" per questi compiti è il 100%. Se hai un modello perfetto, ottieni un punteggio perfetto.

Ma poi ci sono i compiti non verificabili, come la scrittura creativa o dare consigli di vita. Qui, la risposta "corretta" dipende da cose che il modello non può vedere, come l'umore dello scrittore, il gusto del lettore o il momento culturale. Gli autori chiamano questa informazione mancante "contesto latente". Poiché questo contesto è nascosto e soggettivo, nessuna quantità di dati o potenza di calcolo potrà mai rendere il modello affidabile al 100%. Il soffitto è più basso ed è permanente. Non puoi scalare verso la perfezione in un compito dove la perfezione è una questione di opinione.

L'articolo suddivide questo concetto in due tipi di lacune. La prima è la lacuna risolvibile. Si tratta di informazione mancante che potrebbe essere fornita. Ad esempio, se un modello sta scrivendo una storia su una persona specifica ma non ne conosce il nome, quella è una laconna risolvibile. Se fornisci il nome al modello (aggiungendolo all'input), la lacuna si chiude e il modello migliora. La seconda è la lacuna soggettiva. Si tratta di informazione mancante che non può essere fornita perché non ha un valore fisso. Se il compito è scrivere una barzelletta "divertente", ciò che è divertente per una persona potrebbe essere noioso per un'altra. Nessuna quantità di dati extra può risolvere questo problema. L'articolo dimostra che per questi compiti, il modello avrà sempre un pavimento permanente di inaffidabilità.

L'Effetto Domino

Ora, immagina che il modello stia costruendo una torre, un blocco alla volta. Posiziona il primo blocco, poi il secondo, poi il terzo. È così che lavorano i Large Language Models; generano testo token dopo token. Il problema è che se il modello posiziona il primo blocco leggermente storto, il secondo blocco dovrà essere posizionato sopra una base storta.

Gli autori chiamano questo degrado autoregressivo. È come una partita a "Telefono Senza Fili" dove il messaggio viene distorto a ogni sussurro. Se il modello commette un piccolo errore all'inizio di una frase, quell'errore cambia il contesto per la parola successiva, che a sua volta cambia il contesto per la parola successiva ancora. Gli errori si accumulano.

Tuttavia, non tutte le torri sono costruite allo stesso modo. L'articolo introduce il concetto di kernel di dipendenza, un modo elaborato per descrivere quanto ogni parola dipenda dalle parole precedenti.

Dipendenze a Banda (Il Muro di Mattoni): Pensa alla programmazione o alla matematica. In una riga di codice, la parola successiva di solito dipende da quella immediatamente precedente (come una parentesi chiusa che corrisponde a una aperta). Se commetti un errore, questo è solitamente contenuto in quell'area ristretta. Il resto del codice può ancora avere senso. Il "kernel di dipendenza" qui è stretto, come un muro di mattoni. Un errore in un mattone non fa crollare l'intero muro.
Dipendenze Dense (Il Castello di Carte): Pensa alla poesia o alla scrittura creativa. In una poesia, la parola che scegli all'inizio potrebbe determinare lo schema delle rime per l'intera poesia. Se scegli la parola sbagliata all'inizio, l'intera poesia potrebbe perdere il ritmo o il significato. Il "kernel di dipendenza" qui è denso, come un castello di carte. Un errore nella prima carta può rovinare l'intera struttura.

L'articolo mostra che per i compiti con dipendenze dense, le prestazioni del modello degradano molto più velocemente man mano che il testo si allunga. Un singolo errore iniziale può trasformarsi in un fallimento totale. Questo spiega perché i modelli siano bravi in compiti logici brevi, ma fatichino con quelli creativi lunghi.

L l'Equilibrio tra le Risorse

Infine, l'articolo affronta la domanda sulla scalabilità: "Se rendiamo il modello più grande e gli diamo più dati, migliorerà?"

La risposta è: dipende da cosa hai meno.

Gli autori derivano una nuova "legge di scalabilità" che assomiglia a una semplice equazione matematica. Dice che le prestazioni del modello sono limitate dalla risorsa più scarsa.

Se hai una quantità enorme di dati ma un modello minuscolo, aggiungere più dati non aiuterà molto perché il modello è troppo piccolo per apprenderli tutti.
Se hai un modello enorme ma pochissimi dati, aggiungere più parametri non aiuterà perché il modello non ha nulla da imparare.

Il punto di equilibrio, dove ottieni il massimo miglioramento, è quando bilanci i due elementi. Questo è simile alla legge "Chinchilla" che i ricercatori già conoscevano, ma questo articolo spiega perché funziona e aggiunge un dettaglio cruciale: la funzione max. Significa che non ottieni punti extra per avere troppo di una cosa. Se hai 100 volte più dati di quanti il tuo modello possa gestire, quel dato extra è inutile. Devi far corrispondere i tuoi dati alla dimensione del tuo modello.

Cosa Significa per il Futuro

Questo articolo non ci dice solo come costruire modelli migliori; ci dice cosa non possiamo fare. Suggerisce che l'idea di un'IA generale che sia perfetta in tutto sia un mito. Ci sono compiti in cui il soffitto è basso e nessuna quantità di scalabilità ci porterà mai al 100% di accuratezza.

Spiega anche perché certi trucchi funzionano. Ad esempio, la Generazione Aumentata da Recupero (RAG) — dove il modello cerca fatti in un database prima di rispondere — funziona perché colma le "lacune risolvibili". Fornisce al modello il contesto mancante necessario per raggiungere un soffitto più alto. Ma per i compiti soggettivi, nemmeno il RAG può riparare la "lacuna soggettiva".

L'articolo ci avverte anche del dimenticanza catastrofica (catastrophic forgetting). Quando addestri un modello su un nuovo compito, potrebbe "dimenticare" uno precedente. Gli autori spiegano questo come una riallocazione delle risorse. Il modello ha un "budget" limitato di potenza cerebrale. Se lo costringi a concentrarsi su un nuovo compito che ha una struttura molto diversa (un diverso kernel di dipendenza), deve abbandonare le vecchie strutture per far posto alle nuove. È come cercare di imparare una nuova lingua; se ti concentri troppo sul francese, potresti iniziare a dimenticare le regole grammaticali dello spagnolo.

In breve, l'articolo ci dice che l'IA non è una bacchetta magica che risolverà ogni problema. È uno strumento con limiti specifici. Alcuni problemi sono risolvibili con abbastanza dati e calcolo; altri sono fondamentalmente ambigui. La chiave per il futuro non è solo essere "più grandi", ma essere "più intelligenti" su cosa chiedere ai modelli e su come bilanciare le nostre risorse. Dobbiamo smettere di aspettarci la perfezione dove è impossibile e iniziare a progettare soluzioni che rispettino i soffitti naturali di ogni compito.

Sintesi Tecnica: Limiti Informatico-Teoretici della Affidabilità e della Scalabilità nei Modelli Linguistici

Definizione del Problema

Le narrazioni attuali riguardanti i Large Language Models (LLM) spesso assumono che la perfetta affidabilità sia raggiungibile per qualsiasi compito fornendo una scala sufficiente. Tuttavia, l'evidenza empirica contraddice ciò, mostrando che le prestazioni su diversi compiti saturano a livelli variabili: alcuni compiti (ad esempio, la scrittura creativa) non riescono a convergere verso una perfezione di accuratezza anche al crescere della scala dei modelli, mentre altri (ad esempio, la generazione di codice) si avvicinano a una affidabilità quasi perfetta. Le attuali leggi di scaling, come la legge di Chinchilla, forniscono relazioni empiriche di legge di potenza tra dimensione del modello, dati di addestramento e perdita (loss), ma mancano di un'interpretazione teorica rigorosa sul perché esistano questi soffitti, perché differiscano tra i compiti e come l'interazione tra dati e capacità governi le prestazioni.

Questo articolo affronta tali lacune introducendo un framework informatico-teoretico che formalizza i limiti fondamentali dei modelli linguistici generativi. Esso postula che l'affidabilità non sia semplicemente una funzione della scala, ma sia limitata dalle proprietà intrinseche della distribuzione del compito e dalle dipendenze strutturali dell'output.

Metodologia e Framework Teorico

Gli autori sviluppano un framework basato sulla teoria dell'informazione, utilizzando specificamente la Disuguaglianza del Processamento dei Dati (DPI) e l'analisi spettrale delle miscele di compiti.

1. Il Soffitto di Affidabilità

Il documento definisce un soffitto di affidabilità ( $R^*$ ) per ogni compito generativo, determinato dall'entropia condizionale dell'output dato l'input:
$R^* := \frac{I(X; Y)}{H(Y)}$
dove $X$ è il contesto osservabile e $Y$ è l'output target. Gli autori decompongono il gap di inaffidabilità ( $1 - R^*$ ) in due componenti:

Gap Risolvibile ( $\delta_r$ ): Nasce dal contesto latente ( $C_r$ ) che è rilevante per l'output ma assente dall'input (ad esempio, fatti mancanti, preferenze dell'utente). Questo gap può essere teoricamente colmato arricchendo l'input (ad esempio, tramite retrieval o uso di strumenti).
Gap Soggettivo ( $\delta_u$ ): Nasce dal contesto latente ( $C_u$ ) che è intrinsecamente ambiguo o soggettivo (ad esempio, preferenze estetiche, norme culturali). Questo gap rappresenta un limite minimo permanente che nessun modello può superare, poiché l'output "corretto" non è unicamente determinato dall'input.

2. Degradazione Autoregressiva e Kernel di Dipendenza

Il framework si estende oltre la generazione single-shot per tenere conto degli errori cumulativi inerenti ai modelli autoregressivi. Gli autori introducono il Kernel di Dipendenza ( $K_Y$ ), una matrice $L \times L$ dove le voci $K_Y(t, t')$ misurano l'informazione mutua tra i token $t$ e $t'$ condizionata al resto della sequenza e all'input.

Kernel Bandati: Compiti come la generazione di codice presentano dipendenze locali (sintassi, scope delle variabili). Gli errori sono contenuti localmente.
Kernel Densi: Compiti come la scrittura creativa presentano dipendenze globali (tono, arco tematico). Gli errori si propagano globalmente, causando una rapida degradazione della affidabilità a livello di sequenza.

Il documento deriva che la generazione autoregressiva degrada il soffitto di affidabilità a un tasso governato dalla deriva cumulativa, che è una funzione della struttura del kernel di dipendenza del compito.

3. Derivazione di una Legge di Scaling dai Primi Principi

Analizzando le proprietà spettrali della miscela di compiti (specificamente il decadimento degli autovalori $\nu_T$ e la regolarità delle proiezioni target $\bar{\mu}$ ), gli autori derivano una legge di scaling per la perdita di cross-entropy $L(N, D)$ come funzione dei parametri del modello $N$ e dei token di addestramento $D$ :

$L(N, D) = \underbrace{H(Y | X)}_{\text{Errore Irriducibile}} + \max \left( \underbrace{\frac{A}{N^{\alpha}}}_{\text{Errore di Approssimazione}}, \underbrace{\frac{B}{D^{\beta}}}_{\text{Errore di Stima}} \right) + \text{ordini inferiori}$

Dove:

$\alpha = \frac{\bar{\mu}-1}{d(\nu_T + 1)}$ è l'esponente di capacità.
$\beta = \frac{\bar{\mu}-1}{\nu_T}$ è l'esponente dei dati.
La forma max indica che le prestazioni sono limitate dalla risorsa più scarsa (dati o capacità).
L'errore irriducibile $H(Y|X)$ corrisponde al gap soggettivo e all'entropia condizionale del compito.

Contributi Chiave

Formalizzazione del Soffitto di Affidabilità: Il documento stabilisce che la perfetta affidabilità è informatico-teoreticamente impossibile per compiti con entropia condizionale non nulla dato l'input. Fornisce una tassonomia di compiti basata sulla verificabilità: Completamente Verificabili (output deterministico), Idealmente Verificabili (deterministico dato il contesto completo), Non Verificabili (output soggettivo).
Kernel di Dipendenza e Propagazione dell'Errore: Introduce il kernel di dipendenza per quantificare come le correlazioni inter-token determinino il tasso di propagazione dell'errore nella generazione autoregressiva, spiegando perché i modelli di codice siano più robusti agli errori rispetto ai modelli di scrittura creativa.
Legge di Scaling in Forma Max: Gli autori derivano una legge di scaling dai primi principi che recupera la legge di Chinchilla come un caso speciale (lungo la frontiera computazionalmente ottimale dove dati e capacità sono bilanciati), ma la generalizza in una forma max. Questa formulazione predice che scalare una sola risorsa (ad esempio, i dati) senza l'altra porti a rendimenti decrescenti una volta che il collo di bottiglia si sposta.
Spiegazione Strutturale di Fenomeni Pratici: Il framework spiega strutturalmente:
- Generazione Aumentata da Recupero (RAG): Funziona convertendo il gap risolvibile ( $\delta_r$ ) in input osservabile, alzando il soffitto effettivo.
- Oblio Catastrofico: Si verifica perché il fine-tuning rialloca il budget rappresentazionale finito del modello (autovettori) verso il compito target, sopprimendo i modi richiesti per compiti ortogonali.
- Instabilità dei Benchmark: Le classifiche sui leaderboard per compiti a basso soffitto sono intrinsecamente rumorose a causa del gap soggettivo, rendendo instabili le correlazioni di rango.

Risultati e Validazione Empirica

Analisi della Saturazione dei Benchmark: Gli autori adattano una metrica di indice di saturazione per analizzare i benchmark in codice, matematica, Q&A e scrittura. I risultati mostrano che i benchmark di scrittura presentano un'alta saturazione a punteggi ben al di sotto della perfezione, supportando l'esistenza di un gap soggettivo ( $\delta_u > 0$ ). Al contrario, i benchmark di matematica e codice con verificatori mostrano punteggi massimi vicini alla perfezione, coerentemente con un soffitto di $R^* \approx 1$ .
Visualizzazione del Kernel di Dipendenza: I grafici empirici dell'informazione mutua tra i token confermano la distinzione teorica: i compiti di codice e matematica mostrano strutture bandate/diagonali a blocchi, mentre i compiti di scrittura e riassunto mostrano kernel densi.
Recupero della Legge di Scaling: Gli esponenti derivati $\alpha$ e $\beta$ si allineano con le stime empiriche (ad esempio, $\alpha \approx 0.348, \beta \approx 0.366$ ), validando le assunzioni spettrali.

Significato e Rivendicazioni

Il documento sostiene di offrire una teoria unificata dei limiti di prestazione per i modelli linguistici generativi. Il suo significato primario risiede nello spostamento del discorso da "lo scaling risolverà tutto" a una comprensione sfumata dei trade-off tra risorse e complessità.

Rigore Teorico: Si sposta oltre l'adattamento di curve empiriche per fornire un resoconto strutturale del perché lo scaling migliori l'affidabilità solo fino a un soffitto specifico del compito determinato dalla disponibilità di informazioni e dalla struttura di dipendenza.
Guida Pratica: Suggerisce che per compiti non verificabili, nessuna quantità di scaling raggiungerà la perfetta affidabilità; invece, gli sforzi dovrebbero concentrarsi sulla riduzione del gap risolvibile (tramite un migliore contesto) o sull'accettazione del limite soggettivo.
Strategia di Ottimizzazione: La legge di scaling in forma max fornisce una giustificazione teorica per la strategia "computazionalmente ottimale" di bilanciare la dimensione del modello e i dati, avvertendo contro lo scaling di una singola risorsa ben oltre l'altra.

Gli autori concludono che la "frontiera frastagliata" della capacità dell'IA — dove i modelli eccellono in alcuni compiti ma falliscono in altri — non è un bug, ma una conseguenza fondamentale delle proprietà informatico-teoretiche degli stessi compiti.