Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

Sintesi Tecnica: Incertezza Descrittiva versus Incertezza Regolatoria nei Sistemi Predittivi Limitati

Enunciato del Problema
Il documento affronta una limitazione fondamentale di sicurezza ed epistemica negli attuali Modelli Linguistici di Grande Dimensione (LLM): l'incapacità di distinguere tra conoscenza genuina e allucinazioni confidenti. Mentre il discorso corrente si concentra sulla capacità del modello, gli autori sostengono che esiste una distinzione più critica tra sistemi con incertezza epistemicamente informativa e sistemi in cui l'incertezza è meramente un artefatto del substrato.

Il problema centrale è identificato come disaccoppiamento termodinamico. Nei sistemi di calcolo fisici, il principio di Landauer stabilisce che le operazioni irreversibili sui bit comportano un costo energetico minimo ($k_B T \ln 2$). Tuttavia, negli attuali LLM, questo costo termodinamico è invariante rispetto alla qualità epistemica dell'output. Che un modello generi una derivazione causalmente fondata o un'allucinazione confidente, l'energia dissipata dall'hardware (ad esempio, una GPU A100) rimane identica. Di conseguenza, l'incertezza del sistema (misurata come entropia di Shannon) è "descrittiva" (una proprietà statistica della distribuzione dell'output) piuttosto che "regolatoria" (un segnale che partecipa alla funzione di costo fisica per penalizzare l'errore).

Quadro Teorico
Gli autori formalizzano questa distinzione attraverso due concetti:

1. Disaccoppiamento Termodinamico: Un sistema è termodinamicamente disaccoppiato se la sua entropia di Shannon in uscita ($H_{out}$) e la sua accuratezza causale ($\alpha$) sono statisticamente indipendenti, condizionati allo stato del substrato fisico. In tali sistemi, il costo energetico per operazione non scala con l'errore epistemico ($\partial E_{cost}/\partial \epsilon = 0$).
2. Il Teorema del Disaccoppiamento Softmax: Gli autori dimostrano che in un transformer con pesi fissi e temperatura di inferenza fissa, l'entropia di Shannon a livello di token è una funzione deterministica dei pesi, della temperatura e del contesto. È strutturalmente indipendente dal fatto che il contesto richieda un recupero in-distribuzione o una generalizzazione causale out-of-distribution (OOD). A differenza dei sistemi termodinamici fisici, dove la temperatura ha conseguenze energetiche, la "temperatura computazionale" ($\tau$) nei transformer è un iperparametro disaccoppiato.

Metodologia
Per testare empiricamente l'ipotesi del disaccoppiamento termodinamico, gli autori hanno condotto un esperimento misurando l'entropia di Shannon a livello di token e l'accuratezza del compito su tre modelli Llama (3B, 8B e 70B parametri) che coprono due ordini di grandezza in termini di scala.

• Suite di Compiti: È stata costruita una suite di 18 compiti in tre categorie di crescente richiesta causale:
  • Compiti Kepler: Recupero di relazioni fisiche ben consolidate (recupero di pattern).
  • Compiti Newton: Applicazione di operatori causali a nuove configurazioni di parametri (derivazione causale).
  • Compiti Newton OOD: Derivazione sotto regimi di parametri progettati per essere al di là di qualsiasi copertura di addestramento plausibile (spostamento distributivo radicale).
• Modelli: llama3.2:3b, Llama-3.1-8B-Instruct e Llama-3.1-70B-Instruct.
• Misurazione:
  • Entropia: Estratta dai logprobs a livello di token a una bassa temperatura di inferenza ($\tau = 0.1$) per minimizzare il rumore del campionamento stocastico.
  • Accuratezza: Valutata tramite valutazione umana rispetto a una verità di base matematicamente verificata. Una risposta è stata valutata 1 solo se raggiungeva la conclusione corretta attraverso una derivazione valida; narrazioni plausibili con risultati errati sono state valutate 0.
• Analisi Statistica: Sono stati utilizzati test t di Welch per confrontare entropia e accuratezza tra le categorie all'interno di ciascun modello.

Risultati Chiave
I risultati sperimentali forniscono prove solide del disaccoppiamento termodinamico:

1. Piattezza dell'Entropia: L'entropia di Shannon a livello di token è risultata statisticamente piatta attraverso tutte e tre le categorie di compiti per tutti e tre i modelli.
   • I range di entropia intra-modello erano trascurabili (0,011–0,028 nat), ben al di sotto della soglia di piattezza pre-specificata di 0,10 nat.
   • Tutti i valori p a coppie per i confronti sull'entropia erano non significativi ($p \ge 0,568$).
2. Varianza dell'Accuratezza: In netto contrasto, l'accuratezza del compito variava drasticamente (da 0% a 100%) a seconda della categoria del compito e delle dimensioni del modello.
   • Il modello da 70B ha raggiunto il 100% di accuratezza sui compiti Kepler, il 67% sui compiti Newton, ma solo il 17% sui compiti Newton OOD.
   • Nonostante questa enorme varianza nella correttezza, l'entropia è rimasta costante.
3. Invarianza di Scala: Il disaccoppiamento è un'invariante architetturale, non una proprietà dei modelli piccoli. Sebbene i modelli più grandi operassero a un'entropia di base inferiore (maggiore certezza), la piattezza dell'entropia attraverso i livelli di difficoltà persisteva a tutte le scale. Tutti i modelli convergevano alla stessa bassa accuratezza (17%) sui compiti OOD senza alcun corrispondente aumento dell'incertezza.

Significato e Affermazioni
Il documento afferma che gli attuali LLM possiedono un difetto strutturale di sicurezza: possono essere "massimamente certi e massimamente errati simultaneamente".

• Implicazioni per la Sicurezza: Poiché l'entropia è disaccoppiata dall'accuratezza, l'entropia a livello di token non può servire come segnale di affidabilità per i filtri di sicurezza. I sistemi che fanno affidamento sull'entropia per segnalare output inaffidabili sono "funzionalmente ciechi" alla distinzione tra conoscenza e confabulazione.
• Limitazione Architetturale: Questo non è un problema di calibrazione risolvibile mediante correzione post-hoc, fine-tuning o scalabilità. È una conseguenza fondamentale dell'inferenza a pesi fissi in cui il substrato termodinamico è indifferente all'errore epistemico.
• Direzione Futura: Gli autori suggeriscono che il raggiungimento di un'"incertezza regolatoria" richieda un accoppiamento termodinamico, in cui il costo energetico di un'operazione scala con il suo errore epistemico. Propongono che architetture neuromorfe con moduli di costo intrinseci (dove gli errori di previsione guidano aggiornamenti dei pesi in tempo reale con costi energetici dipendenti dall'errore) potrebbero colmare questo divario, rendendo la confabulazione fisicamente costosa e allineando lo stato fondamentale del sistema alla comprensione.

Il documento conclude che un fondamento epistemico genuino richiede un accoppiamento causale tra lo stato del substrato termodinamico e il costo dell'elaborazione delle informazioni, una proprietà attualmente assente in tutti gli LLM distribuiti.