Sintesi Tecnica: Progresso di Compressione Firmato su un Audit Sigillato

Definizione del Problema

La motivazione intrinseca basata sulla compressione o sul progresso della predizione è una proposta di lunga data per guidare l'apprendimento degli agenti, originata dal lavoro di Schmidhuber sulla curiosità artificiale. L'idea centrale è quella di premiare un agente quando il suo modello del mondo migliora nella predizione o nella compressione dell'esperienza. Tuttavia, le formulazioni informali di questo premio sono suscettibili alla "Legge di Goodhart" (reward hacking), in cui un agente massimizza il premio proxy senza ottenere un reale miglioramento sulla distribuzione target.

Specifici modi di fallimento identificati includono:

• Scoring dello Stream: Agenti che migliorano sui propri flussi di dati selezionati adattivamente pur degradando sulla distribuzione target.
• Clipping: Agenti che ciclicamente passano tra stati per incassare premi positivi mentre il progresso netto è zero (ad esempio, dimenticare e riapprendere).
• Riutilizzo del Holdout: Overfitting su un set di validazione finito quando il set viene riutilizzato per feedback scalari ripetuti.
• Attrazione del Rumore: Bonus sull'errore di predizione che premiano la riduzione del rumore irreducibile (il problema della "TV rumorosa").

Il documento pone una domanda quantitativa: Sotto quali precise condizioni di misurazione un segnale di progresso della compressione diventa "credibile", ovvero il progresso cumulativo non può superare il vero miglioramento dell'audit di un valore finito e limitato?

Metodologia

Gli autori propongono un framework di misurazione formale chiamato Progresso di Compressione con Audit Firmato (Audit-CP) su un Audit Sigillato.

Definizioni Core

1. Distribuzione dell'Audit Sigillato ($Q$): Una distribuzione fissa indipendente dalla traiettoria di addestramento adattiva dell'agente. L'agente non può selezionare, distorcere o ispezionare $Q$, se non attraverso un meccanismo di rilascio consentito.
2. Perdita dell'Audit ($E(\theta)$): La perdita attesa (es. log-loss o cross-entropy) dello stato del modello $\theta$ su $Q$.
3. Progresso Firmato ($r_t$): Il premio al passo $t$ è definito come la diminuzione firmata della perdita dell'audit:
   $$r_t = E(\theta_{t-1}) - E(\theta_t)$$
   Fondamentalmente, il progresso negativo (aumento della perdita) viene addebitato all'agente; i premi non vengono tagliati (clipping).

Framework Teorico

Il documento stabilisce che il premio cumulativo su un orizzonte $T$ forma una somma telescopica:
$$\sum_{t=1}^T r_t = E(\theta_0) - E(\theta_T)$$
Questa identità implica che il premio cumulativo è esattamente uguale al netto miglioramento della perdita dell'audit. Di conseguenza, nessuna policy può spingere il premio cumulativo verso l'alto indefinitamente se il vero progresso dell'audit ristagna o degrada.

Per pannelli di audit finiti (un campione $A_n$ di dimensione $n$), il premio è empirico ($\hat{r}_t$). Il documento dimostra che il premio cumulativo empirico eccede il vero miglioramento di al massimo un budget di falsi positivi di $2\Delta_n$, dove $\Delta_n$ è la deviazione uniforme della classe di modelli sul pannello:
$$\sum_{t=1}^T \hat{r}_t \leq E(\theta_0) - E(\theta_T) + 2\Delta_n$$
Questo risultato è indipendente dall'orizzonte (horizon-free): il costo dell'adattività non si accumula nel tempo una volta che il pannello controlla uniformemente la classe del modello.

Separazione Algoritmica

Gli autori distinguono il segnale di premio dallo scheduler:

• Segnale di Premio: L'Audit-CP fornisce il segnale di contabilità credibile.
• Scheduler: Algoritmi come Multiplicative Weights (MWU) o EXP3 allocano le risorse di addestramento tra diverse fonti di dati in base ai premi Audit-CP. Questa separazione assicura che lo scheduler ottimizzi un segnale credibile piuttosto che un proxy manipolabile.

Contributi Chiave

1. Resistenza al Budget di Goodhart: Il documento definisce un segnale come "resistente al budget di Goodhart" se il premio cumulativo non può superare il vero miglioramento di più di un budget finito $\Gamma$. L'Audit-CP con l'audit esatto ha $\Gamma=0$; l'Audit-CP con pannello finito ha $\Gamma = 2\Delta_n$.
2. Dimostrazioni Meccanizzate: Il nucleo strutturale della teoria (identità telescopiche, limiti dell'audit finito, floor di entropia e non-negatività di Gibbs) è meccanizzato in Lean 4. Ciò include le dimostrazioni per il telescoping esatto e la resistenza condizionata a Goodhart sotto deviazione uniforme.
3. Teorema dell'Entropy Floor: Il documento dimostra che per la log-loss, la perdita dell'audit è limitata inferiormente dall'entropia condizionale dei dati. Ciò garantisce che le componenti puramente casuali (rumore) abbiano un budget di miglioramento finito; una volta che il modello raggiunge l'entropy floor, non può generare ulteriore progresso di compressione.
4. Validazione Sperimentale: Un set completo di esperimenti utilizzando ARC-TGI (un generatore per task di trasformazione di griglie) valida la teoria contro vari modi di fallimento e baseline (RND, ICM, curiosità basata sull'errore di predizione).

Risultati Sperimentali

Gli esperimenti confermano i limiti teorici e identificano i confini di validità del metodo:

• Concentrazione dell'Audit Finito: La deviazione uniforme empirica ($\Delta_n$) scala come $n^{-0.527}$, corrispondendo strettamente al tasso teorico $n^{-1/2}$ per classi finite.
• Ablazione del Segnale di Premio: In un curriculum con distrattori di rumore, l'Audit-CP ha ottenuto la più alta accuratezza di ricostruzione della cella attiva (0.387) tra le baseline non-oracle, superando significativamente la predizione dell'errore (0.338). Fondamentalmente, l'Audit-CP ha allocato solo circa il 22% del suo budget di campionamento ai distrattori di rumore, mentre la predizione dell'errore ne ha allocato circa il 50%.
• Signed vs. Clipped: Il clipping dei premi (usando solo il progresso positivo) ha permesso agli agenti di "farmare" premi (accumulando un premio cumulativo di +1.49) mentre il progresso firmato rimaneva vicino allo zero. Questo conferma che la contabilità firmata è necessaria per prevenire i cicli.
• Stream vs. Audit: Lo scoring del progresso tramite stream (premio basato sui propri dati dell'agente) ha sovrastimato il progresso dell'audit sigillato di circa 40 volte, confermando che lo scoring dello stream non è un proxy valido per il progresso dell'audit.
• Attacchi di Feedback Scalare Adattivo:
  • Riutilizzo Naive: Un attaccante adattivo potrebbe fare overfitting su un pannello riutilizzabile, creando un divario di 3.24 tra il progresso apparente e quello vero, superando la soglia di $2\Delta_n$ (1.64).
  • Difese: Le difese standard di rilascio (subsampling fresco, laddering, rounding, rilascio one-shot) hanno avuto successo nel sopprimere l'attacco, mantenendo il divario al di sotto della soglia teorica.
• Calibrazione: La scalatura della temperatura ha cambiato la log-loss (NLL) ed ECE senza cambiare l'accuratezza hard, dimostrando che l'Audit-CP misura la calibrazione probabilistica, non solo la discriminazione 0-1.

Significato e Rivendicazioni

Il documento sostiene che il Progresso di Compressione Firmato su un Audit Sigillato sia un "segnale di contabilità" di un reale miglioramento. La sua importanza risiede nel fornire una condizione di misurazione precisa sotto la quale la motivazione intrinseca è resistente alla legge di Goodhart.

• Credibilità: Il premio è credibile perché è un'identità di contabilità finale. Qualsiasi apparente premio a lungo termine deve essere "pagato" da una reale riduzione della perdita dell'audit.
• Modi di Fallimento: Il documento delimita esplicitamente dove la garanzia fallisce: se il progresso viene tagliato (clipped), se viene scorato sul proprio stream, se una classe di modelli ad alta capacità è lasciata memorizzare un pannello riutilizzabile, o se la distribuzione dell'audit non è sigillata.
• Regola di Design: Per la motivazione intrinseca e i sistemi di auto-miglioramento ricorsivo, gli autori propongono una regola di design: usare il progresso della compressione come premio auditato, usare uno scheduler separato per l'esplorazione, mantenere il progresso negativo e trattare l'audit come uno strumento di misurazione protetto.

Gli autori sono modesti nelle loro rivendicazioni, affermando che questo lavoro fornisce una condizione di misurazione, non una garanzia di sicurezza. Certifica che il segnale non può sovrastimare il miglioramento oltre un budget finito, ma non garantisce che la distribuzione dell'audit catturi tutti gli aspetti della capacità o che l'agente sia sicuro. Il lavoro serve a rendere visibili e matematicamente trattabili i confini della compressione del progresso.