Riepilogo Tecnico: L'Angolo del Rango Uno

Definizione del Problema

Un modello del mondo appreso viene tradizionalmente valutato in base alla sua fedeltà alle osservazioni (errore di ricostruzione) o alla sua capacità di predire le ricompense. Tuttavia, questo tratta la qualità del modello come una proprietà binaria (fedele o non fedele), ignorando i requisiti strutturali specifici dei compiti di controllo a valle. Un compito non richiede che il modello ricostruisca tutte le osservazioni; richiede che il modello catturi un insieme specifico e a bassa dimensionalità di coordinate predittive che evolvono autonomamente sotto la dinamica del sistema. Gli autori definiscono questo insieme come chiusura (closure).

La domanda centrale affrontata è: Quanta della chiusura di un compito è effettivamente rappresentata da un modello del mondo, e cosa lo determina? Nello specifico, il documento indaga se l'ubiquitario obiettivo a ricompensa singola utilizzato nella Valore Equivalenza (VE) sia sufficiente per installare la struttura necessaria per il controllo, o se installi solo un' "ombra" delle dinamiche richieste.

Metodologia

Gli autori impiegano un setup sperimentale controllato utilizzando uno stack DreamerV3 categorical-RSSM. L'ambiente è costruito come uno strumento di misurazione piuttosto che come un benchmark di percezione:

1. Chiusura Verità Fondamentale (Ground Truth): Un processo a bassa dimensionalità di $k$ coordinate latenti ($L_t$) che variano lentamente viene renderizzato in osservazioni d'immagine ad alta dimensionalità $64 \times 64$ tramite una deformazione analitica fissa.
2. Disturbatore: Rumore disturbatore ad alta varianza viene aggiunto alle osservazioni per garantire che un obiettivo di sola ricostruzione non possa automaticamente recuperare la chiusura.
3. Meccanismo di Readout: Per determinare cosa rappresenti lo stato latente stocastico ($z_t$), gli autori utilizzano una sonda lineare (linear probe) tenuta in riserva. Crucialmente, la sonda legge solo da $z_t$, escludendo lo stato ricorrente deterministico ($h_t$), garantendo che qualsiasi struttura recuperata sia realmente installata nella rappresentazione latente e non instradata attraverso lo stato della storia.
4. Metrica: La metrica primaria è il rango installato (installed rank), definito come il numero di coordinate della chiusura che una sonda lineare può recuperare dal latente sopra una soglia nulla di sola ricostruzione.

Lo studio varia sistematicamente la dimensionalità ($d$) dell'obiettivo di addestramento (da 1 a 4) mantenendo costanti architettura, capacità e budget di addestramento.

Contributi Chiave

1. Legge della Dimensionalità: Il documento dimostra che il rango della struttura che un latente installa è determinato strettamente dalla dimensionalità dell'obiettivo contro cui è addestrato. Un obiettivo $d$-dimensionale installa esattamente $d$ direzioni predittive nel latente, indipendentemente dalla capacità del modello.
2. L'Angolo del Rango Uno: Gli autori identificano la Valore Equivalenza a ricompensa singola (un obiettivo scalare, $d=1$) come l' "angolo del rango uno" di una legge più ampia. Sebbene un obiettivo scalare sia allineato con il compito, esso installa solo una proiezione monodimensionale della chiusura. Nei loro esperimenti, un obiettivo scalare ha recuperato solo lo 0,10 della chiusura ($R^2$), mentre un obiettivo multidimensionale completo ha recuperato lo 0,76 nella stessa configurazione.
3. Attribuzione Causale: Attraverso il rimescolamento delle etichette (label shuffling) e controlli di pressione accoppiata, gli autori dimostrano che il fallimento degli obiettivi scalari non è dovuto alla pressione di addestramento o ad artefatti architettonici, ma specificamente alla dimensionalità del target.
4. Confine della Legge: Il documento misura il confine in cui questa legge si applica. In ambienti in cui la chiusura è direttamente osservabile nel frame (frame-observable), la sola ricostruzione è sufficiente, e la dimensionalità dell'obiettivo diventa irrilevante. La legge governa il regime in cui i canali passivi (ricostruzione, ricorrenza) falliscono nel recuperare la struttura rilevante per il ritorno.
5. Eco lato Valutazione: Gli autori mostrano che, sul lato della valutazione, il residuo di Bellman si decompone in un termine di ricompensa e un errore di operatore di solo valore. Di conseguenza, le metriche di valutazione standard (come il residuo di Bellman) leggono solo la "fetta di valore" a bassa dimensionalità della dinamica del modello, potenzialmente mascherando i fallimenti nella rappresentazione della struttura non legata al valore.

Risultati Chiave

• Obiettivo Scalare vs. Completo: In un setup con una chiusura a 4 dimensioni, un obiettivo di valore scalare ($d=1$) ha installato un latente che ha recuperato solo il 10% della struttura della chiusura. Un obiettivo completo a 4 dimensioni ($d=4$) ha installato un latente che ha recuperato il 76% della struttura.
• Effetto a Scala (Staircase Effect): Scansionando la dimensionalità dell'obiettivo da 1 a 4, il latente ha installato esattamente 1, 2, 3 e 4 direzioni della chiusura, rispettivamente. Aumentare il peso di un obiettivo 1D per eguagliare la varianza totale di un obiettivo 4D non ha aumentato il rango installato; ha solo rafforzato la singola direzione.
• Indipendenza della Testata (Head Independence): La legge è valida sia che l'obiettivo sia applicato tramite una testata di regressione ausiliaria, sia tramite la propria testata di valore del modello, sebbene l'entità del recupero sia attenuata (circa 0,7x) quando si utilizza la testata di valore a causa delle non linearità (tanh).
• Indipendenza dalla Capacità: Aumentare la capacità (ampiezza) del latente oltre il rango della chiusura non ha aumentato il rango installato; il rango si è stabilizzato al valore della dimensione dell'obiettivo $d$.
• Sufficienza della Ricostruzione: In un compito complementare in cui la chiusura era osservabile in ogni frame, la VE a ricompensa singola ha performato identicamente a una famiglia di valori completa, e la ricostruzione senza alcun segnale di ricompensa ha installato lo stesso rango della chiusura. Ciò conferma che la legge è specifica per il regime in cui l'osservazione passiva non può recuperare la struttura della chiusura.

Significato e Rivendicazioni

Il documento sostiene di fornire una risposta quantitativa a "quanta valore equivalenza serve a un compito". La risposta è che un compito richiede un modello che installi un numero di direzioni predittive uguale al rango della sua chiusura.

• Raffinatezza della Valore Equivalenza: Il lavoro non confuta il principio di Valore Equivalenza, ma lo precisa. Una corretta valore equivalenza è definita su un insieme di funzioni di valore e può essere multidimensionale. La comune istanza a ricompensa singola è semplicemente l'angolo del rango uno di questo principio.
• Allocazione vs. Disponibilità: Il fallimento degli obiettivi scalari nel rappresentare l'intera chiusura è una questione di allocazione (l'obiettivo dirige il latente a ignorare le dimensioni non legate al valore), non di disponibilità (l'informazione è presente nelle osservazioni).
• Predizione Falsificabile: Il documento offre una predizione falsificabile: se la chiusura di un compito non è osservabile nel frame, un obiettivo a ricompensa singola fallirà nell'installare la struttura necessaria, indipendentemente dalla dimensione del modello.
• Limitazioni: Gli autori dichiarano esplicitamente che le loro affermazioni si basano su un ambiente sintetico con verità fondamentale nota e un'architettura specifica (DreamerV3). Non sostengono che la legge rimanga invariata per le immagini naturali o che il termine di capacità si generalizzi a tutti i domini senza ulteriori verifiche. I risultati sono presentati come la misura di un confine di un regime specifico piuttosto che come una legge universale per tutto l'apprendimento per rinforzo.

In sintesi, il documento sostiene che la valore equivalenza è dimensionale: il familiare obiettivo a ricompensa singola è insufficiente per i compiti la cui chiusura richiede più di una dimensione, e il modello installa esattamente tanta struttura del compito quanto la dimensionalità dell'obiettivo consente.