Sintesi Tecnica: Modelli di Mondo Certificati

Definizione del Problema

La ricerca moderna sui modelli di mondo è spesso inquadrata come una competizione tra scala (scaling brute-force di dati e parametri) e struttura (incorporazione di prior geometrici come la simmetria). Sebbene lo scaling riduca l'errore medio sulle distribuzioni di addestramento, non offre garanzie su situazioni specifiche e mai viste prima. Al contrario, gli approoli strutturali mirano all'efficienza campionaria, ma spesso mancano di limiti rigorosi e computabili sulle loro capacità di generalizzazione.

Il documento affronta la necessità di un certificato di prevedibilità: una regione provabile e computabile che definisca esattamente dove il comportamento di un modello di mondo è garantito nel trasferirsi. Questo certificato deve estendersi su tre assi ortogonali:

1. Configurazione: Generalizzazione attraverso l'immenso monoide generato dalle simmetrie primitive.
2. Orizzonte: Fino a che punto nel futuro si estende la garanzia.
3. Risoluzione: Il livello di dettaglio al quale la garanzia è valida.

La tesi centrale è: "La scala compra l'interpolazione; la struttura compra un certificato."

Metodologia

1. Framework Teorico

Gli autori stabiliscono un teorema maestro per i modelli di mondo latenti equivarianti composti da un encoder $E: \mathcal{X} \to \mathcal{Z}$ e un predittore condizionato all'azione $f: \mathcal{Z} \times \mathcal{A} \to \mathcal{Z}$.

• L'Asse della Configurazione (Teorema A): Sotto ipotesi di equivarianza esatta (l'encoder e il predittore commutano con le azioni del gruppo, e il gruppo è una simmetria delle dinamiche reali), l'errore di predizione dell'intero processo è invariante su tutto il monoide generato da $k$ simmetrie primitive. Crucialmente, controllare solo i $k$ generatori certifica l'intero insieme esponenzialmente grande di composizioni.

  • Converso (Lemma 2): L'errore costante rispetto all'orbita contro ogni target equivariante è equivalente all'equivarianza. Pertanto, un'architettura non vincolata non può certificare questa proprietà per costruzione; deve apprenderla ed essere verificata.

• Gli Assi dell'Orizzonte e della Risoluzione (Teorema B): Per l'equivarianza approssimativa, i difetti si propagano lungo lo spettro di Lyapunov a tempo finito.

  • Canali in espansione ($\lambda > 0$): L'errore cresce esponenzialmente. L'orizzonte certificato scala come $T_j(\epsilon) \sim \log(1/\epsilon)/\lambda_j$.
  • Canali neutri ($\lambda = 0$): L'errore si accumula linearmente.
  • Canali in contrazione ($\lambda < 0$): L'errore si assesta su un pavimento limitato.
  • Conservazione Esatta: Se una carica è esattamente conservata ($\eta=0$), l'orizzonte è illimitato.

• La Cerniera di Noether (Sezione 4): Il documento collega gli assi della configurazione e dell'orizzonte. Dimostra che le cariche conservate (modi lenti) risiedono in specifici blocchi isotipici (invarianti o equivarianti) determinati dalla teoria delle rappresentazioni. Nello specifico, le cariche scalari conservate vivono nel blocco invariante ($\ell=0$), mentre le cariche vettoriali conservate (come il momento angolare) vivono in blocchi equivarianti ($\ell=1$) e richiedono gradi polinomiali specifici (ad esempio, prodotti incrociati di grado 2) per la lettura (readout).

• Certificati Azionabili (Teorema B' & Proposizioni):

  • Teorema B': Un certificato a cono/metrica adattata può leggere un orizzonte certificato sano e a priori direttamente dal campo Jacobiano del modello appreso senza accesso alle dinamiche reali. È stretto sulle dinamiche uniformemente iperboliche e si astiene altrove.
  • Proposizione 9: Una stima errata dell'orizzonte (ad esempio, un esponente di Lyapunov gonfiato) gonfia linearmente il budget di sensing richiesto per la ri-osservazione attiva.

2. Design Sperimentale

Il documento valida queste affermazioni attraverso oltre 30 esperimenti su scale CPU/1-GPU, utilizzando seed casuali espliciti e gate pre-registrati.

• Sistemi: Ambienti toy strutturati, dinamiche di contatto di motori fisici reali (PushT, FetchPush), sistemi caotici (Lorenz, Hénon, Rössler, Lorenz-96) e modelli di mondo pre-addestrati pubblici (TD-MPC2, LeWM, V-JEPA).
• Confronti: I modelli equivarianti sono confrontati con baseline non equivarianti scalate (MLP, GRU) e baseline con data augmentation.
• Metriche: Orbit-flatness (rapporto dell'errore attraverso l'orbita), recupero dello spettro di Lyapunov ($R^2$), ed efficienza del budget di ri-osservazione.

Risultati Chiave

1. Configurazione: Certificazione Esponenziale

• $\mathbb{Z}_2^6$ (I Ching): L'addestramento su 6 generatori certifica tutte le 64 composizioni con precisione di macchina. Le baseline non equivarianti degradano monotonicamente con la lunghezza della composizione.
• Dinamiche di Contatto Reali (PushT & FetchPush): Su dati di motori fisici reali (non toy creati a mano), i modelli equivarianti mantengono l'orbit-flatness esatta (rapporto 1.000) fuori distribuzione. Le baseline scalate (fino a 160x più grandi) degradano di ordini di grandezza (2–1000x) quando ruotate fuori dal wedge di addestramento.
• Lift SO(3): Il certificato è valido per gruppi non abeliani (SO(3) su nuvole di punti 3D), dimostrando che il risultato non è specifico per cerchi abeliani.

2. Orizzonte: Recupero Spettrale e Leggi

• Recupero del Caos: Su Lorenz, Hénon e Rössler, la scala a gradini dell'orizzonte certificato recupera il vero esponente di Lyapunov entro l'1–12%.
• Struttura ad Alta Dimensionalità: Su Lorenz-96 a 40 dimensioni, un modello a convoluzione ciclica $\mathbb{Z}_N$-equivariante recupera l'intero spettro di Lyapunov ($R^2 \approx 0.98$). Un MLP denso e un GRU addestrato allo stesso modo falliscono catastroficamente ($R^2 < 0$), con il GRU che fallisce a causa di modi di Lyapunov nascosti che violano la condizione di Lyapunov condizionale ad alte dimensioni.
• Scala vs. Struttura: Scalare un modello non equivariante migliora l'interpolazione in-distribution, ma non può recuperare lo spettro ad alta dimensione o la garanzia di orbit-flatness.

3. Azionabilità: Decisioni a Budget

• Efficienza di Ri-osservazione: In un sistema caotico a 40-D con un budget di sensing fisso, un agente che utilizza il certificato fedele del modello equivariante soddisfa il budget (mediana 10% di violazione della previsione). Un agente che utilizza il certificato gonfiato del modello non equivariante sovra-osserva e affama il budget (mediana 63% di violazione).
• Audit di Modelli Pubblici: Il certificato esegue con successo l'audit di modelli pre-addestrati pubblici (TD-MPC2, LeWM, V-JEPA). Identifica correttamente i regimi in cui il modello è espansivo (calibrato), vicino al neutro (astensione) o guidato da bias (astensione), corrispondendo alla mappa dello scope teorico.

4. Limitazioni e Scope Onesto

• Performance In-Distribution: I modelli equivarianti sono competitivi ma non necessariamente superiori in-distribution; il loro vantaggio è la garanzia out-of-distribution.
• Controllo in Closed-Loop: Sebbene il certificato di pianificazione sia orbit-flat, il successo effettivo del task su FetchPush è stato inconcludente a causa dell'exploitation del modello da parte del planner CEM, un problema noto nel model-based RL non correlato al certificato stesso.
• Simmetria Approssimativa: Il certificato degrada con grazia con i difetti di rottura della simmetria, ma ha una soglia misurata ($\epsilon_{world} \approx 0.01\text{--}0.06$) oltre la quale l'ipotesi diventa dannosa.
• Input Pixel: La media dei frame rende il prior di equivarianza neutrale sull'accuratezza dei pixel grezzi, ma la predizione assoluta multi-step dei pixel rimane una sfida aperta a piccole scale.

Significato e Rivendicazioni

Il documento sostiene di fornire un criterio unico ed eseguibile (Algoritmo 1) per determinare cosa un modello di mondo equivariante possa certificabilmente predire. La sua importanza risiede nello spostare il paradigma dalle "gare di benchmark" alle "competizioni di tipo":

1. Dall'Empirico al Provabile: Si va oltre la generalizzazione empirica verso una regione provabile e computabile (configurazione $\times$ orizzonte $\times$ risoluzione) derivata dal proprio Jacobiano e dai controlli di simmetria del modello.
2. La Struttura come Garanzia: Dimostra che la struttura compra un certificato affidabile che è a-priori (non richiede dati di calibrazione di rollout), mentre la scala compra solo l'interpolazione.
3. Meccanismo di Conservazione: Fornisce una spiegazione basata sulla teoria delle rappresentazioni (la cerniera di Noether) del perché la meccanica celeste esattamente conservata sia prevedibile per millenni (i blocchi invarianti/equivarianti sono lenti/conservati) mentre il meteo non lo sia (caotico, canali in espansione).
4. Fiducia Azionabile: Il certificato non è meramente descrittivo; consente un processo decisionale a budget (ad esempio, la ri-osservazione attiva) che è provabilmente più efficiente rispetto all'uso di orizzonti non calibrati o gonfiati.

Gli autori dichiarano esplicitamente che questo è un lavoro di meccanismo e teoria con esperimenti di prova di concetto, non un benchmark scalato. Il contributo principale è la certificabilità del comportamento del modello, offrendo una lettura strutturale del perché certe dinamiche siano prevedibili e altre no.