Sintesi Tecnica: SUNTA – Previsione Video Gerarchica con Chunking basato sulla Sorpresa

Definizione del Problema

I Modelli Spazio-Stato Gerarchici (HSSM) offrono un quadro promettente per la previsione a lungo termine scomponendo le sequenze in chunk temporali, permettendo la modellazione della dinamica attraverso molteplici scale temporali. Tuttavia, l'efficacia degli HSSM dipende criticamente da come vengono determinati i confini dei chunk. Gli approcci esistenti si affidano tipicamente a:

1. Chunking a lunghezza fissa: intervalli deterministici che spesso non si allineano con la struttura temporale intrinseca dei dati.
2. Rilevamento basato sulla similarità: inferire i confini dalle variazioni osservazionali (ad esempio, cambiamenti visivi). Questo approccio fallisce quando si verificano transizioni semantiche significative senza cambiamenti visivi salienti, o quando si verificano cambiamenti visivi superficiali senza sottostanti spostamenti dinamici.

Gli autori sostengono che il chunking dovrebbe essere guidato dagli errori di previsione (sorpresa) all'interno del modello del mondo interno, poiché questi errori indicano direttamente quando il contesto corrente è insufficiente e una astrazione di livello superiore è necessaria. Tuttavia, l'integrazione del chunking basato sulla sorpresa negli HSSM affronta due sfide critiche:

• Collasso Gerarchico: Nell'addestramento end-to-end, man mano che il modello di alto livello migliora, esso condiziona il modello di basso livello in modo più efficace, riducendo gli errori di previsione di basso livello. Ciò cancella proprio i segnali di sorpresa necessari per definire i confini dei chunk, causando il collasso della gerarchia.
• Sorpresa Mancante nella Generazione Open-Loop: I segnali di sorpresa richiedono tipicamente il confronto delle previsioni con le osservazioni esterne. Durante i rollout open-loop (generazione), le osservazioni non sono disponibili, rendendo impossibile calcolare la sorpresa bottom-up necessaria per attivare i cambi di chunk.

Metodologia: SUNTA

Gli autori propongono SUNTA (Surprise-based Nested Temporal Abstraction), un HSSM a due livelli progettato per affrontare queste lacune attraverso una strategia di addestramento disaccoppiata e meccanismi di sorpresa top-down.

1. Architettura del Modello

SUNTA consiste di due livelli che operano su diverse scale temporali:

• Livello 1 (Basso Livello): Basato sul Recurrent State Space Model (RSSM). Elabora le osservazioni grezze ($x_t$) per inferire stati latenti stocastici ($s^{(1)}_t$). Impara a prevedere la successiva osservazione e lo stato latente.
• Livello 2 (Alto Livello): Tratta le sequenze latenti apprese del basso livello come "osservazioni". Opera su chunk definiti dai confini $m_t$. All'interno di un chunk, lo stato di alto livello ($s^{(2)}_t$) rimane costante, comprimendo la sequenza di basso livello in una singola rappresentazione. Include un Decoder Top-Down che ricostruisce la sequenza latente di basso livello dal livello superiore.

2. Meccanismi Chiave

Chunking basato sulla Sorpresa

I confini dei chunk sono determinati dall'entità dell'errore di previsione (Sorpresa Bayesiana) nel modello di basso livello, quantificato come la divergenza di Kullback-Leibler (KL) tra le distribuzioni posteriore e prior.

• Inferenza (Riconoscimento): Un confine viene attivato quando $DKL(q(s^{(1)}_t | \dots) \parallel p(s^{(1)}_t | \dots))$ supera una soglia $\tau_{inf}$.
• Generazione (Open-Loop): Per risolvere il problema della "sorpresa mancante", SUNTA introduce un segnale di Sorpresa Top-Down. Invece di confrontare le previsioni con osservazioni esterne, il modello confronta l'evoluzione del rollout di basso livello (generato dal decoder top-down) contro il contesto di alto livello corrente. Un confine viene attivato quando il disallineamento tra la traiettoria di basso livello generata e il contesto di alto livello supera una soglia $\tau_{gen}$.

Addestramento Disaccoppiato (Ottimizzazione per Livello)

Per prevenire il collasso gerarchico, SUNTA impiega una strategia di addestramento sequenziale invece di un'ottimizzazione end-to-end:

1. Addestrare il Livello 1: Ottimizzare l'RSSM di basso livello sulle osservazioni grezze per massimizzare l'Evidence Lower Bound (ELBO).
2. Congelare il Livello 1: Inferire le sequenze latenti di basso livello e i confini dei chunk.
3. Addestrare il Livello 2: Trattare i latenti di basso livello inferiti come osservazioni e addestrare il modello di alto livello.
   Questo assicura che i miglioramenti del modello di alto livello non sopprimano i segnali di sorpresa di basso livello utilizzati per il rilevamento dei confini.

Completamento del Pattern Temporale (TPC)

Per affrontare il mismatch tra addestramento e test, dove l'encoder di alto livello vede chunk completi durante l'addestramento ma solo chunk parziali durante l'inferenza, SUNTA introduce un regolarizzatore. Questa perdita incoraggia la rappresentazione di alto livello inferita da un prefisso di chunk parziale a corrispondere alla rappresentazione inferita dal chunk completo, mantenendo al contempo la separazione da contesti negativi (non correlati). Ciò migliora la robustezza rispetto al contesto incompleto durante la generazione.

Contributi Chiave

1. Chunking guidato dalla Sorpresa: Propone l'uso degli errori di previsione interni piuttosto che della similarità visiva per determinare i confi di astrazione temporale, sostenendo che ciò si allinea meglio alle dinamiche intrinseche.
2. Strategia di Addestramento Disaccoppiata: Introduce un approccio di ottimizzazione per livello che previene la soppressione dei segnali di sorpresa, risolvendo il problema del collasso gerarchico.
3. Sorpresa Top-Down per la Generazione: Sviluppa un meccanismo per rilevare i confini dei chunk durante la generazione open-loop senza osservazioni esterne, misurando il disallineamento tra il contesto di alto livello e i rollout di basso livello.
4. Completamento del Pattern Temporale: Una tecnica di regolarizzazione per colmare il divario tra l'addestramento (contesto completo) e l'inferenza (contesto parziale) per le rappresentazioni di alto livello.

Risultati Sperimentali

SUNTA è stato valutato su tre dataset: Bouncing Ball (2D sintetico), Serial Nine Rooms (navigazione 2D con dipendenze ritardate) e 3D Maze (navigazione egocentrica).

• Previsione a Lungo Termine: SUNTA ha superato significativamente tutti i baseline (RSSM, VTA, LOVE, VPR).
  • Sul dataset Bouncing Ball, SUNTA ha mantenuto previsioni accurate per 250 timesteps, mentre tutti i baseline degradavano entro i primi 10 timesteps.
  • Su 3D Maze e Serial Nine Rooms, SUNTA ha ottenuto un SSIM superiore e un MSE inferiore rispetto ai baseline gerarchici e non gerarchici.
• Rilevamento dei Confini: SUNTA ha ottenuto punteggi F1 quasi perfetti (0.984 su Bouncing Ball, 0.992 su 3D Maze) nell'identificare i confini temporali reali, superando significativamente i metodi basati sulla similarità (VPR) e altri HSSM (VTA, LOVE).
• Studi di Ablazione:
  • Rimuovere il regolarizzatore TPC portava a una degradazione delle prestazioni su orizzonti temporali più lunghi.
  • Una variante a scala temporale fissa (CW-SUNTA) non performava meglio di un RSSM piatto, dimostrando che il beneficio della gerarchia deriva dai confini adattivi basati sulla sorpresa, e non dalla struttura gerarchica stessa.
  • I baseline gerarchici (VTA, LOVE) spesso performavano peggio del non-gerarchico RSSM, suggerendo che gerarchie mal allineate possono essere dannose.

Significato e Rivendicazioni

Il documento sostiene che SUNTA dimostra l'importanza critica di allineare l'astrazione gerarchica con la struttura temporale intrinseca dell'ambiente. Gli autori argomentano che:

• Il vantaggio primario della modellazione gerarchica non risiede nell'architettura stessa, ma nella capacità di segmentare dinamicamente le sequenze dove gli errori di previsione aumentano, semplificando così l'apprendimento delle dinamiche di alto livello.
• Il chunking basato sulla sorpresa è un meccanismo più affidabile per l'astrazione temporale rispetto alla similarità visiva, specialmente in ambienti in cui le transizioni semantiche non sono visivamente salienti.
• Il proposto addestramento disaccoppiato e i meccanismi di sorpresa top-down consentono con successo una previsione stabile a lungo termine nei modelli del mondo, una capacità che gli HSSM esistenti non riescono a mantenere oltre brevi orizzonti.

Gli autori segnalano limitazioni, tra cui la dipendenza da ambienti con picchi di sorpresa significativi, l'attuale focus su dati visivi simulati e una valutazione limitata a due livelli di gerarchia. Suggeriscono che il lavoro futuro potrebbe esplorare gerarchie più profonde e l'integrazione con il processo decisionale.