Riepilogo Tecnico: Astrazione e Generalizzazione della Struttura in un Modello del Mondo Ispirato all'Ippocampo-Entorinale

Enunciato del Problema

Gli esseri umani possiedono la capacità di astrarre le esperienze in rappresentazioni strutturate, facilitando l'inferenza di pattern e il trasferimento di conoscenze attraverso contesti diversi. Sebbene il circuito biologico ippocampo-entorinale (HPC-MEC) sia noto per codificare sia spazi spaziali che concettuali, i meccanismi per estrarre simultaneamente strutture astratte da dinamiche continue e ad alta dimensionalità rimangono poco compresi. I modelli esistenti di mappe cognitive nelle neuroscienze spesso faticano a scalare, non riuscendo a dimostrare come le strutture astratte possano essere estratte direttamente da scene visive del mondo reale ad alta dimensionalità senza supervisione preliminare. Inoltre, i modelli del mondo attuali tendono ad intrecciare le dinamiche di transizione con il contenuto sensoriale, limitando la loro capacità di generalizzare pattern strutturali tra diversi oggetti e ambienti.

Questo lavoro affronta due domande fondamentali:

1. Come può un modello apprendere simultaneamente rappresentazioni di contenuti sensoriali concreti ed estrarre strutture astratte da sequenze senza supervisione preliminare?
2. Come possono queste strutture estratte essere sfruttate per facilitare una generalizzazione strutturale robusta attraverso oggetti e ambienti diversi?

Metodologia

Gli autori propongono un modello del mondo gerarchico e ispirato al cervello che imita la divisione funzionale del circuito HPC-MEC. L'architettura è composta da due componenti principali: un modello inverso per l'estrazione strutturale e un modello di accoppiamento HPC-MEC per la modellazione predittiva del mondo.

1. Panoramica dell'Architettura

Il modello opera su sequenze video grezze utilizzando un VQ-VAE multi-scala pre-addestrato per estrarre embedding di osservazione ($s$). L'elaborazione principale avviene in due spazi latenti distinti:

• Ippocampo (HPC): Codifica informazioni episodiche ricche di contenuto. Cattura dettagli sensoriali specifici e contesto.
• Corteccia Entorinale Mediale (MEC): Codifica strutture relazionali astratte. È implementata utilizzando dinamiche di Rete Neurale ad Attrattore Continuo (CANN) per eseguire l'integrazione di percorso guidata dalla velocità.

2. Il Modello di Accoppiamento HPC-MEC

Il modello impiega due flussi di informazione:

• Flusso di Inferenza Visiva: I fotogrammi di input sono codificati in embedding HPC ($p$) e poi compressi in embedding MEC a dimensionalità inferiore ($g$). Questo flusso cattura lo stato corrente.
• Flusso di Generazione: Il modello prevede stati futuri applicando transizioni latenti agli embedding MEC. Le dinamiche MEC sono modellate come un CANN, dove la rete mantiene un "picco" di attività stabile. Una transizione latente ($z_t$) agisce come operatore di velocità, spostando questo picco lungo gli assi metrici della rete per generare il prossimo stato ($g_{t+1}$).
  • La regola di aggiornamento è definita come: $g_{t+1} = g_t \oplus f_{forward}(z_t, g_t)$, dove $\oplus$ è un operatore di spostamento di fase.
• Feedback Visivo: Per mitigare l'accumulo di errori intrinseco nell'integrazione di percorso autoregressiva, il modello incorpora un feedback visivo. Quando sono disponibili nuove osservazioni, l'embedding MEC inferito dall'osservazione corregge lo stato generato prima del prossimo passo di previsione.

3. Modello Inverso per l'Inferenza di Transizioni Latenti

Invece di mappare direttamente da osservazioni ad alta dimensionalità, il modello inverso inferisce transizioni latenti ($z_t$) dalla differenza tra embedding MEC consecutivi ($g_t$ e $g_{t+1}$).

• $z_t = f_{inverse}(g_{t+1} \ominus g_t)$
• Operando sulla differenza nello spazio MEC astratto, il modello isola le dinamiche di transizione a bassa dimensionalità, escludendo le caratteristiche visive ridondanti codificate nell'HPC. Questo disaccoppia efficacemente "come" si muove un oggetto (struttura) da "cosa" è l'oggetto (contenuto).

4. Paradigma di Addestramento

Il modello è addestrato in modo auto-supervisionato utilizzando solo sequenze di osservazione, senza etichette di azione esplicite. L'addestramento procede in tre fasi:

1. Fase 1: Addestramento del flusso di inferenza visiva e del processo di decodifica per ricostruire gli embedding di osservazione, imponendo coerenza tra input sensoriale e segnali di auto-movimento tramite funzioni di perdita di allineamento e regolarizzazione.
2. Fase 2: Addestramento del modello inverso per inferire transizioni latenti e delle dinamiche di transizione per prevedere il prossimo embedding MEC.
3. Fase 3: Affinamento congiunto dell'intero sistema per eseguire la generazione autoregressiva utilizzando l'integrazione di percorso, basandosi esclusivamente sullo stato iniziale e sulla sequenza di transizioni latenti inferite.

Contributi Chiave

• Modello del Mondo HPC-MEC Auto-supervisionato: Gli autori introducono un framework che inferisce congiuntamente strutture astratte e apprende un modello del mondo da sequenze video grezze senza richiedere priori espliciti sulle dinamiche.
• Analisi dell'Astrazione della Struttura: Utilizzando dinamiche di trasformazione primitive (rotazione, traslazione, scalatura) come benchmark, il documento dimostra che il modello disaccoppia con successo l'aspetto dalle dinamiche. Mostra periodicità e condivisione di struttura intra-classe, dove gli embedding MEC catturano caratteristiche rotazionali condivise tra diverse istanze di oggetti, mentre gli embedding HPC mantengono l'identità specifica dell'oggetto.
• Generalizzazione Strutturale: Il modello dimostra la capacità di estrarre strutture condivise da dinamiche di transizione simili e di riutilizzarle flessibilmente attraverso ambienti e categorie di oggetti diversi (trasferimento zero-shot). Questo è ottenuto integrando strutture astratte codificate nella MEC con dettagli di contenuto memorizzati nell'HPC.

Risultati

Il modello è stato valutato sul dataset Something-Something v2 (SSv2) per l'addestramento e testato su dataset Out-of-Distribution (OOD), inclusi transizioni di oggetti 3D (COIL-100, MIRO, OmniObject3D) e ambienti robotici simulati (Franka Kitchen, Block Pushing).

• Prestazioni di Previsione: Il modello ottiene previsioni robuste a singolo passo e autoregressive. Nei compiti autoregressivi, l'inclusione del feedback visivo migliora significativamente la qualità della generazione correggendo gli errori accumulati nell'integrazione di percorso.
• Astrazione Strutturale: L'analisi quantitativa mostra che gli embedding MEC ($g$) sono più efficaci nel catturare strutture condivise intra-classe rispetto agli embedding HPC ($p$). Un decodificatore addestrato sugli embedding MEC raggiunge una maggiore accuratezza nella classificazione delle categorie di oggetti basata su dinamiche condivise rispetto a uno addestrato sugli embedding HPC.
• Decodifica delle Transizioni: Le transizioni latenti ($z$) derivate dal modello raggiungono la massima accuratezza (90,64%) nella decodifica dei tipi di transizione (rotazione, traslazione, scalatura) rispetto alle transizioni di stato negli spazi HPC o MEC, indicando che $z$ cattura strutture altamente semanticamente significative e prive di contenuto.
• Generalizzazione: Il modello trasferisce con successo le transizioni latenti da un oggetto sorgente (ad esempio, una mela gialla) a un oggetto target (ad esempio, una mela rossa) o a una scena diversa, generando sequenze che si allineano alle dinamiche della sorgente preservando il contenuto del target. Supera le linee di base (LAPA, Moto, AdaWorld) in contesti OOD, in particolare in ambienti naturalistici come Franka Kitchen, dove le linee di base spesso falliscono o degenerano in previsioni statiche.
• Studi di Ablazione: La rimozione della separazione gerarchica (spazio latente unificato) o delle dinamiche CANN (sostituite con un MLP standard) degrada significativamente le prestazioni, confermando che l'architettura disaccoppiata e l'integrazione di percorso basata su CANN sono critiche per isolare dinamiche pure e abilitare la generalizzazione.

Significato e Affermazioni

Questo lavoro fornisce un nuovo framework computazionale per comprendere come l'apprendimento auto-supervisionato di modelli del mondo ispirato al cervello faciliti l'acquisizione di conoscenze astratte riutilizzabili. Imitando la separazione funzionale tra HPC e MEC, il modello dimostra che le strutture astratte possono essere estratte efficacemente da sequenze video del mondo reale mantenendo spazi latenti gerarchici significativi.

Gli autori affermano che il loro approccio offre un meccanismo per la generalizzazione strutturale, permettendo ai sistemi di legare flessibilmente rappresentazioni strutturali estratte a nuovi contesti. Questa capacità suggerisce una via verso un apprendimento per trasferimento più robusto nell'IA incarnata, dove gli agenti possono apprendere dinamiche generalizzabili da dati limitati e applicarle a oggetti e ambienti non visti. Il lavoro colma il divario tra modelli teorici di neuroscienza delle mappe cognitive e applicazioni pratiche di deep learning nella previsione video e nell'estrazione di azioni latenti.