Resumen Técnico: Abstracción y Generalización de Estructuras en un Modelo del Mundo Inspirado en el Circuito Hipocampo-Corteza Entorrinal

Declaración del Problema

Los humanos poseen la capacidad de abstraer experiencias en representaciones estructuradas, facilitando la inferencia de patrones y la transferencia de conocimientos a través de diversos contextos. Si bien se sabe que el circuito biológico hipocampo-corteza entorrinal (HPC-MEC) codifica tanto espacios espaciales como conceptuales, los mecanismos para extraer simultáneamente estructuras abstractas de dinámicas continuas y de alta dimensión siguen siendo poco comprendidos. Los modelos existentes de mapas cognitivos en neurociencia a menudo luchan por escalar, fallando en demostrar cómo las estructuras abstractas pueden extraerse directamente de escenas visuales del mundo real de alta dimensión sin supervisión previa. Además, los modelos del mundo actuales suelen entrelazar las dinámicas de transición con el contenido sensorial, limitando su capacidad para generalizar patrones estructurales entre diferentes objetos y entornos.

Este trabajo aborda dos preguntas fundamentales:

1. ¿Cómo puede un modelo aprender simultáneamente representaciones de contenido sensorial concreto y extraer estructuras abstractas de secuencias sin supervisión previa?
2. ¿Cómo pueden aprovecharse estas estructuras extraídas para facilitar una generalización estructural robusta a través de diversos objetos y entornos?

Metodología

Los autores proponen un modelo del mundo jerárquico e inspirado en el cerebro que imita la división funcional del circuito HPC-MEC. La arquitectura consta de dos componentes principales: un modelo inverso para la extracción estructural y un modelo de acoplamiento HPC-MEC para el modelado predictivo del mundo.

1. Descripción General de la Arquitectura

El modelo opera sobre secuencias de video crudas utilizando un VQ-VAE multiescala preentrenado para extraer incrustaciones de observación ($s$). El procesamiento central ocurre en dos espacios latentes distintos:

• Hipocampo (HPC): Codifica información episódica rica en contenido. Captura detalles sensoriales específicos y contexto.
• Corteza Entorrinal Medial (MEC): Codifica estructuras relacionales abstractas. Se implementa utilizando dinámicas de Redes Neuronales de Atractor Continuo (CANN) para realizar integración de trayectoria impulsada por velocidad.

2. El Modelo de Acoplamiento HPC-MEC

El modelo emplea dos flujos de información:

• Flujo de Inferencia Visual: Los fotogramas de entrada se codifican en incrustaciones de HPC ($p$) y luego se comprimen en incrustaciones de MEC de menor dimensión ($g$). Este flujo captura el estado actual.
• Flujo de Generación: El modelo predice estados futuros aplicando transiciones latentes a las incrustaciones de MEC. Las dinámicas de MEC se modelan como un CANN, donde la red mantiene un "bulto" de actividad estable. Una transición latente ($z_t$) actúa como un operador de velocidad, desplazando este bulto a lo largo de los ejes métricos de la red para generar el siguiente estado ($g_{t+1}$).
  • La regla de actualización se define como: $g_{t+1} = g_t \oplus f_{forward}(z_t, g_t)$, donde $\oplus$ es un operador de desplazamiento de fase.
• Retroalimentación Visual: Para mitigar la acumulación de errores inherente a la integración de trayectoria autoregresiva, el modelo incorpora retroalimentación visual. Cuando están disponibles nuevas observaciones, la incrustación de MEC inferida de la observación corrige el estado generado antes del siguiente paso de predicción.

3. Modelo Inverso para la Inferencia de Transiciones Latentes

En lugar de mapear directamente desde observaciones de alta dimensión, el modelo inverso infiere transiciones latentes ($z_t$) a partir de la diferencia entre incrustaciones de MEC consecutivas ($g_t$ y $g_{t+1}$).

• $z_t = f_{inverse}(g_{t+1} \ominus g_t)$
• Al operar sobre la diferencia en el espacio abstracto de MEC, el modelo aísla dinámicas de transición de baja dimensión, excluyendo características visuales redundantes codificadas en el HPC. Esto desacopla efectivamente "cómo" se mueve un objeto (estructura) de "qué" es el objeto (contenido).

4. Paradigma de Entrenamiento

El modelo se entrena de manera auto-supervisada utilizando únicamente secuencias de observación, sin etiquetas de acción explícitas. El entrenamiento procede en tres etapas:

1. Fase 1: Entrenamiento del flujo de inferencia visual y del proceso de decodificación para reconstruir incrustaciones de observación, imponiendo consistencia entre la entrada sensorial y las señales de auto-movimiento mediante pérdidas de alineación y regularización.
2. Fase 2: Entrenamiento del modelo inverso para inferir transiciones latentes y de las dinámicas de transición para predecir la siguiente incrustación de MEC.
3. Fase 3: Ajuste fino conjunto de todo el sistema para realizar generación autoregresiva utilizando integración de trayectoria, confiando únicamente en el estado inicial y la secuencia de transiciones latentes inferidas.

Contribuciones Clave

• Modelo del Mundo HPC-MEC Auto-supervisado: Los autores introducen un marco que infiere conjuntamente estructuras abstractas y aprende un modelo del mundo a partir de secuencias de video crudas sin requerir priores explícitos sobre las dinámicas.
• Análisis de la Abstracción de Estructuras: Utilizando dinámicas de transformación primitivas (rotación, traslación, escalado) como referencia, el artículo demuestra que el modelo desacopla exitosamente la apariencia de las dinámicas. Exhibe periodicidad y compartición de estructura intra-clase, donde las incrustaciones de MEC capturan características rotacionales compartidas entre diferentes instancias de objetos, mientras que las incrustaciones de HPC retienen la identidad específica del objeto.
• Generalización Estructural: El modelo demuestra la capacidad de extraer estructuras compartidas de dinámicas de transición similares y reutilizarlas flexiblemente a través de diversos entornos y categorías de objetos (transferencia cero-shot). Esto se logra integrando estructuras abstractas codificadas en la MEC con detalles de contenido almacenados en el HPC.

Resultados

El modelo se evaluó en el conjunto de datos Something-Something v2 (SSv2) para el entrenamiento y se probó en conjuntos de datos Fuera de Distribución (OOD), incluyendo transiciones de objetos 3D (COIL-100, MIRO, OmniObject3D) y entornos robóticos simulados (Franka Kitchen, Empuje de Bloques).

• Rendimiento de Predicción: El modelo logra predicciones robustas de un paso y autoregresivas. En tareas autoregresivas, la inclusión de retroalimentación visual mejora significativamente la calidad de la generación al corregir errores acumulados de integración de trayectoria.
• Abstracción Estructural: El análisis cuantitativo muestra que las incrustaciones de MEC ($g$) son más efectivas para capturar estructuras compartidas intra-clase que las incrustaciones de HPC ($p$). Un decodificador entrenado en incrustaciones de MEC logra una mayor precisión en la clasificación de categorías de objetos basadas en dinámicas compartidas en comparación con uno entrenado en incrustaciones de HPC.
• Decodificación de Transiciones: Las transiciones latentes ($z$) derivadas del modelo logran la mayor precisión (90.64%) en la decodificación de tipos de transición (rotación, traslación, escalado) en comparación con las transiciones de estado en los espacios HPC o MEC, lo que indica que $z$ captura estructuras altamente semánticamente significativas y libres de contenido.
• Generalización: El modelo transfiere exitosamente transiciones latentes desde un objeto fuente (por ejemplo, una manzana amarilla) a un objeto objetivo (por ejemplo, una manzana roja) o a una escena diferente, generando secuencias que se alinean con las dinámicas de la fuente mientras preservan el contenido del objetivo. Supera a las líneas base (LAPA, Moto, AdaWorld) en configuraciones OOD, particularmente en entornos naturalistas como Franka Kitchen, donde las líneas base a menudo fallan o degeneran en predicciones estáticas.
• Estudios de Ablación: Eliminar la separación jerárquica (espacio latente unificado) o las dinámicas CANN (reemplazándolas con una MLP estándar) degrada significativamente el rendimiento, confirmando que la arquitectura desacoplada y la integración de trayectoria basada en CANN son críticas para aislar dinámicas puras y permitir la generalización.

Significado y Afirmaciones

Este trabajo proporciona un marco computacional novedoso para comprender cómo el aprendizaje auto-supervisado inspirado en el cerebro de modelos del mundo facilita la adquisición de conocimiento abstracto reutilizable. Al imitar la separación funcional del HPC y la MEC, el modelo demuestra que las estructuras abstractas pueden extraerse efectivamente de secuencias de video del mundo real mientras se mantienen espacios latentes jerárquicos significativos.

Los autores afirman que su enfoque ofrece un mecanismo para la generalización estructural, permitiendo que los sistemas vinculen representaciones estructurales extraídas de manera flexible con nuevos contextos. Esta capacidad sugiere un camino hacia un aprendizaje por transferencia más robusto en la IA encarnada, donde los agentes pueden aprender dinámicas generalizables a partir de datos limitados y aplicarlos a objetos y entornos no vistos. El trabajo cierra la brecha entre los modelos teóricos de neurociencia de mapas cognitivos y las aplicaciones prácticas de aprendizaje profundo en la predicción de video y la extracción de acciones latentes.