Resumen Técnico: Recuerda ser Curioso

Enunciado del Problema

La exploración es un prerrequisito fundamental para aprender comportamientos útiles en tareas de recompensa dispersa y horizonte largo dentro de entornos 3D. Si bien el aprendizaje por refuerzo (RL) impulsado por la curiosidad ofrece un mecanismo para generar recompensas intrínsecas basadas en errores de predicción, escalar esto a entornos complejos y fotorrealistas ha demostrado ser difícil. Los enfoques existentes a menudo sufren de una exploración "amnéstica", donde los agentes quedan atrapados en bucles locales. Esto ocurre porque:

1. Falta de Contexto Episódico: Sin un historial de observaciones pasadas, los agentes vuelven repetidamente a los mismos lugares, recibiendo recompensas de novedad "frescas" por estados que ya han olvidado.
2. Falta de Persistencia Espacial: Los modelos del mundo aprendidos estándar (por ejemplo, módulos de dinámica inversa/forward) a menudo actúan como priores estadísticos sobre la experiencia en lugar de registros persistentes. En consecuencia, no logran mantener la consistencia de la escena, generando errores de predicción espurios en áreas revisitadas y proporcionando señales de novedad falsas.

El desafío central es permitir que los agentes impulsados por la curiosidad naveguen por escenas 3D fotorrealistas utilizando únicamente entradas visuales (RGB) durante la implementación, sin depender de mapas geométricos explícitos o sensores de profundidad, evitando al mismo tiempo comportamientos repetitivos.

Metodología

El artículo propone un marco de extremo a extremo, Recuerda ser Curioso, que acopla un modelo del mundo persistente con un agente episódico.

1. Modelo Forward 3D Persistente (Modelo del Mundo)

Para proporcionar una señal de curiosidad fiable, los autores utilizan un modelo 3D Gaussian Splatting (3DGS) en línea como proxy para el modelo forward del mundo.

• Mecanismo: El modelo ingiere un flujo de observaciones privilegiadas durante el entrenamiento (RGB, profundidad, poses de la cámara) para construir una representación 3D persistente ($G_t$) de la escena.
• Recompensa de Curiosidad: En cada paso, el modelo renderiza una predicción de la siguiente observación ($\hat{o}_{t+1}$) basada en el estado actual del 3DGS y la acción del agente. La recompensa de curiosidad ($r^{cur}_t$) se deriva del error de predicción visual entre la vista renderizada y la observación real ($o_{t+1}$).
• Persistencia: A diferencia de los modelos forward neuronales estándar, el 3DGS mantiene un registro continuo y actualizado del entorno. Esto asegura que los errores de predicción surjan solo de regiones genuinamente novedosas, y no de que el modelo "olvide" estados visitados previamente.
• Formulación de la Recompensa: El error se filtra con un filtro paso bajo y se submuestrea para centrarse en la novedad estructural significativa en lugar del ruido de alta frecuencia. Se emite una recompensa binaria: $r_{new}$ para vistas no explicadas y una pequeña penalización $r_{old}$ para vistas ya explicadas por el modelo.

2. Arquitectura del Agente Episódico

El agente es una política basada en transformadores que opera puramente sobre una secuencia de observaciones y acciones RGB, manteniendo una memoria episódica interna sin mapeo geométrico explícito.

• Procesamiento de Entrada: Cada fotograma RGB de un paso de tiempo se empareja con la acción precedente (codificada como una imagen de rayo Plücker). Estos son procesados por un codificador de imágenes y enriquecidos con características DINOv2.
• Mecanismo de Memoria: El agente emplea una arquitectura de atención híbrida:
  • Atención Causal de Ventana Deslizante: Procesa el contexto temporal local de manera eficiente.
  • Memoria de Atención Lineal Global: Inspirada en las arquitecturas TTT y LoGeR, este módulo mantiene un estado oculto en ejecución ($h_t$) que permite que la información se propague a través de todo el episodio, habilitando la planificación de horizonte largo (por ejemplo, retroceder para encontrar nuevas ramas).
• Entrenamiento: La política se entrena mediante PPO utilizando la recompensa de curiosidad como la única señal. Para evitar el colapso en comportamientos repetitivos cuando las recompensas se vuelven dispersas, la ejecución de entrenamiento incluye una mezcla de la política aprendida y una política aleatoria uniforme (programada del 20% al 0% durante el entrenamiento), junto con la regularización de entropía.

3. Implementación

En el momento de la prueba, el agente actúa únicamente sobre el flujo de fotogramas RGB. El modelo forward 3DGS no se utiliza durante la implementación; el agente depende enteramente de su representación interna aprendida del contexto episódico para navegar.

Contribuciones Clave

1. Requisito Dual para la Curiosidad: El artículo demuestra que la curiosidad efectiva en entornos 3D fotorrealistas requiere tanto un modelo del mundo persistente (para evitar la novedad falsa de estados olvidados) como un agente episódico (para planificar hacia regiones novedosas utilizando el contexto histórico).
2. Política de RGB Solo de Extremo a Extremo: El agente propuesto no requiere mapas geométricos explícitos, sensores de profundidad o módulos de localización durante la implementación. Aprende a navegar por escenas 3D complejas puramente a partir de entradas visuales.
3. 3DGS Persistente como Proxy: El trabajo utiliza 3D Gaussian Splatting en línea para proporcionar la persistencia espacial necesaria para las señales de curiosidad, abordando las limitaciones de los modelos forward aprendidos estándar que sufren de olvido espacial.
4. Comportamientos de Horizonte Largo Emergentes: El agente aprende a atravesar regiones ya vistas (retroceder) para descubrir "ramas" no vistas del entorno, un comportamiento típicamente difícil de aprender en entornos de recompensa dispersa sin selección de objetivos jerárquica o aprendizaje por imitación.

Resultados Experimentales

El agente fue entrenado puramente con curiosidad utilizando el conjunto de datos Habitat Matterport 3D (HM3D).

• Rendimiento de Exploración: En los conjuntos de datos HM3D y Gibson, el agente supera a las líneas base de mapeo activo basadas en RL de última generación (ANS, OccAnt) en términos de completitud de la escena 3D y distancia promedio a puntos no observados. Logra una mayor cobertura más rápido mientras requiere solo entrada RGB, whereas las líneas base a menudo dependen de profundidad de verdad fundamental o mapas explícitos.
• Estudios de Ablación:
  • Modelo del Mundo: Eliminar la persistencia (usando memoria a corto plazo o ICM estándar) hace que el agente colapse en bucles locales o quede atrapado.
  • Memoria del Agente: Reducir la ventana de contexto del agente o usar RNNs degrada el rendimiento. La memoria asimétrica (solo el crítico tiene contexto) tiene un rendimiento peor que la memoria episódica completa, confirmando la necesidad de que la política retenga el historial.
• Adaptación Aguas Abajo: El agente preentrenado se ajustó finamente durante unos pocos episodios en tareas aguas abajo de recompensa dispersa:
  • Recolección de Manzanas: Superó a los agentes entrenados desde cero, particularmente en escenarios con recompensas muy dispersas (menos manzanas).
  • Navegación con Objetivo de Imagen: Redirigió con éxito sus capacidades generales de exploración para alcanzar puntos de vista específicos, superando a las líneas base entrenadas desde cero.
• Generalización Zero-Shot: El agente se generalizó a mundos 3D generados por IA fuera de distribución (Hobbit World, Spaceship) sin entrenamiento adicional, navegando por pasillos y evitando colisiones a pesar de las diferencias en los pipelines de renderizado y la estética.

Significado y Afirmaciones

El artículo afirma que acoplar un modelo persistente del mundo con un agente episódico proporciona una vía práctica para escalar la exploración impulsada por la curiosidad a entornos 3D complejos y fotorrealistas.

• Afirmaciones Modestas sobre Modelos del Mundo: Los autores reconocen que su uso de 3DGS es un proxy para un modelo del mundo "libre de dinámica", confinando al agente a escenas estáticas. Plantean que a medida que maduran los modelos generativos de video condicionados por la acción, eventualmente podrían reemplazar al 3DGS, siempre que puedan lograr una persistencia espacial similar y una actualización en línea de bucle cerrado.
• Perspectiva para Trabajo Futuro: El estudio sirve como guía para futuros modelos del mundo, enfatizando que la persistencia espacial y la capacidad de actualizar continuamente las representaciones internas son estrictamente necesarias para una motivación intrínseca fiable.
• Generalización: El trabajo demuestra que la exploración impulsada por la curiosidad, cuando se basa en memoria persistente, puede producir agentes que no solo son exploradores efectivos, sino también altamente adaptables a diversas tareas aguas abajo sin necesidad de mapeo explícito o arranque mediante aprendizaje por imitación.