Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

1. El Problema

El aprendizaje de robots para tareas de largo horizonte (tareas complejas que requieren múltiples etapas y planificación a largo plazo) sigue siendo un desafío formidable.

• Limitaciones de los enfoques actuales:
  • Políticas de extremo a extremo (End-to-End): Modelos como VLA (Visión-Lenguaje-Acción) carecen de priores estructurales necesarios para el razonamiento a largo plazo. Son "cajas negras", semánticamente opacas, requieren grandes cantidades de datos y luchan para escalar a tareas multi-etapa.
  • Métodos Neuro-Simbólicos Tradicionales: Aunque ofrecen interpretabilidad y planificación jerárquica, dependen en gran medida de priors simbólicos diseñados a mano (lógica temporal, predicados específicos de la tarea), lo que limita su adaptabilidad y requiere ingeniería manual intensiva.
• La pregunta central: ¿Cómo puede la estructura lógica de alto nivel (Sistema 2, razonamiento simbólico) emerger naturalmente del flujo perceptual de bajo nivel (Sistema 1, control reactivo) sin etiquetas ni ingeniería manual?

2. Metodología: ENAP (Emergent Neural Automaton Policy)

Los autores proponen ENAP, un marco de aprendizaje no supervisado que reconstruye un planificador de máquina de estados a nivel de tarea directamente a partir de demostraciones visuo-motoras. La arquitectura es bi-nivel:

A. Arquitectura General

El sistema combina un Automata de Mealy Probabilístico (PMM) discreto (Planificador de Alto Nivel / Sistema 2) con una red residual continua (Control de Bajo Nivel / Sistema 1).

• PMM (Sistema 2): Captura las fases globales de la tarea y las transiciones lógicas.
• Red Residual (Sistema 1): Aprende el control continuo preciso y las correcciones finas basándose en las observaciones actuales.

B. Proceso de Aprendizaje (Tres Etapas)

1. Abstracción de Símbolos Adaptativa:

   • Se utiliza un codificador (RNN o red neuronal) para mapear observaciones continuas (imágenes, posición) a un espacio de características.
   • Se emplea HDBSCAN (un algoritmo de clustering adaptativo) para descubrir automáticamente un alfabeto discreto $\Sigma$ (símbolos) a partir de los datos continuos, sin etiquetas.
   • Una RNN codifica el historial de trayectorias en embeddings fijos que representan los "modos latentes" de la tarea.

2. Extracción de Estructura (L Extendido):*

   • Se adapta el algoritmo clásico L* (Angluin) para aprender máquinas de estados finitos a partir de datos continuos y ruidosos, en lugar de secuencias simbolicas perfectas.
   • Consulta de Membresía (MQ) Auto-supervisada: En lugar de un oráculo, el algoritmo consulta la base de datos de demostraciones para agrupar embeddings históricos en nodos (estados) basándose en la similitud coseno.
   • Consulta de Equivalencia (EQ) No Determinista: Valida la hipótesis de la máquina de estados buscando si existen trayectorias válidas en los datos que coincidan con la estructura inferida. Si falla, se añaden contraejemplos para refinar la estructura.
   • Poda de Fases Estables: Se simplifican las transiciones redundantes para obtener una estructura compacta.

3. Aprendizaje Iterativo Residual (EM):

   • Se utiliza un paradigma de Expectación-Maximización (EM):
     • Paso E: Se extrae la estructura (PMM) basándose en las características actuales.
     • Paso M: Se optimiza la política residual y el codificador mediante Behavior Cloning (clonación de comportamiento), utilizando la estructura del PMM como prior de acción gruesa.
   • Esto permite que la estructura simbólica y la política de control co-evolucionen para maximizar el rendimiento.

C. Ejecución

Durante la inferencia, el PMM genera una prior de acción gruesa ($a_{base}$) basada en el estado actual y el símbolo de entrada. La red residual calcula una corrección ($\Delta a$) para producir la acción final precisa: $\hat{a} = a_{base} + \Delta a$. El sistema también maneja la recuperación de fallos mediante bucles en la máquina de estados (reintentar una acción si el estado no avanza).

3. Contribuciones Clave

1. Marco de Descubrimiento de Estructura Sin Etiquetas: ENAP elimina la necesidad de priores simbólicos diseñados a mano o etiquetas de tarea, descubriendo automáticamente máquinas de estados interpretables a partir de datos crudos.
2. Política Neuronal de Automata Emergente: Propone una representación híbrida que unifica el razonamiento discreto (donde los humanos son expertos) y el control continuo (donde los robots son expertos), logrando tanto alta interpretabilidad como composicionalidad.
3. Eficiencia de Muestra y Rendimiento Superior: Demuestra que la estructura explícita actúa como un sesgo inductivo fuerte, permitiendo un aprendizaje eficiente en regímenes de pocos datos.
4. Justificación Teórica: Proporciona una fundamentación basada en Procesos de Decisión de Markov Parcialmente Observables (POMDP), mostrando cómo la factorización de la distribución de transiciones reduce la complejidad de la aproximación de funciones.

4. Resultados Experimentales

Los autores evaluaron ENAP en tres dominios: manipulación compleja, planificación de largo horizonte (TAMP) y manipulación en el mundo real.

• Eficiencia en Datos Escasos: En tareas de manipulación compleja (ej. inserción de clavijas, apilamiento de cubos), ENAP supera a las políticas VLA de última generación (como OpenVLA y Diffusion Policy) en escenarios de bajos datos.
  • Mejora de hasta 27% en regímenes de datos limitados.
  • Logra un rendimiento competitivo con 39% menos de parámetros que los modelos VLA masivos.
• Tareas de Largo Horizonte (CALVIN): En tareas secuenciales y jerárquicas de hasta 5 etapas, ENAP (distilado de un modelo VLA pre-entrenado) superó a los modelos base en la tasa de éxito de completar sub-tareas (ej. 97% vs 91% en tareas secuenciales).
• Mundo Real: En tareas reales (apilar LEGO, colgar perchas), ENAP logró tasas de éxito significativamente superiores (ej. 88.24% vs 58.82% en apilamiento de LEGO) y una velocidad de inferencia mucho mayor (281 ms vs 6841 ms).
• Análisis Estructural:
  • Recuperación de Fallos: El sistema aprendió automáticamente a usar bucles de auto-transición para reintentar acciones cuando fallaba (ej. ajustar la alineación antes de insertar).
  • Ramificación Lógica: La máquina de estados descubrió nodos de decisión que separaban correctamente modos de tarea multimodales (ej. agarrar desde diferentes ubicaciones iniciales).

5. Significado e Impacto

El trabajo de ENAP representa un paso crucial hacia agentes robóticos generalistas e interpretables.

• Puente Cognitivo: Responde a la necesidad de una arquitectura jerárquica que imite la cognición humana (Sistema 1 y Sistema 2), superando las limitaciones de las redes monolíticas.
• Interpretabilidad: A diferencia de las políticas de caja negra, ENAP ofrece un mapa explícito de la lógica de decisión del agente, permitiendo a los humanos entender por qué el robot toma ciertas acciones y cómo se recupera de errores.
• Escalabilidad: Al aprender la estructura de los datos en lugar de depender de definiciones manuales, el marco es más adaptable a nuevas tareas y entornos, sugiriendo un camino viable para la evolución desde el razonamiento de extremo a extremo hacia arquitecturas cognitivas jerárquicas.

En resumen, ENAP demuestra que es posible extraer lógica simbólica de datos continuos ruidosos y utilizarla para guiar el control robótico, logrando un equilibrio óptimo entre la eficiencia de muestreo, la robustez y la transparencia.