💻 computer science

EMERGE-Policy: A Robot Mind Emerges Beyond a Single Policy

EMERGE-Policy introduce un marco agéntico de estructura de grafo donde un Agente Principal central coordina Sub Agentes especializados para la percepción, el razonamiento y la verificación dentro de contextos aislados, permitiendo un rendimiento robótico robusto y sin necesidad de ajuste fino mediante la colaboración emergente a nivel de sistema y la corrección de bucle cerrado.

Autores originales: Zhirui Fang, Qingchi Yu, Ziyang Chen, Longfei Li, Haoran Ma, Keru Zhou, Xinrun Xu, Samith Va, Yuxuan Hu, Peixuan Song, Qiang Du, Bin Qian, Yongkang Deng, Xin Li, Yezhen Wang, Zhe Li, Hao Luo, Shuyan L

Publicado 2026-09-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhirui Fang, Qingchi Yu, Ziyang Chen, Longfei Li, Haoran Ma, Keru Zhou, Xinrun Xu, Samith Va, Yuxuan Hu, Peixuan Song, Qiang Du, Bin Qian, Yongkang Deng, Xin Li, Yezhen Wang, Zhe Li, Hao Luo, Shuyan Li, Ziwei Wang, Weijian Deng, Xiu Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots han sido durante mucho tiempo expertos en repetir un único movimiento perfecto, como un soldador en una línea de montaje o un brazo que apila cajas idénticas. Pero dotar a un robot de una mente capaz de manejar un mundo real desordenado e impredecible ha resultado ser mucho más difícil. Durante décadas, los investigadores intentaron resolver esto construyendo un único y masivo programa informático —un "cerebro"— que pudiera ver un objeto, comprender una orden y mover el brazo, todo a la vez. Aunque estos sistemas se han vuelto impresionantes, a menudo tropiezan cuando algo sale mal. Si una taza se resbala o la luz cambia, el cerebro único puede confundirse porque intenta hacer todo en un solo salto gigante. El nuevo pensamiento en robótica sugiere que la inteligencia podría no necesitar vivir en un solo lugar. En cambio, la mente de un robot podría emerger de un equipo de ayudantes especializados trabajando juntos, donde una parte observa, otra planifica, una tercera verifica el trabajo y una cuarta recuerda lo sucedido. Este enfoque trata al robot no como una entidad única, sino como un grupo coordinado, permitiéndole recuperarse de los errores y adaptarse a los cambios de formas en las que un programa único no puede hacerlo.

Esta es la idea central detrás de un nuevo marco llamado EMERGE-Policy, desarrollado por investigadores de varias universidades, incluyendo la Universidad de Tsinghua y la Universidad de Pekín. En lugar de depender de un único modelo gigante para hacerlo todo, los investigadores construyeron un sistema donde un "Agente Principal" actúa como un gerente de proyecto. Este gerente no observa la señal de video bruta ni calcula cada movimiento del motor por sí mismo. En su lugar, descompone una tarea compleja, como "apila estas tazas en una pirámide", en pasos más pequeños. Luego delega trabajos específicos a "Sub Agentes" especializados. Un equipo de ayudantes se enfoca puramente en ver la escena y encontrar las tazas. Otro equipo vigila el brazo del robot para asegurarse de que se esté moviendo correctamente. Un tercer equipo comprueba si la taza es realmente estable después de ser colocada. Si algo sale mal, un cuarto equipo ayuda al robot a recordar el fallo y a intentar un enfoque diferente. El Agente Principal coordina estos grupos, recibiendo solo la información esencial y resumida que necesita para tomar la siguiente decisión, mientras que el trabajo pesado de procesar los datos brutos ocurre en segundo plano.

Los investigadores probaron este sistema en una serie de pruebas desafiantes, incluyendo tareas donde el robot tenía que manipular objetos sobre una mesa bajo condiciones difíciles. Compararon este enfoque basado en equipos contra los mejores modelos de programa único disponibles actualmente. Los resultados mostraron que el equipo coordinado superó significamente a los modelos únicos, especialmente cuando el entorno cambiaba o cuando las instrucciones eran vagas. En las pruebas estándar, el sistema alcanzó tasas de éxito cercanas al 99 por ciento, una mejora pequeña pero significativa sobre los mejores modelos únicos. Más importante aún, cuando los investigadores introdujeron perturbaciones —como cambiar la iluminación, alterar el tamaño de las tazas o bloquear la vista del robot— el sistema basado en equipos se mantuvo robusto. Mientras que los modelos únicos a menudo fallaban por completo bajo estas nuevas condiciones, el sistema EMERGE-Policy fue capaz de detectar el problema, diagnosticar la cuestión y ajustar su plan para tener éxito. En una prueba específica que involucraba a un robot real apilando tazas de papel en una pirámide de tres niveles, el sistema tuvo éxito en el 94 por ciento de los ensayos, incluso cuando las tazas eran de diferentes tamaños o los ángulos de la cámara cambiaban.

Una parte clave de este éxito es cómo el sistema maneja la memoria y los errores. En lugar de intentar recordar cada fotograma de video, lo que abrumaría a la computadora, el sistema escribe un resumen conciso de lo que sucedió en un registro digital. Si el robot deja caer una taza, el sistema no solo intenta de nuevo ciegamente. Analiza por qué ocurrió la caída, escribe una nota sobre el fallo y crea un plan específico para solucionar solo esa parte del problema antes de continuar. Esto permite que el robot se recupere de los errores localmente sin tener que reiniciar toda la tarea. Los investigadores también descubrieron que darle al sistema un "avance" de lo que podría pasar después le ayudó a evitar errores antes de que ocurrieran. Al simular algunos movimientos posibles en su mente y comprobar cuál parecía mejor, el robot podía elegir el camino más seguro. Este paso de "imaginación", combinado con un proceso de verificación estricto, significó que el robot era menos propenso a cometer errores irreversibles.

Los experimentos no se limitaron a simulaciones por computadora. El equipo desplegó el sistema en un brazo robótico físico para realizar una secuencia larga de tareas: quitar tazas de papel de una mesa, colocarlas boca abajo y apilarlas en capas. Esta prueba en el mundo real demostó que el marco podía manejar la imprevisibilidad de los objetos físicos, tales como tazas que podrían tambalearse o deslizarse. El sistema completó la tarea con éxito el 94 por ciento de las veces, e incluso cuando los investigadores interrumpieron el proceso o cambiaron la iluminación, el robot fue capaz de replanificar y terminar el trabajo. El estudio sugiere que el futuro de la inteligencia robótica puede no residir en construir un cerebro único más grande y más inteligente, sino en crear una mejor manera para que muchas herramientas más pequeñas y especializadas trabajen juntas. Al organizar estas herramientas en una jerarquía clara donde cada una tiene un trabajo específico y una forma clara de informar, los investigadores han creado un sistema que no solo es más preciso, sino también más resiliente al caos del mundo real.

Resumen Técnico: EMERGE-Policy

Declaración del Problema

El artículo aborda una limitación fundamental en la IA incorporada actual: la suposición de que la "mente" de un robot debe residir dentro de una política o modelo de razonamiento único y monolítico. Aunque los modelos de Visión-Lenguaje-Acción (VLA) y los Modelos de Mundo-Acción (WAMs) han avanzado significativamente, a menudo tienen dificultades con tareas de largo horizonte que requieren una descomposición compleja, verificación de resultados y recuperación de fallos de ejecución. Los marcos de orquestación existentes (por ejemplo, Code as Policies, sistemas basados en Harness) suelen pasar evidencia densa y no estructurada de la percepción y la ejecución directamente a un planificador de alto nivel. Este enfoque abruma la ventana de contexto del planificador con datos irrelevantes, oscurece la procedencia de la información relevante para la decisión y carece de mecanismos explícitos para la recuperación localizada y la consolidación del estado. El desafío central es coordinar capacidades especializadas (percepción, predicción, control, verificación) mientras se controla estrictamente la carga de información presentada al decisor de alto nivel en cada paso.

Metodología: EMERGE-Policy

Los autores proponen EMERGE-Policy, un marco de agentes estructurado en forma de grafo donde el comportamiento coherente emerge de la interacción coordinada de componentes especializados en lugar de un único modelo. El sistema se organiza en torno a tres pilares arquitectónicos primarios:

1. Orquestación Jerárquica de Agentes

Agente Principal: Actúa como el núcleo de orquestación, manteniendo una Ventana de Contexto Activa ( $C_t$ ) compacta. Contiene la instrucción de la tarea, el subobjetivo actual, el estado del plan, el estado de recuperación y la memoria relevante. No procesa observaciones puras ni trazas de ejecución completas. En su lugar, descompone las instrucciones en subobjetivos definidos por un objetivo, un cambio de estado y un criterio de finalización ( $g_i = \langle Objetivo, Cambio, Criterio \rangle$ ).
Sub Agentes: Agentes con roles específicos (Percepción, Verificación, Monitor) operan en contextos aislados. Procesan tareas densas e intensivas en evidencia (por ejemplo, localización de objetos, detección de anomalías) y devuelven únicamente evidencia estructurada y relevante para la tarea al Agente Principal. Esta separación evita que el contexto del Agente Principal se contamine con trazas de procesamiento de bajo nivel.
Pila de Ramas para Recuperación (Branch Stack Recovery): Cuando un subobjetivo falla la verificación, el Agente Principal genera un diagnóstico textual y añade un subobjetivo de recuperación localizado a una Pila de Ramas (Branch Stack). Los intentos de ejecución buscan resolver esta pila antes de recurrir a un replanificación global, lo que permite una corrección eficiente y localizada.

2. Interfaz de Habilidades Unificada

El marco abstrae backends heterogéneos (políticas VLA, modelos de mundo, controladores analíticos) en una interfaz funcional de Habilidad (Skill), categorizada según su rol en el bucle de decisión:

Habilidades Operativas: Ejecutan acciones (por ejemplo, políticas de movimiento VLA, primitivas de trayectoria).
Habilidades de Imaginación: Predicen resultados futuros o estados latentes sin ejecución física (por ejemplo, Modelos de Mundo).
Habilidades de Evaluación: Evalúan la viabilidad, el progreso o la satisfacción de los criterios (por ejemplo, modelos de visión-lenguaje, comprobaciones geométricas).
Esta abstracción funcional permite que diferentes modelos de backend se compongan dentro del mismo bucle cerrado sin requerir arquitecturas internas idénticas.

3. Gestión de Memoria y Estado Sensible a Tokens

Para manejar tareas de largo horizonte, EMERGE-Policy utiliza una arquitectura de memoria de múltiples capas:

Archivos Persistentes: PLAN.md (secuencia de subobjetivos y estado), HISTORY.md (resumen cronológico) y MEMORY.md (estado de creencia consolidado) almacenan el estado de la tarea externamente.
Contexto Dinámico: El contexto activo del Agente Principal se reconstruye recuperando hechos relevantes de estos archivos y evidencia estructurada reciente de los Sub Agentes, asegurando que el presupuesto de tokens se utilice de manera eficiente.
Verificación Visual: Un Sub Agente Monitor dedicado verifica asíncronamente los resultados físicos frente a los criterios, proporcionando juicios binarios y explicaciones textuales para actualizar el estado de creencia del Agente Principal.

Contribuciones Clave

Marco de Agentes Estructurado en Grafo: La introducción de EMERSE-Policy, que cambia el paradigma de una política única a un sistema coordinado donde el comportamiento emerge de la interacción de un Agente Principal, Sub Agentes de roles específicos y una biblioteca de Habilidades unificada.
Definición de Interfaces y Habilidades Expandidas: El artículo redefine las "habilidades" para incluir VLA, Modelos de Mundo y Verificadores como unidades funcionales invocables. Establece límites de información explícitos donde los Sub Agentes devuelven evidencia estructurada en lugar de historiales brutos, y define un esquema estandarizado para la invocación de Habilidades ( $\langle I_{meta}, \Theta_{param}, \Phi_{pre}, \Psi_{post} \rangle$ ).
Mejoras de Rendimiento a Nivel de Sistema: Los autores demuestran que esta estrategia de orquestación produce mejoras significativas sobre los backends de ejecución subyacentes, particularmente en robustez y manejo de memoria, sin requerir un ajuste fino (fine-tuning) adicional de los modelos base.

Resultados Experimentales

El marco fue evaluado en entornos de referencia estándar y perturbados (LIBERO, LIBERO-Plus, LIBERO-Pro, RoboDojo) y desplegado en un robot físico para una tarea de apilamiento de tazas de varios pasos.

Rendimiento en Benchmarks (LIBERO):
- Utilizando el backend Cosmos Policy, EMERGE-Policy logró un éxito promedio del 99.2% en LIBERO estándar (frente al 98.5% del backend solo) y un 93.9% en LIBERO-Plus (frente al 82.2% del backend).
- Utilizando el backend $\pi0.5$ , logró un 98.8% en LIBERO estándar (frente al 96.8% del backend) y un 88.3% en LIBERO-Plus (frente al 85.7% del backend).
- En LIBERO-Pro (instrucciones implícitas), el sistema mostró ganancias masivas, por ejemplo, mejorando el éxito en la suite Spat-S del 20.0% ( $\pi0.5$ ) al 95.7%.
RoboDojo (Memoria y Entornos Abiertos):
- El sistema alcanzó una tasa de éxito del 25.00% en la dimensión de "Memoria", superando significativamente a los baselines como $\pi0.5$ (5.78%) y X-VLA (4.76%), demostiendo un razonamiento no markoviano y una codificación histórica fuertes.
Despliegue en Robot Real:
- En una tarea de "Apilamiento de Tazas Multicapa", el sistema logró una tasa de éxito del 99% bajo condiciones estándar.
- Mantuvo la robustez bajo perturbaciones: 86% de éxito tras una interrupción de la ejecución, 92% con variaciones en el tamaño de la taza, y 93-94% con cambios de iluminación/color.
Eficiencia: La incorporación de priors específicos de la tarea redujo los pasos de planificación en un 24.7% y el tiempo de ejecución (wall-clock time) en un 16.3% por episodio, manteniendo tasas de éxito comparables.

Significado y Reivindicaciones

El artículo afirma que EMERGE-Policy demuestra que la "mente" efectiva de un robot no tiene por qué limitarse a una sola política. En su lugar, la inteligencia emerge a través de la división de subtareas funcionales entre múltiples agentes y su colaboración concurrente.

Los autores enfatizan que el éxito del sistema se debe a:

Orquestación Estructurada: Separar explícitamente la percepción, la ejecución, la verificación y la memoria en contextos aislados evita la sobrecarga de información en el planificador de alto nivel.
Recuperación Localizada: El mecanismo de Pila de Ramas permite un diagnóstico y recuperación eficientes basados en texto sin descartar todo el plan.
Modularidad: Al tratar los modelos (VLA, Modelos de Mundo) como "Habilidades" intercambiables, el marco puede aprovechar las fortalezas de backends heterogéneos dentro de un único protocolo de bucle cerrado.

Los autores señalan modestamente que, aunque los resultados a nivel de sistema son prometedores, la contribución específica de cada componente arquitectónico (por ejemplo, el aislamiento de contexto frente al aumento del presupuesto de interacción) requiere estudios de ablación emparejados adicionales. Concluyen que este marco extiende las políticas robóticas robustas más allá de ejecuciones aisladas, permitiendo un rendimiento fiable en entornos complejos, de largo horizonte y perturbados.