🤖 AI

Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

Este artículo propone un marco de optimización de Calidad-Diversidad que descubre y mantiene un archivo diverso de políticas de planificación multimodales, permitiendo que los agentes corporizados cambien de estrategia de manera adaptativa al detectar estancamientos en la ejecución para mejorar el éxito y la eficiencia en tareas de largo alcance.

Autores originales: Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a navegar por una casa gigante y desordenada para encontrar objetos específicos y llevárselos a un amigo. Le das al robot un conjunto de instrucciones, como una receta, diciéndole cómo mirar alrededor, decidir qué hacer a continuación y mover sus brazos. Este es el mundo de la IA incorporada (embodied AI), donde los programas informáticos no solo piensan, sino que actúan dentro de un entorno físico o simulado. Por lo general, dependemos de los Modelos de Lenguaje Extensos (LLMs) —cerebros informáticos superinteligentes entrenados con toneladas de texto— para que actúen como el cerebro del robot. Estos modelos son excelentes para determinar qué hacer a continuación basándose en lo que ven y leen. Sin embargo, hay un inconveniente: si el robot se queda atrapado en un bucle, como abrir una puerta que ya está abierta o caminar en círculos, suele seguir haciendo exactamente lo mismo una y otra vez, esperando obtener un resultado diferente. Es como una persona que, al estar perdida, sigue caminando en la misma dirección porque es la única forma que conoce para moverse. La gran pregunta que los investigadores se plantean es: ¿cómo enseñamos a estos exploradores digitales a darse cuenta de cuándo su estrategia actual no está funcionando y a intentar una forma de pensar completamente diferente?

Este artículo, titulado "Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization", aborda exactamente ese problema. Los autores, un equipo de la Universidad de Información de Ciencia y Tecnología de Nanjing, sugieren que la solución no es hacer que el único "mejor" plan del robot sea más inteligente. En su lugar, proponen darle al robot una mochila llena de diferentes estrategias para elegir. Utilizan un método llamado optimización de Calidad-Diversidad (QD), que es como una búsqueda del tesoro para encontrar muchos tipos diferentes de comportamientos exitosos, no solo uno perfecto.

Así es como funciona su sistema, utilizando una analogía lúdica. Imagina que el robot es un excursionista que intenta cruzar una cadena montañosa para entregar un paquete. La mayoría de los robots son entrenados con un único estilo de senderismo: "Siempre camina cuesta arriba y busca el camino más empinado". Si el excursionista se topa con un acantilado o un pantano, podría seguir intentando escalar el acantilado o vadear el pantano, quedándose atrapado y desperdiciando energía. Este artículo sugiere que, en lugar de un solo estilo, deberíamos crear una biblioteca de estilos de senderismo. Algunos excursionistas podrían ser "exploradores" que revisan cada rincón; otros podrían ser "corredores directos" que corren hacia la meta; otros podrían ser "escaladores cuidadosos" que prueban cada paso.

Los investigadores construyeron un sistema de dos etapas para crear y usar esta biblioteca:

La Etapa Offline (Creación de la Biblioteca): Antes de que el robot emprenda una misión real, la computadora ejecuta miles de simulaciones. Toma una "receta" básica de cómo el robot debe pensar y comienza a mezclar y combinar diferentes partes de ella, como un científico loco intercambiando ingredientes en una receta de pastel. Algunas recetas hacen que el robot sea muy hablador y cauteloso (alta "intensidad de interacción"), mientras que otras lo hacen muy enfocado y rápido (alta "orientación a objetivos"). La computadora prueba todas estas recetas en un mundo simulado (específicamente, un entorno 3D llamado ThreeDWorld). No se queda solo con la mejor receta única; conserva la mejor receta para cada estilo diferente. Si un estilo "cauteloso" funciona bien en una situación específica, se guarda en un espacio especial en la biblioteca. Si un estilo "rápido" funciona bien en otra, también se guarda. Esto crea un archivo diverso de estrategias, cada una etiquetada con cómo se comporta.
La Etapa Online (La Misión Real): Ahora, el robot va a realizar una tarea real. Elige una estrategia de la biblioteca y comienza a moverse. El sistema tiene un "detector de estancamiento" integrado. Imagina a un entrenador observando al robot. Si el robot sigue haciendo lo mismo durante 10 pasos sin acercarse más a la meta (como caminar en círculos), el entrenador grita: "¡Alto! ¡Esa estrategia no está funcionando!". En lugar de dejar que el robot siga fallando, el sistema presiona un botón de rebobinado (un punto de control) para volver al último momento seguro. Luego, mira la biblioteca y elige una estrategia que sea completamente diferente de la que acaba de fallar. Si el robot estaba siendo demasiado cauteloso, el sistema podría cambiar a un estilo de "corredor directo". Esto permite al robot romper el bucle y probar un enfoque fresco de inmediato.

Los resultados de este enfoque fueron bastante prometedores. En pruebas donde el robot tenía que transportar objetos a través de una casa simulada, el equipo encontró que su método de "biblioteca" era mucho mejor que los robots que usan un solo estilo fijo u otros métodos comunes como ReAct o Tree-of-Thoughts. Específicamente, en la tarea "Food" (mover artículos de comida), su método tuvo éxito el 51% de las veces, comparado con el 33% de una línea base estándar. En la tarea "Stuff" (mover objetos generales), alcanzaron un 43% de éxito frente al 24% de la línea base. Incluso más impresionante, lograron esto utilizando menos "tokens" (una medida de cuánto tuvo que "pensar" y hablar la computadora) que algunos otros métodos avanzados.

El artículo también probó esta idea en un tipo diferente de tarea: un juego de navegación visual donde el robot tiene que seguir instrucciones de voz para caminar a través de una casa. Aunque el robot no estaba cargando objetos allí, solo caminando, el mismo truco de la "biblioteca" ayudó a que tuviera éxito más a menudo (mejorando del 35.2% al 37.3%). Esto sugiere que la idea de tener un conjunto diverso de estrategias es una forma general de ayudar a los robots a recuperarse cuando se quedan estancados.

Los autores advierten cuidadosamente que no "resolvieron" el problema de la inteligencia robótica para siempre. En cambio, sus experimentos sugieren que tener un conjunto diverso de estrategias preestablecidas es una forma poderosa de manejar la naturaleza desordenada e impredecible de las tareas del mundo real. Argumentan que la mayor debilidad de los robots actuales no es que no sean lo suficientemente inteligentes para pensar, sino que son demasiado tercos para cambiar de opinión cuando su plan actual deja de funcionar. Al darles un "maletín de herramientas" de diferentes formas de actuar, el robot puede adaptarse sobre la marcha, convirtiendo un posible fallo en una entrega exitosa.

Resumen Técnico: Descubrimiento de Políticas de Planificación Diversas para Agentes Multimodales Corpóreos mediante la Optimización de Calidad-Diversidad

Declaración del Problema
Los agentes corpóreos multimodales tienen cada vez más la tarea de resolver problemas de largo horizonte integrando observaciones visuales, objetivos textuales e historial de interacción. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) y los Modelos de Lenguaje y Visión de Gran Escala (MLLMs) demuestran una fuerte capacidad de razonamiento de disparo cero (zero-shot), su despliegue en entornos corpóreos de bucle cerrado enfrenta una limitación crítica: el bloqueo conductual (behavioral lock-in). Los planificadores de vanguardia suelen depender de un único estilo de planificación dominante. Cuando este modo de ejecución específico se vuelve ineficaz —manifestándose como bucles repetitivos o falta de progreso a pesar de la retroalimentación disponible— el agente tiende a quedarse estancado, interactuando repetidamente con el entorno sin lograr avances significativos. Los métodos existentes, como ReAct, Tree-of-Thoughts y Reflexion, mejoran el razonamiento y la toma de decisiones guiada por retroalimentación, pero típicamente refinan la estrategia actual en lugar de cambiar explícitamente a una alternativa conductualmente distinta cuando el modo actual falla.

Metodología
Los autores proponen un marco de Calidad-Diversidad (QD) diseñado para descubrir y utilizar un repertorio diverso de políticas de planificación. El marco opera en dos etapas estrechamente acopladas:

Construcción de Archivo Offline (Búsqueda QD):
- Parametrización de la Política: Las políticas de planificación se tratan como "plantillas" evolucionables que consisten en un andamiaje de tarea fijo y módulos de reglas editables que gobiernan la detección, la interpretación del progreso, el compromiso de la acción y la recuperación.
- Espacio de Comportamiento: Las políticas se mapean en un espacio de comportamiento 2D definido por la intensidad de interacción (proporción de acciones de recolección de información) y la orientación al objetivo (ratio de acciones de realización de progreso frente a las regresivas o repetitivas).
- Optimización: Utilizando un algoritmo MAP-Elites de estado estacionario, el sistema evoluciona una población de plantillas. Los descendientes se generan mediante la recombinación diferencial de reglas y la mutación guiada por la experiencia, donde los patrones de éxito refuerzan las estructuras de oraciones efectivas y los modos de fallo debilitan o reescriben las estructuras ineficaces.
- Archivo: Las políticas resultantes se almacenan en un archivo indexado por comportamiento, reteniendo la política de mayor calidad encontrada para cada nicho conductual (celda de la cuadrícula), asegurando un conjunto de estrategias complementarias en lugar de un único prompt óptimo.
Recuperación Adaptativa Online:
- Ejecución y Monitoreo: El agente ejecuta una política a la vez. Un detector de estancamiento monitorea el estado de progreso de la tarea; si el estado permanece sin cambios durante un umbral preestablecido ( $\delta_s$ ) de pasos, se declara un estancamiento.
- Puntos de Control (Checkpointing): El sistema mantiene puntos de control recuperables (estado del entorno, historial, progreso) en hitos estables.
- Cambio Consciente del Comportamiento: Al detectar un estancamiento, el agente retrocede al último punto de control y cambia a una nueva política del archivo. Crucialmente, la nueva política se selecciona basándose en la distancia conductual: el sistema elige la entrada del archivo más alejada de la política estancada actual en el espacio del descriptor de comportamiento. Esto asegura un cambio sustantivo en el estilo de ejecución en lugar de una variación menor.

Contribuciones Clave

Identificación del Bloqueo Conductual: Este trabajo identifica la dependencia de estilos de planificación estáticos como una fuente primaria de fragilidad en tareas multimodales de largo horizonte y formula la recuperación como un problema de adaptación a nivel de comportamiento.
Descubrimiento de Políticas Basado en Archivos: Introduce un marco que utiliza la búsqueda QD para construir un archivo explícito de plantillas de políticas de planificación conductualmente diversas, evitando el colapso de la búsqueda hacia un único estilo de prompt.
Mecanismo de Recuperación Adaptativa Online: El artículo desarrolla un mecanismo de recuperación online que combina el uso de puntos de control, la detección de estancamiento y el cambio de política consciente del comportamiento, demostrando que esta combinación mejora tanto la finalización de tareas como la eficiencia de la interacción.

Resultados Experimentales
El marco fue evaluado en el benchmark de transporte ThreeDWorld (TDW) (divisiones de Food y Stuff) y en un estudio piloto en el benchmark VLN-CE (Navegación de Visión y Lenguaje).

Rendimiento TDW-MAT: Bajo un presupuesto estricto de 2000 pasos, el método propuesto (usando GPT-4) logró una tasa de éxito total de 0.47, superando significativamente al fuerte baseline RHP (0.28) y al marco modular CoELA (0.39). También mostró mejoras en la eficiencia de tokens en comparación con CoELA.
Comparación con Baselines: El método superó a los baselines de planificación directa de LLM como ReAct (0.24), Reflexion (0.27) y Tree-of-Thoughts (0.15).
Transferencia entre Dominios: En el estudio piloto de VLN-CE, añadir el archivo QD y el mecanismo de cambio a una política de navegación congelada mejoró la tasa de éxito del 35.2% al 37.3% y redujo el error de navegación, lo que sugiere que el mecanismo se transfiere a dominios de navegación visual.
Estudios de Ablación: Eliminar el cambio online ("no OS") redujo el rendimiento a 0.31, y eliminar la selección de archivo consciente del comportamiento lo redujo a 0.41, confirmando que tanto la capacidad de cambiar como la estrategia para seleccionar la nueva política son esenciales.
Estudios de Caso: Las visualizaciones mostraron que, sin QD, los agentes se quedan atrapados en bucles de exploración repetitivos. Con QD, los agentes cambian con éxito a estrategias de "lo más cercano primero", completando más entregas dentro del mismo presupuesto de pasos.

Significancia y Reivindicaciones
El artículo argumenta que la robustez en la planificación corpórea de largo horizonte no proviene de hacer que una única política sea cada vez más elaborada, sino de preservar varias formas útiles de actuar y seleccionar entre ellas cuando el modo actual falla. Los autores afirman que el descubrimiento de repertorios de políticas diversas mediante QD es un mecanismo efectivo para la planificación multimodal adaptativa y la recuperación de fallos en línea. Los resultados sugieren que la diversidad conductual sirve como un recurso de recuperación práctico, permitiendo a los agentes escapar de bucles de interacción improductivos sin descartar el progreso logrado. El trabajo posiciona la diversidad conductual no solo como un objetivo de búsqueda offline, sino como un componente crítico para la resiliencia online en entornos multimodales.

Más como este