Resumen Técnico: Multi2 – Toma de Decisiones Multi-Agente Jerárquica con Agentes Basados en LLM

1. Planteamiento del Problema

El desafío central abordado por este trabajo es la fragilidad de los agentes de Modelos de Lenguaje Extensos (LLM) en entornos interactivos de largo horizonte. Aunque los agentes basados en LLM recientes demuestran un razonamiento contextual sólido, tienen dificultades con la interacción sostenida, sufriendo principalmente de deriva de objetivos (objective drift). A medida que las interacciones se extienden a lo largo de múltiples turnos, los agentes suelen desviarse de sus objetivos originales debido a la acumulación de pequeños errores de ejecución y al desalineamiento de su estado interno con la intención inicial.

Además, los enfoques existentes suelen depender de historiales de interacción cada vez más extensos para mantener el contexto, lo que conduce a una ineficiencia de tokens. Si bien se ha propuesto la descomposición jerárquica (dividir tareas en subobjetivos) para mitigar los fallos de planificación, los métodos actuales a menudo no logran garantizar una ejecución estable. Específicamente, el componente "ejecutor" en muchos sistemas jerárquicos no está entrenado explícitamente para corregir errores compuestos durante la interacción, dejando al sistema vulnerable a bucles, violaciones de restricciones y degradación del rendimiento a medida que los horizontes de la tarea se alargan.

2. Metodología: El Marco Multi2

Los autores proponen Multi2, un marco de toma de decisiones multi-agente jerárquico que desacopla explícitamente la descomposición de tareas (planificación) de la ejecución de acciones mediante la especialización de roles. El marco opera sobre dos sistemas distintos:

• Sistema 1 (Agente de Alto Nivel): Se centra en la generación de subobjetivos conscientes del contexto. Toma una descripción de la tarea y la observación actual como entrada y genera un subobjetivo. Este sistema es entrenado mediante Ajuste Fino Supervisado (SFT) para asegurar una planificación semántica consistente y estructurada.
• Sistema 2 (Agente de Bajo Nivel): Responsable de ejecutar acciones atómicas en el entorno dinámico para lograr el subobjetivo proporcionado por el Sistema 1. Este sistema es entrenado mediante un flujo de trabajo de Aprendizaje por Refuerzo (RL) de Offline-a-Online.

Flujo de Entrenamiento

El proceso de entrenamiento se divide en tres etapas para asegurar la estabilidad y la mejora continua:

1. Entrenamiento Offline (Sistema 1): El Sistema 1 se ajusta mediante clonación de comportamiento (SFT) utilizando un conjunto de datos de alto nivel ($D_{sys1}$) que contiene descripciones de tareas y secuencias de pares observación-subobjetivo. El objetivo es minimizar la pérdida de entropía cruzada para imitar subobjetivos expertos.
2. Entrenamiento Offline (Sistema 2): El Sistema 2 se inicializa mediante RL offline utilizando un conjunto de datos de bajo nivel ($D_{sys2}$) que contiene transiciones (observación, acción, recompensa, siguiente observación) condicionadas a subobjetivos. Los autores emplean una estructura de actor-crítico con un diseño de pérdida novedoso:
   • Entrenamiento del Crítico: Minimiza el error de Diferencia Temporal (TD) utilizando el aprendizaje de valor intra-distribución (ID) para estabilizar el entrenamiento.
   • Entrenamiento del Actor: Utiliza un término de ventaja anclado a la política. Este combina la imitación de acciones offline con un término de ventaja ponderado que fomenta acciones estimadas para generar mayores retornos, mitigando la sobre-imitación y los comportos de plantilla.
3. Entrenamiento Online (Auto-mejora del Sistema 2): Para permitir la adaptación continua, el Sistema 2 se somete a un refinamiento de RL online. Una nueva política ($\pi_{on}$) se actualiza utilizando un buffer de repetición que mezcla datos offline y nuevas trayectorias online. La función de pérdida incluye:
   • Un término de log-verosimilitud ponderado que refuerza las acciones de alta ventaja.
   • Un término de regularización de Kullback-Leibler (KL) que restringe la política online para que permanezca cerca de la política entrenada offline ($\pi_{off}$). Esto evita el colapso de modo y los cambios bruscos de política, asegurando una auto-mejora estable.

Arquitectura

Multi2 utiliza un backbone de LLM preentrenado compartido (por ejemplo, Qwen-2.5, Mistral, Llama-3.1) con Adaptación de Bajo Rango (LoRA). Crucialmente, el Sistema 1 y el Sistema 2 utilizan adaptadores LoRA separados, lo que permite una parametrización específica de cada rol sin actualizar el backbone completo.

3. Contribuciones Clave

1. Marco Multi2: Un marco jerárquico especializado por roles que desacopla la planificación de subobjetivos (Sistema 1) y la ejecución de acciones (Sistema 2) como problemas de optimización distintos, abordando la inestabilidad de la interacción de largo horizonte.
2. Objetivo de RL de Offline-a-Online Principiado: Un flujo de entrenamiento novedoso para el ejecutor (Sistema 2) que combina el aprendizaje offline anclado a la política con el refinamiento online regularizado por KL. Este diseño se alinea explícitamente con el rol del ejecutor para permitir una auto-mejora estable y eficiente en muestras.
3. Conjuntos de Datos de Benchmarking Jerárquicos: La publicación de tres conjuntos de datos jerárquicos bien estructurados para entrenar y evaluar agentes de LLM interactivos en múltiples entornos (ScienceWorld, ALFWorld, TextCraft), llenando el vacío en la disponibilidad de datos jerárquicos consistentes.
4. Validación Empírica: Demostración de que Multi2 supera consistentemente a las bases sólidas en rendimiento, eficiencia de tokens y robustez ante la deriva de objetivos.

4. Resultados Experimentales

El marco fue evaluado en ScienceWorld, ALFWorld y TextCraft utilizando varios modelos de backbone (Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B).

• Rendimiento: Multi2 alcanzó las tasas de éxito más altas en la mayoría de los backbones y divisiones de evaluación (In-Distribution y Out-of-Distribution). Por ejemplo, en la división ID de ScienceWorld con Llama-3.1 8B, Multi2 logró una tasa de éxito del 67.61% comparado con el 60.48% de la base jerárquica Glider y el 23.23% de ReAct basado en prompts.
• Robustez ante la Deriva de Objetivos: Multi2 demostró un rendimiento superior en tareas difíciles que requieren horizontes más largos. Mientras que los agentes basados en prompts se degradaron drásticamente con la dificultad de la tarea, y otros baselines ajustados mostraron caídas de tareas medias a duras, Multi2 mantuvo un rendimiento constante, indicando una mitigación efectiva de la deriva de objetivos.
• Eficiencia de Tokens: Multi2 fue significativamente más eficiente en tokens que los baselines. Al utilizar una invocación jerárquica bajo demanda y la generación de acciones ajustada por RL, logró un mayor rendimiento con menos tokens de inferencia en comparación con los métodos basados en prompts que dependen de ventanas de contexto largas y demostraciones de contexto interno.
• Estudios de Ablación:
  • Especialización de Roles: Intercambiar los paradigmas de entrenamiento (entrenar el Sistema 1 con RL y el Sistema 2 con SFT) resultó en el peor rendimiento, confirmando la necesidad de SFT para la planificación y RL para la ejecución.
  • Arquitectura: La estructura jerárquica con adaptadores específicos de rol superó a los baselines de modelo único y de adaptador compartido.
  • Diseño de Pérdida: La pérdida offline anclada a la política y la pérdida online regularizada por KL propuestas fueron críticas para reducir la varianza y prevenir fallos de bajo rendimiento en comparación con las variantes vanilla de IQL o AWAC.

5. Significado y Reivindicaciones

El artículo afirma que Multi2 proporciona una solución fiable y eficiente para construir agentes basados en LLM interactivos capaces de resolver tareas de largo horizonte. Su importancia radica en:

• Abordar Limitaciones Fundamentales: Va más allá de la simple descomposición jerárquica al entrenar explícitamente la capa de ejecución para corregir errores compuestos, un vacío identificado en trabajos previos como Glider.
• Estabilidad en la Interacción: La combinación de SFT para la preservación de la intención y RL regularizado por KL para el refinamiento de la ejecución ofrece un mecanismo principiado para la coordinación estable durante interacciones extendidas.
• Eficiencia de Recursos: El marco logra un rendimiento de vanguardia mientras reduce el consumo de tokens, lo que lo hace más práctico para el despliegue en el mundo real.
• Recurso para la Comunidad: Al liberar los conjuntos de datos jerárquicos y el código, los autores buscan facilitar la adopción generalizada y la comparación justa en el desarrollo de la toma de decisiones jerárquica para agentes de LLM.

Los autores posicionan este trabajo como un paso hacia una IA agéntica que pueda mantener la intención y adaptarse eficazmente en entornos dinámicos, contribuyendo a algoritmos de aprendizaje más efectivos para sistemas interactivos.