Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

Resumen Técnico: COS-PLAY

1. Problema y Motivación

Los entornos interactivos de largo horizonte (como videojuegos complejos) requieren que los agentes realicen razonamiento multi-paso, encadenen múltiples habilidades a lo largo de muchos pasos de tiempo y tomen decisiones robustas bajo recompensas retardadas y observabilidad parcial.

Aunque los Modelos de Lenguaje Grande (LLM) son prometedores como agentes de juego, enfrentan dificultades críticas:

• Falta de consistencia a largo plazo: Tienden a perder el hilo de la estrategia en episodios largos.
• Ausencia de mecanismos de habilidades estructuradas: No tienen una forma inherente de descubrir, retener y reutilizar habilidades estructuradas entre episodios.
• Dependencia de datos curados: Muchos agentes existentes dependen de demostraciones humanas o entrenamiento prolongado con retroalimentación externa, en lugar de aprender directamente de la interacción.

El desafío central es cómo organizar, refinar y recuperar habilidades de manera que el agente pueda reutilizarlas confiablemente en tareas futuras, manteniendo una relación simbiótica entre la toma de decisiones y el aprendizaje de habilidades.

2. Metodología: COS-PLAY

Los autores proponen COS-PLAY, un marco de co-evolución multi-agente que cierra el ciclo entre la toma de decisiones y el aprendizaje de habilidades. El sistema consta de dos componentes principales que se mejoran mutuamente:

A. Agente de Decisión (Decision Agent)

• Basado en un LLM, interactúa con el entorno mediante acciones primitivas.
• Mantiene un estado de intención y una habilidad activa.
• Flujo de operación:
  1. Recupera habilidades candidatas de un "Banco de Habilidades" (Skill Bank) basado en el estado actual y la intención.
  2. Actualiza su intención estratégica condicionada a la habilidad seleccionada.
  3. Ejecuta una acción primitiva guiada por el plan de la habilidad.
• Utiliza Optimización de Políticas Relativas Grupales (GRPO) para aprender a recuperar habilidades efectivas y ejecutar acciones, maximizando la recompensa acumulada.

B. Agente del Banco de Habilidades (Skill Bank Agent)

• Un pipeline basado en LLM que realiza descubrimiento de habilidades no supervisado a partir de las trayectorias (rollouts) del agente de decisión.
• Proceso de 4 etapas:
  1. Propuesta de Límites (Boundary Proposal): Identifica puntos de transición de habilidades en la trayectoria usando señales locales (cambios de predicados, picos de recompensa, cambios de intención).
  2. Inferencia de Segmentación: Clasifica los segmentos de trayectoria como habilidades existentes o nuevas.
  3. Aprendizaje de Contratos (Contract Learning): Agrega efectos de estado (predicados añadidos/eliminados) a través de múltiples instancias para aprender un "contrato" robusto (qué cambios de estado produce la habilidad).
  4. Mantenimiento del Banco: Realiza operaciones de refinamiento, materialización de nuevas habilidades, fusión (merge) de duplicados, división (split) de habilidades demasiado amplias y retiro (retire) de habilidades obsoletas.

C. Mecanismo de Co-evolución

• El sistema opera en un bucle cerrado: el Agente de Decisión genera trayectorias usando el banco actual; el Agente del Banco analiza estas trayectorias para refinar y expandir el banco.
• Se utilizan adaptadores LoRA separados para cada función (recuperación de habilidades, toma de acciones, segmentación, aprendizaje de contratos, curación) para evitar interferencias durante el entrenamiento.
• La co-evolución asegura que las habilidades sean siempre relevantes para la política actual de decisión y viceversa.

3. Contribuciones Clave

1. Marco de Co-evolución Unificado: Es uno de los primeros marcos que acopla la toma de decisiones basada en LLM con un pipeline de banco de habilidades para el descubrimiento no supervisado y el refinamiento continuo en un solo bucle.
2. Descubrimiento de Habilidades No Supervisado: El sistema extrae habilidades reutilizables directamente de trayectorias sin etiquetas, aprendiendo contratos de efectos que generalizan entre episodios.
3. Eficiencia de Datos y Adaptabilidad: Logra un alto rendimiento con muy pocas iteraciones de adaptación (few-shot), superando la necesidad de miles de pasos de entrenamiento típicos en agentes de RL tradicionales.
4. Evaluación Exhaustiva: Validación en seis entornos de juego diversos, desde puzzles de un jugador hasta juegos de razonamiento social multi-jugador.

4. Resultados Experimentales

El modelo se evaluó utilizando una base Qwen3-8B (8 mil millones de parámetros) frente a modelos de vanguardia (GPT-5.4, Gemini-3.1-Pro, Claude-4.6, GPT-OSS-120B).

• Juegos de Un Jugador (2048, Tetris, Candy Crush, Super Mario Bros.):
  • COS-PLAY logró una mejora promedio del 25.1% en la recompensa total frente a GPT-5.4.
  • Superó a todos los modelos base y baselines de RL, demostrando que un modelo pequeño con un banco de habilidades estructurado puede superar a modelos masivos sin estructura.
• Juegos Multi-Jugador (Avalon, Diplomacy):
  • En Avalon, COS-PLAY fue comparable a los modelos más grandes (Gemini, GPT-OSS), con una diferencia de solo el 1% en la tasa de victoria.
  • En Diplomacy (un juego de estrategia compleja que requiere negociación y seguimiento de alianzas), COS-PLAY superó a Gemini-3.1-Pro en un 8.8% en el número promedio de centros de suministro controlados.
• Análisis de Habilidades:
  • El banco de habilidades aprendió abstracciones compactas y reutilizables en lugar de memorizar trayectorias aisladas.
  • En Diplomacy, el sistema desarrolló fases temporales claras (Exploración -> Configuración -> Defensa), lo que evitó el colapso estratégico común en otros agentes.

5. Significado e Impacto

• Paradigma de Auto-mejora: COS-PLAY demuestra que los agentes pueden mejorar continuamente descubriendo sus propias habilidades a partir de la experiencia no etiquetada, sin depender de demostraciones humanas costosas.
• Eficiencia de Modelos Pequeños: Muestra que un modelo de 8B parámetros, cuando se combina con un mecanismo de memoria de habilidades estructurada y co-evolución, puede igualar o superar a modelos de cientos de miles de millones de parámetros en tareas complejas de largo horizonte.
• Robustez en Razonamiento Social: La capacidad de mantener un estado persistente y seguir protocolos de habilidades permite a los agentes manejar la complejidad de la interacción social y la negociación, áreas donde los LLM estándar suelen fallar.
• Limitaciones y Futuro: El enfoque actual depende de resúmenes de estado basados en texto, lo que limita la comprensión multimodal directa. El trabajo futuro se dirige a extender COS-PLAY a entornos visuales y de interacción multimodal.

En conclusión, COS-PLAY establece un nuevo estándar para la creación de agentes autónomos capaces de auto-mejorarse mediante la co-evolución de su política de decisión y su repositorio de habilidades, ofreciendo una solución escalable y eficiente para tareas de largo horizonte.