Resumen Técnico: SKILLGRAPH

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) han demostrado capacidades en tareas interactivas complejas, como la navegación web y la manipulación encarnada. Sin embargo, los agentes actuales a menudo tratan las tareas como episodios aislados, fallando en aprender de éxitos o fracasos pasados incluso cuando se enfrentan a problemas estructuralmente similares. Aunque los enfoques existentes utilizan bibliotecas de habilidades para almacenar unidades de conocimiento reutilizables, estas bibliotecas suelen funcionar como colecciones planas donde las habilidades se almacenan como entradas independientes y se recuperan únicamente basándose en la similitud semántica.

Esta organización plana presenta dos limitaciones críticas para las tareas composicionales:

1. Recuperación No Composicional: Las tareas complejas a menudo requieren una secuencia ordenada de habilidades con dependencias específicas (por ejemplo, calentar un objeto antes de colocarlo). Los recuperadores planos pueden identificar habilidades relevantes, pero fallan al indicar su orden de ejecución o sus relaciones de prerequisito.
2. Mantenimiento No Estructurado: Sin señales estructurales explícitas, las bibliotecas planas carecen de mecanismos para determinar cuándo las habilidades deben fusionarse, dividirse o eliminarse, lo que dificulta gestionar la redundancia o evolucionar la biblioteca junto con la política mejorada del agente.

Metodología: SKILLGRAPH

Los autores proponen SKILLGRAPH, un marco que organiza las habilidades reutilizables en un grafo dirigido estructurado de dependencias y co-evoluciona este grafo con la política del agente mediante Aprendizaje por Refuerzo (RL). El marco opera en un bucle cerrado que comprende tres etapas principales:

1. Construcción del Grafo

El sistema destila habilidades de las trayectorias del agente (tanto exitosas como fallidas) utilizando un modelo de lenguaje maestro.

• Nodos: Representan habilidades categorizadas como generales (estrategias independientes del dominio) o específicas de la tarea. Cada nodo rastrea conteos de uso y tasas de éxito empíricas.
• Aristas: Las aristas tipadas modelan explícitamente las relaciones entre habilidades:
  • Prerequisito ($A \to B$): La habilidad $A$ debe aplicarse antes que $B$.
  • Mejora ($A \to B$): Una habilidad general mejora la efectividad de una habilidad específica de la tarea.
  • Co-ocurrencia ($A \leftrightarrow B$): Habilidades que aparecen frecuentemente juntas en episodios exitosos.
• Niveles: Los nodos se asignan a niveles topológicos basados en jerarquías de dependencias (Nivel 0 para habilidades fundamentales sin prerequisitos).

2. Recuperación Consciente del Grafo

En lugar de recuperar un conjunto de habilidades aisladas, el sistema recupera un subgrafo ordenado por dependencias para guiar la toma de decisiones de múltiples pasos.

• Selección de Semilla: Identifica puntos de entrada relevantes para la tarea (habilidades generales y habilidades coincidentes con la tarea) del conjunto activo actualmente "desbloqueado".
• Expansión del Grafo:
  • Expansión hacia atrás: Recorre las aristas de prerequisito entrantes para recuperar habilidades fundamentales.
  • Expansión hacia adelante: Utiliza búsqueda en haz para explorar aristas salientes, priorizando caminos con pesos de arista altos.
• Ordenamiento Topológico: Los nodos recuperados se ordenan topológicamente para producir una secuencia coherente de habilidades que refleja el flujo lógico de las subtareas (de simple a complejo).

3. Evolución del Grafo

El grafo de habilidades se actualiza dinámicamente durante el entrenamiento basándose en retroalimentación a nivel de trayectoria, asegurando que la biblioteca se adapte a la creciente competencia del agente.

• Adaptación a Nivel de Nodo:
  • Insertar: Genera nuevas habilidades para abordar modos de fallo específicos identificados en las trayectorias.
  • Fusionar: Combina habilidades redundantes con alta superposición de vecindad.
  • Dividir: Descompone habilidades demasiado amplias que muestran tasas de éxito moderadas a pesar de un alto uso.
  • Desechar: Elimina habilidades que se recuperan frecuentemente pero fallan consistentemente.
• Adaptación a Nivel de Arista:
  • Refuerzo: Aumenta los pesos de las aristas recorridas en trayectorias exitosas.
  • Descubrimiento: Añade nuevas aristas de co-ocurrencia cuando las habilidades aparecen juntas en el éxito.
  • Decaimiento y Poda: Aplica decaimiento multiplicativo a los pesos de las aristas y elimina aristas débiles para prevenir relaciones obsoletas.
• Desbloqueo Progresivo: Implementa un currículo donde las habilidades de nivel superior solo se activan una vez que la tasa de éxito promedio del nivel fundamental actual supera un umbral.

Optimización de la Política

La política del agente se optimiza utilizando GRPO (Optimización de Política Relativa por Grupos). La política se condiciona en la descripción de la tarea y la secuencia de habilidades recuperada y ordenada. El sistema minimiza un objetivo sustituto recortado con una penalización KL anclada a una política de referencia inicializada mediante Ajuste Fino Supervisado (SFT).

Contribuciones Clave

1. Formulación de Habilidades Estructuradas en Grafo: El artículo introduce una formulación novedosa donde las habilidades están conectadas por relaciones explícitas de prerequisito, mejora y co-ocurrencia, superando la recuperación semántica plana.
2. Marco SKILLGRAPH: Un sistema de bucle cerrado que permite la recuperación de habilidades consciente de dependencias y actualizaciones estructuradas de habilidades (inserción, fusión, división) durante el entrenamiento de RL.
3. Validación Empírica: Experimentos extensivos que demuestran que los grafos de habilidades estructuradas mejoran la eficiencia de muestras y el rendimiento en tareas complejas de múltiples pasos en comparación con métodos de RL aumentados con memoria plana.

Resultados Experimentales

El marco se evaluó en ALFWorld (manipulación encarnada), WebShop (navegación web) y siete benchmarks de QA aumentada con búsqueda.

• ALFWorld y WebShop: SKILLGRAPH logró un rendimiento de vanguardia, superando significativamente a LLMs de código cerrado (por ejemplo, GPT-4o, Gemini-2.5-Pro) y a líneas base basadas en prompts/aumentadas con memoria. Cabe destacar que superó al método previo más fuerte, SkillRL, en 11.7 puntos en WebShop. Las ganancias fueron más pronunciadas en subtareas que requieren un orden estricto (por ejemplo, "Limpiar" y "Calentar" en ALFWorld).
• QA Aumentada con Búsqueda: Entrenado en NQ y HotpotQA, SKILLGRAPH generalizó en cero disparos a cinco conjuntos de datos no vistos (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle), logrando el rendimiento promedio más alto (48.9) entre todas las líneas base.
• Estudios de Ablación: Eliminar la recuperación consciente del grafo causó la mayor caída de rendimiento en ALFWorld (-31.2%), confirmando la necesidad de secuencias de habilidades ordenadas. Eliminar la evolución del grafo tuvo el mayor impacto en WebShop (-14.1%), destacando el valor de un conjunto de habilidades refinado dinámicamente.
• Eficiencia: La recuperación guiada por grafos mantuvo longitudes de prompt más cortas en comparación con la recuperación plana, mejorando el costo de inferencia y la relación señal-ruido.

Significado y Afirmaciones

El artículo afirma que SKILLGRAPH aborda las limitaciones centrales de las bibliotecas de habilidades planas al habilitar la planificación composicional mediante recuperación consciente de dependencias y la evolución principista mediante actualizaciones estructuradas. Los autores afiruran que modelar explícitamente las relaciones inter-habilidad permite a los agentes:

• Transferir conocimiento composicional de tareas más simples a otras más complejas.
• Reducir la exploración redundante proporcionando orientación estructurada.
• Refinar continuamente tanto la biblioteca de habilidades como la política del agente en un bucle de refuerzo mutuo.

El trabajo se posiciona como un paso hacia agentes que pueden acumular conocimiento estructurado a partir de la experiencia, mejorando la eficiencia de muestras y la fiabilidad en dominios como la asistencia doméstica y la recuperación de información. Los autores reconocen limitaciones relacionadas con la dependencia de un modelo maestro fuerte para las operaciones del grafo y la confinación actual al entrenamiento en un solo entorno, sugiriendo la transferencia entre entornos y la auto-distilación ligera como direcciones futuras.