Resumen Técnico: HiSkill – Potenciando Agentes de LLM mediante Grafos de Habilidades Jerárquicos

Declaración del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) requieren la capacidad de reutilizar la experiencia histórica para resolver tareas interactivas de largo horizonte de manera eficiente. Si bien las "habilidades" han surgido como una abstracción clave para organizar esta experiencia reutilizable, los métodos actuales de trayectoria-a-habilidad sufren dos limitaciones principales:

1. Guía de Grano Grueso: La mayoría de los métodos destilan trayectorias en colecciones planas de descripciones textuales de alto nivel. Estas descripciones a menudo carecen de la granularidad requerida para cerrar la brecha entre las estrategias abstractas y las acciones concretas y ejecutables (por ejemplo, argumentos específicos y tiempos), dejando que los LLM infieran los detalles de ejecución sin una fundamentación suficiente.
2. Relaciones Subutilizadas: Los enfoques existentes suelen tratar las habilidades como unidades independientes, fallando al capturar las diversas relaciones procedimentales entre ellas (como la descomposición, las transiciones temporales, la compatibilidad y los mecanismos de recuperación) o los patrones de acción compartidos. En consecuencia, la recuperación suele omitir dependencias críticas de ejecución.

Metodología: El Marco HiSkill

HiSkill propone un marco de Grafo de Habilidades Jerárquico que organiza las trayectorias de interacción en un grafo dirigido estructurado para asistir en la ejecución de tareas. El marco opera a través de tres etapas principales:

1. Construcción del Grafo de Habilidades Jerárquico

El sistema construye un grafo dirigido $G = (V, E)$ a partir de trayectorias de interacción históricas, particionadas en conjuntos exitosos ($T^+$) y fallidos ($T^-$).

• Nodos:
  • Nodos AtomicOp ($V_O$): Plantillas de acción ejecutables derivadas de la canonicalización de acciones puras (reemplazando entidades específicas de la tarea con marcadores de posición).
  • Nodos de Habilidad ($V_S$): Abstracciones procedimentales reutilizables compuestas por secuencias ordenadas de nodos AtomicOp, enriquecidas con metadatos estructurados (estados de aplicabilidad, cambios esperados, pistas de fallo).
• Aristas Tipadas ($E$): El grafo codifica cinco tipos específicos de relaciones inducidas de las estadísticas de las trayectorias y la compatibilidad de estados:
  • decomposes to (se descompone en): Vincula una habilidad con sus nodos AtomicOp constituyentes.
    {% include/decomposes to %}
  • can follow (puede seguir a): Captura continuaciones temporales dirigidas entre habilidades o AtomicOps.
  • compatible with (compatible con): Conecta habilidades que coocurren frecuentemente con pre/post-estados compatibles.
  • supports (soporta): Vincula AtomicOps auxiliares que satisfacen los prerrequisitos faltantes para una habilidad.
  • recovers with (se recupera con): Conecta acciones/habilidades de recuperación con nodos fallidos o estancados, inferidos a partir de patrones de fallo.

2. Recuperación de Subgrafo de Habilidades Relevante a la Tarea

En lugar de usar el grafo completo, HiSkill recupera un subgrafo compacto y relevante para la consulta de la tarea $q$:

• Recuperación de Nodos Semilla: Utiliza una estrategia híbrida que combina similitud semántica densa y coincidencia léxica dispersa (BM25) para identificar los top-$K$ nodos semilla de Habilidad y AtomicOp relevantes.
• Hidratación del Grafo: Expande el conjunto semilla mediante la navegación de un salto (one-hop traversal) a lo largo de tipos de aristas específicos (por ejemplo, siguiendo aristas decomposes to para obtener AtomicOps, o aristas can follow para obtener habilidades subsecuentes) para formar un contexto de ejecución completo.

3. Ejecución de Tareas Guiada por Subgrafo

Durante la inferencia, el agente ejecuta tareas iterativamente monitoreando un estado de tarea simbólico ($z_t$) y una habilidad activa ($s_t$):

• Gestión de Estado: El estado de la tarea rastrea el progreso, objetos sostenidos y ubicación, actualizándose después de cada acción.
• Cambio de Habilidad: El sistema cambia la habilidad activa cuando la actual se completa (usando aristas can follow/compatible with) o cuando la ejecución se estanca (usando aristas recovers with).
• Selección de AtomicOp: El sistema selecciona el siguiente AtomicOp no ejecutado de la habilidad activa. Si faltan los prerrequisitos, selecciona un AtomicOp de tipo supports; si está atascado, selecciona un AtomicOp de tipo recovers with.
• Fundamentación de la Acción: El objetivo seleccionado (AtomicOp o acción generada por el LLM) se fundamenta en una acción ejecutable concreta basada en la observación actual y el estado, la cual actualiza el estado de la tarea para el siguiente paso.

Contribuciones Clave

1. Marco de Grafo Jerárquico: Un método novedoso para convertir trayectorias de interacción en un grafo dirigido que contiene nodos de habilidad, nodos AtomicOp y aristas tipadas, cerrando eficazmente la brecha entre la abstracción de habilidad de alto nivel y las plantillas de acción ejecutables.
2. Pipeline de Ejecución: Un pipeline completo para la construcción de grafos de habilidades jerárquicos, la recuperación de subgrafos relevantes para la tarea y la realización de la ejecución de tareas guiada por subgrafos que cambia dinámicamente de habilidades y selecciona acciones basadas en el tiempo de ejecución.
3. Superioridad Empírica: Evaluación exhaustiva en tres entornos interactivos (ALFWorld, WebShop, ScienceWorld) demostrando mejoras significativas en las tasas de éxito y reducciones sustanciales en el consumo de tokens de inferencia en comparación con las líneas base del estado del arte.

Resultados Experimentales

El artículo evalúa HiSkill frente a líneas base basadas en prompts (ReAct, Reflexion), basadas en memoria (ExpeL, Mem0, MemP) y basadas en habilidades (Vector Skills, SkillNet, GoS) utilizando Gemini-2.5-Pro y GPT-5.2-Codex.

• Rendimiento: HiSkill logra el mejor rendimiento general en todos los conjuntos de datos. Demuestra una mejora relativa promedio del 17.33% en la tasa de éxito y del 22.95% en la puntuación en comparación con las líneas base más fuertes. En ALFWorld, alcanza resultados superiores o empatados en la cima en 5 de 6 subtareas.
• Eficiencia: HiSkill reduce significativamente el consumo de tokens de inferencia. Comparado con la línea base de menor consumo de tokens en cada configuración, reduce el uso de tokens en un 61.10% (ALFWorld), 94.12% (WebShop) y 66.76% (ScienceWorld).
• Estudios de Ablación: Eliminar componentes clave (nodos AtomicOp, aristas tipadas, mecanismos de soporte/recuperación o el estado de la tarea) conduce a una degradación del rendimiento, confirmando que la estructura jerárquica y los mecanismos de tiempo de ejecución son esenciales para la ejecución de grano fino y el manejo de fallos.

Significado y Reivindicaciones

El artículo afirma que HiSkill aborda la brecha crítica entre las descripciones de habilidades de alto nivel y las acciones ejecutables mediante la introducción de una representación jerárquica estructurada de la experiencia. Al organizar las habilidades y las acciones en un grafo con relaciones tipadas, el método permite que los agentes de LLM:

• Reutilicen la experiencia histórica de manera más efectiva sin depender de ventanas de contexto largas y no estructuradas.
• Se adapten dinámicamente a los fallos de ejecución a través de vías explícitas de recuperación y soporte.
• Fundamenten el conocimiento procedimental abstracto en pasos ejecutables concretos con un consumo reducido de tokens.

Los autores postulan que el cuello de botella en los agentes basados en habilidades ha pasado de la disponibilidad de habilidades a la orquestación de habilidades, y que el enfoque estructurado de HiSkill proporciona una solución más eficiente y robusta para tareas interactivas de largo horizonte. Se sugiere como trabajo futuro explorar la evolución del grafo de habilidades en línea y el refinamiento adaptativo.