SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

Resumen Técnico: SKILLREVISE

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) operan cada vez más en entornos dirigidos por verificadores, donde el éxito depende de la ejecución de flujos de trabajo de múltiples pasos, el cumplimiento de restricciones y la recuperación de fallos. Si bien las "habilidades de agente" (artefactos procedimentales reutilizables) están diseñadas para cerrar la brecha entre las herramientas atómicas y los prompts de alto nivel, los métodos existentes para adquirir estas habilidades enfrentan limitaciones significativas, particularmente en entornos de arranque en frío (cold-start) donde solo se dispone de una habilidad inicial imperfecta.

Los enfoques actuales se dividen en tres categorías, cada una con distintos inconvenientes:

1. Métodos basados en recuperación (Retrieval-based): A menudo seleccionan habilidades que no coinciden plenamente con la tarea objetivo, lo que provoca una ejecución interrumpida.
2. Métodos de autoevolución: Requieren trayectorias y experiencia acumuladas, lo que los hace ineficaces cuando se parte de cero (arranque en frío) o propensos al sobreajuste.
3. Autoría directa (Experto o LLM de un solo paso/One-shot): La autoría de expertos es costosa y puede no alinearse con los comportamientos reales de ejecución del agente. La generación de un solo paso mediante LLM suele producir habilidades que son sintácticamente correctas pero conductualmente débiles, careciendo de validación frente a trazas de ejecución.

El desafío central es que las habilidades no mejoran el rendimiento del agente de manera tan fiable como las herramientas atómicas; las habilidades de baja calidad o mal emparejadas pueden degradar el rendimiento. Existe la necesidad de un método para refinar iterativamente una habilidad inicial imperfecta, creada por un LLM, utilizando evidencia de ejecución sin requerir un gran corpus preexistente de trayectorias exitosas.

Metodología: SKILLREVISE

Los autores proponen SKILLREVISE, un marco de trabajo fundamentado en la ejecución diseñado para refinar iterativamente una habilidad inicial ($S_0$) a través de un bucle de revisión limitado. El marco descompone el proceso de revisión en un diagnóstico específico de la tarea y conocimiento de reparación general, evitando la necesidad de una experiencia previa extensa.

Componentes Principales

1. Diagnóstico ($D_i$): Un componente específico de la tarea que convierte la evidencia de ejecución bruta en restricciones de reparación. Para cada intento de revisión $i$, consiste en:

   • Especificación de Verificación ($V_i$): Requisitos observables (rutas de salida, esquemas, formatos, aserciones de paso/fallo).
   • Atribución de Fallos ($A_i$): Un resumen de las comprobaciones fallidas, el comportamiento observado, las causas probables y las etiquetas de defectos.
   • Restricciones de Preservación ($K_i$): Registros de las comprobaciones que pasaron y las elecciones que deben preservarse para evitar regresiones.

2. Memoria de Principios ($M$): Un repositorio de principios de reparación reutilizables en lugar de soluciones específicas de tareas. Cada principio abstrae un defecto recurrente de diseño de habilidades en un patrón de reparación operativo, especificando cuándo aplicarlo, qué defecto aborda y cómo verificar la reparación. El sistema se inicializa con un conjunto de siete principios (por ejemplo, "Exponer salidas al verificador", "Preservar el comportamiento correcto").

3. Operador de Revisión ($R_\phi$): Este módulo mapea la habilidad actual ($S_i$), el diagnóstico ($D_i$) y los principios recuperados ($P_i$) hacia un candidato de habilidad revisada ($\hat{S}_{i+1}$) y un rastro de revisión ($z_i$). Crucialmente, aplica anclas de ejecución (execution anchors) —instrucciones específicas sobre cómo una edición textual debe cambiar el comportamiento del ejecutor (por ejemplo, "recargar el archivo", "analizar JSON", "comprobar claves")— asegurando que las ediciones estén fundamentadas en pasos accionables.

4. Episodio de Revisión Limitado: El marco opera bajo un presupuesto finito (por ejemplo, $B=3$ rondas).

   • Ejecución y Diagnóstico: Se ejecuta la habilidad actual; si ocurren fallos, se genera un diagnóstico.
   • Recuperación y Vinculación: Se recuperan los principios relevantes de $M$ y se vinculan al diagnóstico actual.
   • Revisión y Re-ejecución: Se genera una habilidad candidata y se vuelve a ejecutar.
   • Selección con Puerta de Utilidad (Utility-Gated Selection): El sistema mantiene un conjunto de candidatos observados. El resultado final no es necesariamente la última revisión generada, sino la mejor habilidad observada ($S^*$) basada en una función de utilidad $U(S, T)$. Esta función equilibra la tasa de éxito, la eficiencia de ejecución, el rendimiento de transferencia y los costos de interferencia, asegurando que las ganancias de eficiencia solo se recompensen si la tarea se completa con éxito.

Contribuciones Claves

El artículo realiza tres contribuciones primarias:

1. Formulación: Replantea la mejora de habilidades en arranque en frío como una revisión limitada y fundamentada en la ejecución de una habilidad existente creada por un LLM, distinta de la recuperación o la autoevolución abierta.
2. Marco de Trabajo: Introduce SKILLREVISE, que integra Diagnóstico específico de la tarea, Memoria de Principios reutilizables y revisión con anclaje de ejecución con selección de puerta de utilidad para retener sistemáticamente la versión óptima de la habilidad.
3. Evaluación: Proporciona una amplia validación empírica a través de tres bancos de pruebas (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) y un estudio de ALFWorld, demostrando ganancias consistentes sobre los baselines de "sin habilidad" y de "un solo paso" a través de múltiples modelos ejecutores.

Resultados Experimentales

El marco fue evaluado utilizando un entorno de control dirigido por verificadores compartido a través de cinco LLMs (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro).

• Ganancias de Rendimiento: En el SkillsBench estándar, SKILLREVISE mejoró la tasa de éxito del agente GPT-5.5 del 36.05% (sin habilidad) y 39.53% (generación de un solo paso) al 61.63% en solo tres rondas de revisión. Se observaron mejoras sustanciales similares en SkillLearnBench-Random y SWE-Skills-Bench-Hard.
• Transferibilidad entre Modelos: Las habilidades revisadas exhibieron una fuerte transferibilidad. Cuando las habilidades fijas revisadas por GPT-5.5 se aplicaron a otros ejecutores (por ejemplo, Opus-4.7, DeepSeek-V4-Pro), a menudo superaron la línea base de "sin habilidad", lo que sugiere que las habilidades capturan conocimiento procedimental generalizado en lugar de artefactos específicos del modelo. Sin embargo, la revisión específica del ejecutor generalmente produjo el mayor rendimiento.
• Estudios de Ablación: Eliminar el componente de Diagnóstico causó la mayor caída de rendimiento (de 53/86 a 28/86 en SkillsBench), resaltando la necesidad de conectar explícitamente la evidencia del verificador con los defectos a nivel de habilidad. El Libro de Registro de Preservación (Preserve Ledger) y las Anclas de Ejecución también fueron críticos para prevenir regresiones y asegurar que las ediciones indujeran acciones concretas.
• Estudio ALFWorld: En un estudio de absorción de principios, un banco compacto de 10 principios aprendidos de 25 tareas de calibración mejoró el rendimiento en un conjunto de 100 tareas no vistas, resolviendo 71/100 tareas, demostrando la capacidad de abstraer fallos locales en patrones de reparación reutilizables.

Significado y Reivindicaciones

El artículo afirma que la revisión fundamentada en la ejecución es un paradigma fiable para la autoría automatizada de habilidades, particularmente en escenarios de arranque en frío. La importancia del trabajo radica en demostrar que:

• Las habilidades son más efectivas cuando no son consejos estáticos, sino memorias procedimentales testeables refinadas por fallos observados.
• Un enfoque estructurado que combina diagnóstico, principios generales y selección de puerta de utilidad puede superar la fragilidad de la generación de un solo paso y la necesidad de datos de la autoevolución.
• El marco logra cerrar la brecha entre la autoría de expertos (costosa) y la generación de un solo paso (poco fiable) mediante el refinamiento iterativo de un borrador inicial utilizando la retroalimentación del verificador.

Los autores señalan modestamente algunas limitaciones, incluyendo la dependencia de la retroalimentación visible para el verificador (que puede llevar al sobreajuste si las pruebas son escasas) y el hecho de que el método no regresa a la ejecución "sin habilidad" si una habilidad degrada el rendimiento de forma constante. Posicionan a SKILLREVISE como un paso hacia la adquisición de habilidades robusta y automatizada que alinea el comportamiento del agente con las restricciones de la tarea y los criterios de verificación.