Resumen Técnico: Habilidad Formal: Habilidades de Ejecución Programables para Agentes LLM Eficientes y Precisos

1. Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se implementan cada vez más en entornos de trabajo reales donde su capacidad para actuar depende de la fiabilidad de sus herramientas y habilidades. Los enfoques actuales para definir las habilidades de los agentes adolecen de cuatro limitaciones principales debido a su dependencia de las Habilidades Informales (conocimiento procedimental codificado principalmente en lenguaje natural):

1. Ineficiencia de Tokens: Las instrucciones procedimentales (por ejemplo, archivos SKILL.md, paquetes Markdown) deben cargarse como tokens de prompt en cada turno relevante, lo que genera altos costos.
2. Ambigüedad: El lenguaje natural es solo semiestructurado para una máquina, lo que dificulta imponer un orden estricto, reglas de seguridad o criterios de finalización.
3. Aplicación Débil: Restricciones como "verificar antes de finalizar" o "no editar archivos protegidos" suelen ser sugerencias suaves en los prompts en lugar de verificaciones ejecutables, lo que permite que los modelos las eludan.
4. Recuperación Frágil: El estado y el contexto de recuperación son implícitos en el transcripto de la conversación en lugar de representarse como un estado de ejecución explícito y local a la habilidad, lo que conduce a estrategias de recuperación ad hoc en tareas de largo horizonte.

Los sistemas existentes, como los que utilizan bibliotecas SKILL.md o interfaces de herramientas basadas en esquemas (por ejemplo, MCP, llamadas a funciones), o bien tratan los procedimientos como documentos para leer o definen acciones individuales sin gobernar el estado del flujo de trabajo, la aplicación de políticas o la disciplina de finalización.

2. Metodología: Habilidad Formal y FairyClaw

Los autores proponen la Habilidad Formal, una abstracción nativa de ejecución que convierte las capacidades reutilizables de los agentes, provenientes de artefactos en lenguaje natural, en objetos estructurados y ejecutables. Este enfoque traslada la carga de las invariantes procedimentales del prompt del modelo a la lógica de ejecución del tiempo de ejecución.

Componentes Principales de la Habilidad Formal

Una Habilidad Formal consta de cinco componentes integrados:

1. Metadatos JSON y Esquemas de Acción: Define la interfaz legible por máquina, reemplazando el texto procedimental largo con descripciones de herramientas compactas y esquemas de argumentos.
2. Ejecutores Python Confiables: Implementa acciones con validación determinista y efectos secundarios acotados, asegurando que las llamadas a herramientas sean seguras y correctas antes de su ejecución.
3. Lógica de Control Gobernada por Ganchos: Un pipeline de ganchos (por ejemplo, before_llm_call, before_tool_call, after_tool_call) que media las interacciones entre el modelo y las herramientas. Estos ganchos aplican políticas, filtran las herramientas visibles según el estado y validan los argumentos.
4. Estado de Ejecución Local a la Habilidad: Un objeto de estado explícito (por ejemplo, fase actual, estado de verificación, puertas de artefactos) que rastrea el progreso. Este estado es consumido por los ganchos para determinar la visibilidad de las herramientas y la finalización de la tarea, reemplazando la recuperación basada en transcriptos implícitos.
5. Metadatos de Enrutamiento: Determina cuándo y cómo se expone una habilidad a una tarea o subtarea específica, permitiendo la selección dinámica de capacidades.

Implementación: FairyClaw

Los autores implementan la Habilidad Formal en FairyClaw, un tiempo de ejecución de agentes basado en eventos y de código abierto. Las características arquitectónicas clave incluyen:

• Planificador de Un Solo Paso: El tiempo de ejecución ejecuta una decisión del LLM y sus efectos de herramienta a la vez, persistiendo el turno y actualizando el estado de la habilidad antes de programar el siguiente evento.
• IR de Historial Tipado: Mantiene una representación intermedia tipada del historial.
• Delegación y Enrutamiento de Subagentes: El planificador principal puede crear subsesiones con espacios de trabajo estrechados y conjuntos de habilidades enrutados. Esto asegura que el modelo solo vea herramientas y orientación relevantes para la fase actual, reduciendo el uso de tokens y la ambigüedad de las acciones.
• Pipeline de Ganchos: Un pipeline estructurado donde el estado se convierte en visibilidad de herramientas, orientación de prompts y verificaciones de políticas.

Estudio de Caso: CODEREPAIROPS

Para instanciar el concepto, los autores desarrollaron CODEREPAIROPS, una habilidad formal para reparación de código y depuración basada en pruebas.

• Fases: La habilidad impone un flujo de trabajo de reproducir → diagnosticar (opcional) → parchear → verificar → informar.
• Visibilidad Impulsada por el Estado: En la fase de reproducir, solo son visibles las herramientas de recopilación de evidencia. En parchear, solo se permiten herramientas de parche unificado, con guardias que rechazan rutas protegidas o cambios excesivos.
• Aplicación de Puertas: La finalización se bloquea hasta que la verificación sea aprobada y se produzcan los artefactos requeridos. Si las puertas fallan, la sesión se ve obligada a regresar a la fase anterior en lugar de permitir una finalización prematura.

3. Contribuciones Clave

1. Abstracción de Habilidad Formal: Un nuevo paradigma para las habilidades de los agentes que traslada el conocimiento procedimental de los prompts en lenguaje natural a metadatos JSON, esquemas de acción, ejecutores confiables, bucles de control gobernados por ganchos y estado de ejecución local a la habilidad.
2. Tiempo de Ejecución FairyClaw: Un tiempo de ejecución basado en eventos de código abierto que hace que las Habilidades Formales sean enrutables, ejecutables, observables y aplicables. Integra la planificación de un solo paso, el estado de sesión persistente y el control de ejecución basado en ganchos.
3. Validación Empírica: Demostración en la suite Harness-Bench que muestra que las Habilidades Formales pueden lograr un rendimiento competitivo mientras reducen significativamente el consumo de tokens.

4. Resultados Experimentales

Los autores evaluaron FairyClaw frente a otros cinco arneses de agentes (Moltis, NullClaw, ZeroClaw, Hermes, OpenClaw) utilizando dos familias de modelos (gpt-5.4 y gemini-3.1-pro) en 75 tareas.

• Rendimiento General:
  • En gpt-5.4, FairyClaw logró la puntuación combinada más alta (0.746) entre todos los agentes, ocupando el primer lugar en este grupo y el tercer lugar en general en ambas familias de modelos.
  • En gemini-3.1-pro, FairyClaw logró una puntuación competitiva de 0.635, ocupando el tercer lugar en general.
• Eficiencia de Tokens:
  • FairyClaw utilizó sustancialmente menos tokens que todos los comparadores. En gpt-5.4, utilizó un promedio de 46.8K tokens por tarea, lo que es aproximadamente un 48% menos que la media de los otros cinco arneses y un 33% menos que el siguiente sistema más eficiente.
  • El uso total de tokens para FairyClaw (gpt-5.4) fue de 3.51M, en comparación con 6.29M para Moltis y 7.28M para Hermes.
  • Los autores señalan que la compresión de contexto estaba desactivada durante estas ejecuciones; por lo tanto, las ganancias de eficiencia se atribuyen al enrutamiento de Habilidades Formales, la orientación de fases compacta y la exposición más estrecha de herramientas, en lugar de la resumización de transcriptos.
• Rendimiento Específico por Tarea:
  • En una tarea representativa de depuración de código que requería recopilación de evidencia, modificación del espacio de trabajo y verificación, FairyClaw logró las puntuaciones combinadas más altas para ambos modelos (0.865 para gpt-5.4 y 0.843 para gemini-3.1-pro).
  • Aunque FairyClaw a veces requirió más rondas (por ejemplo, 48 rondas frente a 21 para NullClaw en gpt-5.4), estas rondas estuvieron gobernadas por transiciones de estado explícitas y controles de ganchos en lugar de prompts no estructurados, lo que resultó en un menor consumo total de tokens a pesar de la trayectoria más larga.

5. Significado y Afirmaciones

El artículo afirma que la Habilidad Formal representa un cambio en la forma en que se construyen las capacidades reutilizables de los agentes. Al tratar las habilidades como "contratos de ejecución" en lugar de "manuales textuales", el enfoque:

• Desacopla el Razonamiento de la Ejecución: El modelo retiene el papel de razonar y elegir entre acciones estructuradas, mientras que el tiempo de ejecución es propietario de las invariantes procedimentales, las reglas de seguridad y la gestión del estado.
• Impone Disciplina: Las restricciones se convierten en verificaciones ejecutables (por ejemplo, bloquear ediciones inseguras o finalizaciones prematuras) en lugar de instrucciones que el modelo puede elegir ignorar.
• Mejora la Eficiencia: Reduce drásticamente el consumo de tokens al reemplazar documentos procedimentales largos con orientación compacta condicionada al estado.

Los autores posicionan esto no como un reemplazo del lenguaje natural en el comportamiento de los agentes, sino como una reasignación de roles: el lenguaje natural se utiliza para el razonamiento específico de la tarea, mientras que los procedimientos reutilizables se codifican como objetos de ejecución compactos y aplicables. Los resultados sugieren que este enfoque permite a los agentes realizar tareas complejas y de múltiples pasos con mayor fiabilidad y un costo significativamente menor.