How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings

Resumen Técnico: Evaluación de Habilidades de Agentes en Entornos Realistas

1. El Problema

Las habilidades de agentes (agentic skills), definidas como artefactos de conocimiento reutilizables y específicos de un dominio (archivos estructurados con metadatos, código y guías), se han convertido en un mecanismo popular para extender las capacidades de los agentes basados en Grandes Modelos de Lenguaje (LLM). Sin embargo, la evaluación formal de su rendimiento presenta una brecha crítica:

• Evaluaciones Idealizadas: Los benchmarks existentes (como SKILLSBENCH) proporcionan habilidades curadas manualmente y específicas para cada tarea directamente en el contexto del agente, ignorando los desafíos del mundo real.
• La Realidad: En escenarios prácticos, los agentes deben:
  1. Seleccionar qué habilidades cargar entre un vasto repositorio.
  2. Recuperar habilidades relevantes de una colección grande y ruidosa sin ayuda humana.
  3. Adaptar habilidades de propósito general que no están perfectamente alineadas con la tarea específica.

El artículo plantea la pregunta fundamental: ¿Siguen siendo útiles las habilidades bajo condiciones realistas donde el agente debe buscar, seleccionar y adaptar el conocimiento por sí mismo?

2. Metodología

Los autores diseñaron un marco de evaluación progresivo que introduce desafíos de complejidad creciente, utilizando una colección masiva de 34,198 habilidades del mundo real extraídas de repositorios de código abierto (filtradas por licencias permisivas y calidad).

A. Infraestructura de Recuperación:

• Se construyó un motor de búsqueda que indexa tanto los metadatos (nombre/descripción) como el contenido completo de los archivos SKILL.md.
• Se compararon estrategias de búsqueda:
  • Búsqueda Directa: Uso de la descripción de la tarea como consulta única.
  • Búsqueda Agente (Agentic Search): El agente utiliza herramientas iterativamente para formular consultas, evaluar candidatos y refinar la búsqueda. Se probaron variantes: solo palabras clave (BM25), solo semántica (embeddings), e híbridas (con y sin contenido completo).

B. Configuraciones de Evaluación Progresiva:
Se evaluó el rendimiento en el benchmark SKILLSBENCH bajo seis condiciones, desde la ideal hasta la más realista:

1. Cargado Forzado (Upper Bound): Habilidades curadas cargadas automáticamente (sin selección ni recuperación).
2. Curadas: Habilidades disponibles, pero el agente decide cuándo cargarlas.
3. Curadas + Distractores: Habilidades curadas mezcladas con habilidades irrelevantes recuperadas.
4. Recuperadas (con curadas): El agente recupera las mejores 5 habilidades de una colección que incluye las curadas.
5. Recuperadas (sin curadas): El agente recupera de una colección donde las habilidades específicas para la tarea han sido eliminadas (solo habilidades de propósito general).
6. Sin Habilidades: Línea base sin ningún conocimiento externo.

C. Estrategias de Refinamiento:
Para mitigar la caída de rendimiento, se estudiaron dos estrategias de refinamiento de habilidades:

• Refinamiento Agnóstico a la Consulta (Query-Agnostic): Mejora de habilidades de forma offline sin conocimiento de la tarea específica, utilizando un agente que genera consultas sintéticas y evalúa la utilidad de la habilidad.
• Refinamiento Específico a la Consulta (Query-Specific): El agente explora la tarea y las habilidades recuperadas antes de resolverla, identifica qué partes son útiles o engañosas, y sintetiza una nueva habilidad combinada y adaptada a la tarea.

D. Modelos Evaluados:
Se probaron tres modelos de vanguardia: Claude Opus 4.6, Kimi K2.5 y Qwen3.5-397B, cada uno con su entorno de agente nativo (Claude Code, Terminus-2, Qwen-Code).

3. Resultados Clave

A. Fragilidad de las Habilidades en Entornos Realistas:

• Degradación del Rendimiento: Existe una correlación directa entre la realismo del escenario y la caída del rendimiento.
  • En la configuración ideal (cargado forzado), Claude Opus 4.6 alcanzó un 55.4% de tasa de éxito.
  • Al permitir la selección autónoma, bajó a 51.2%.
  • Con distractores, cayó a 43.5%.
  • Al requerir recuperación de una colección grande (con curadas), bajó a 40.1%.
  • En el escenario más realista (recuperación sin habilidades curadas), el rendimiento cayó a 38.4%, acercándose peligrosamente a la línea base sin habilidades (35.4%).
• Fallo en la Selección: Los agentes a menudo no cargan las habilidades correctas incluso cuando están disponibles. En la configuración con distractores, solo el 31% de las trayectorias de Claude cargaron todas las habilidades curadas.
• Riesgo de Habilidades Irrelevantes: En modelos más débiles (Kimi, Qwen), la recuperación de habilidades irrelevantes en escenarios sin curadas incluso degradó el rendimiento por debajo de la línea base (ej. Kimi: 19.8% vs 21.8% sin habilidades), indicando que las instrucciones erróneas pueden confundir al agente.

B. Efectividad del Refinamiento:

• Refinamiento Específico a la Consulta: Fue altamente efectivo cuando las habilidades recuperadas tenían una relevancia inicial razonable.
  • En SKILLSBENCH (con curadas), recuperó el rendimiento de Claude de 40.1% a 48.2%, cerrando gran parte de la brecha con el escenario ideal.
  • En TERMINAL-BENCH 2.0 (benchmark general sin curadas), mejoró el rendimiento de Claude de 61.4% a 65.5%.
  • Mecanismo: El agente sintetiza información de múltiples habilidades recuperadas, extrayendo lo útil y descartando lo ruidoso (ej. combinar conceptos de paralelismo tensorial de una habilidad con patrones de autograd de otra).
• Refinamiento Agnóstico: Mostró mejoras marginales e inconsistentes, ya que no puede adaptar el contenido a las necesidades específicas de la tarea.
• Dependencia de la Calidad Inicial: El refinamiento actúa como un multiplicador de la calidad existente. Si las habilidades recuperadas no cubren la tarea (puntuación de cobertura baja), el refinamiento no puede generar conocimiento nuevo ni recuperar el rendimiento.

4. Contribuciones Principales

1. Marco de Evaluación Realista: Introdujeron el primer estudio exhaustivo que evalúa la utilidad de las habilidades bajo condiciones progresivamente realistas, demostrando que los beneficios de las habilidades son frágiles y se degradan significativamente fuera de entornos idealizados.
2. Estudio de Recuperación Agente: Demostraron que la búsqueda híbrida agente (iterativa, combinando semántica y palabras clave sobre contenido completo) supera significativamente a la búsqueda directa, logrando un Recall@5 del 65.5%.
3. Análisis de Refinamiento: Identificaron que el refinamiento específico a la consulta es crucial para recuperar el rendimiento perdido, pero su eficacia depende críticamente de que existan habilidades relevantes en la colección de origen.
4. Generalización: Validaron que sus métodos (recuperación y refinamiento) funcionan en benchmarks generales como TERMINAL-BENCH 2.0, mejorando la tasa de éxito de Claude Opus 4.6 en un 7.8% (de 57.7% a 65.5%).

5. Significado e Implicaciones

Este trabajo pone de manifiesto una limitación crítica en el ecosistema actual de agentes LLM: la promesa de las habilidades está condicionada a la calidad de la recuperación y la capacidad del agente para adaptar conocimiento genérico.

• Limitaciones Actuales: Los agentes actuales luchan para distinguir habilidades útiles de ruido en grandes colecciones y tienen dificultades para adaptar habilidades de propósito general a tareas específicas sin una guía curada.
• Futuro de la Investigación: Se necesita mejorar los sistemas de recuperación (hacia métodos más agenticos), desarrollar métodos de refinamiento offline más robustos y crear ecosistemas de habilidades que consideren las capacidades variables de los diferentes modelos.
• Conclusión: Las habilidades no son una solución mágica "plug-and-play". Su valor real depende de un ciclo de vida que incluya recuperación inteligente y adaptación dinámica en tiempo de inferencia.

El código y los datos del estudio están disponibles públicamente en el repositorio de GitHub de los autores.