Resumen Técnico: SKILL-USE

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) dependen cada vez más de habilidades (skills): documentos estructurados que especifican cuándo actuar, qué procedimientos seguir y qué herramientas están permitidas. Las evaluaciones existentes, que analizan la calidad intrínseca de las habilidades o su contribución al éxito final de la tarea, no examinan si un agente puede reconocer autónomamente una habilidad relevante a partir de una descripción parcial y aplicarla correctamente. Los benchmarks actuales o bien precargan los documentos completos de la habilidad (evitando la recuperación) o se centran en el seguimiento de instrucciones superficiales (formato/longitud) en lugar de la adherencia procedimental específica del dominio bajo divulgación progresiva (donde el agente solo ve el nombre de la habilidad y una breve descripción inicialmente).

Este vacío deja sin examinar el ciclo de vida completo del uso de habilidades: el agente debe juzgar la aplicabilidad, recuperar el procedimiento completo y luego ejecutarlo fielmente evitando operaciones prohibidas.

Metodología

El Benchmark SKILL-USE

Los autores presentan SKILL-USE, un benchmark diseñado para evaluar el uso de habilidades bajo divulgación progresiva. Empareja 79 habilidades del mundo real (curadas de repositorios comunitarios como GitHub, SkillsBench y SkillLearnBench) con 177 tareas ejecutables en nueve dominios (por ejemplo, Desarrollo Frontend y Móvil, DevOps, Ciencia de Datos, Seguridad).

Protocolo de Evaluación:

1. Divulgación Progresiva: El agente recibe una tarea de usuario y un objeto de metadatos de la habilidad (nombre, descripción corta, ruta de archivo) pero no el procedimiento completo. El agente debe inferir la relevancia, recuperar el archivo y luego ejecutarlo.
2. Entorno: Las tareas se ejecutan en sandboxes de Docker aislados con archivos reales y acceso total a herramientas.
3. Dimensiones de Puntuación: El benchmark descompone el uso de habilidades en tres facetas distintas:
   • Trigger (Activación): Si el agente recupera la habilidad relevante basándose únicamente en el nombre/descripción.
   • Compliance (Cumplimiento): Adherencia al procedimiento prescrito (suma ponderada de pasos requeridos).
   • Boundary (Límite): Evitación de operaciones prohibidas (suma ponderada de acciones prohibidas).
4. Puntuación de Uso de Habilidad (SU): Una puntuación agregada con compuerta definida como $SU = g(y; s) \cdot [\alpha C(y) + (1-\alpha) B(y)]$, donde $g$ es el indicador de Trigger, $C$ es Compliance, $B$ es Boundary y $\alpha=0.7$. El crédito de ejecución se otorga solo si la habilidad es activada (triggered).

Pipeline de Construcción:
El conjunto de datos se construyó mediante un pipeline de tres etapas:

1. Curaduría: Las habilidades fueron filtradas por "exclusividad de habilidad" (requisitos no inferibles de la práctica genérica) y "observabilidad de proceso" (trazas verificables en la trayectoria de ejecución).
2. Diseño de Rúbricas: Se crearon rúbricas basadas en trayectorias para cada tarea, asegurando que cada ítem de puntuación se rastree hasta un requisito específico de la habilidad.
3. Validación: La validación de extremo a extremo incluyó revisiones adversarias de múltiples agentes para asegurar el alcance de la tarea, la verificabilidad de la rúbrica y la ausencia de requisitos genéricos que modelos fuertes pudieran resolver sin la habilidad.

Configuración Experimental

Los autores evaluaron ocho modelos de lenguaje de última generación (incluyendo Claude Opus 4.7/4.8, GPT-5.5, DeepSeek-V4-Pro, etc.) bajo dos entornos de agente (harnesses): Claude Code y Codex. Todos los modelos fueron probados en las mismas 177 tareas dentro de sandboxes aislados.

Resultados Clave

1. El uso fiable de habilidades sigue fuera de alcance

Incluso la configuración más fuerte (GPT-5.5 bajo el entorno de Claude Code) logró una puntuación SU máxima de solo 0.613.

• Cuellos de botella duales: El fallo ocurre en dos etapas independientes. Los modelos que logran activar una habilidad suelen fallar en cumplir su procedimiento (Compliance† alcanza un máximo de ~0.638). Por el contrario, los modelos capaces de cumplimiento a veces fallan en activar la habilidad en absoluto.
• Compliance vs. Boundary: Los modelos evitan generalmente las operaciones prohibidas (Boundary) de manera más fiable que completan flujos de trabajo prescritos íntegros (Compliance).

2. El uso de habilidades depende del entorno (harness)

El uso de habilidades se comporta como una capacidad condicionada por el entorno (harness) circundante, no como una propiedad fija del modelo.

• Inestabilidad de Clasificación: El ranking de los modelos cambia significativamente entre entornos. Por ejemplo, GPT-5.5 lidera bajo Claude Code, mientras que Claude Opus 4.8 lidera bajo Codex.
• Estrés Diferencial: El entorno de Claude Code estresa la activación (triggering/recuperación), mientras que Codex estresa la ejecución procedimental. El movimiento entre entornos comprime la dispersión de las tasas de activación, pero amplía la dispersión del cumplimiento condicional.

3. Impacto de la Inyección de Habilidades y el Tamaño de la Biblioteca

• La Recuperación es el Principal Cuello de Botella: Precargar el documento completo de la habilidad (evitando la divulgación progresiva) mejora significativamente las puntuaciones SU, principalmente al aumentar las tasas de Trigger. Una vez que la habilidad es activada, la precarga tiene un efecto insignificante en la calidad de la ejecución, lo que indica que la decisión de recuperar es el punto crítico de fallo.
• Tamaño de la Biblioteca: Aumentar el tamaño de la biblioteca de habilidades de 1 a 30 habilidades causa una caída en el rendimiento, pero esto es impulsado casi totalmente por activaciones perdidas (fallar en seleccionar cualquier habilidad) en lugar de seleccionar la habilidad incorrecta.

4. Generalización y Completitud de la Tarea

• Fallo de Restricción: Un alto rendimiento en el uso de habilidades dentro del alcance no se correlaciona con la capacidad de abstenerse de usar una habilidad cuando está fuera de alcance. De hecho, la correlación es negativa; los modelos mejores siguiendo habilidades suelen ser los peores en suprimir invocaciones innecesarias.
• Completitud de la Tarea: Seguir el procedimiento de una habilidad mejora la completitud de la tarea solo cuando la puntuación SU supera ~0.5. Por debajo de este umbral, la ejecución parcial o incorrecta de una habilidad perjudica el rendimiento más que no tener ninguna habilidad, ya que el modelo se compromete con una cadena de herramientas específica sin completarla.

Significancia y Contribuciones

El artículo realiza tres contribuciones principales:

1. Formalización del Uso de Habilidades: Define el uso de habilidades como un objetivo de evaluación distinto, descomponiéndolo en Trigger, Compliance y Boundary para capturar los matices de reconocimiento, adherencia y restricción bajo divulgación progresiva.
2. Benchmark SKILL-USE: Libera un benchmark de amplio alcance (9 dominios, 79 habilidades, 177 tareas) con rúbricas basadas en trayectorias y un pipeline de construcción de tres etapas reutilizable, yendo más allá de la calidad del artefacto hacia la evaluación a nivel de proceso.
3. Perspectivas Empíricas: Proporciona evidencia de que el uso fiable de habilidades es actualmente un problema abierto. Los hallazgos sugieren que los agentes actuales luchan con la fase de recuperación de la divulgación progresiva y que la capacidad de uso de habilidades es altamente dependiente de la arquitectura del entorno del agente más que del modelo base por sí solo.

Los autores concluyen que, para que las bibliotecas de habilidades sean efectivas, los modelos no solo deben ser capaces de ejecutar procedimientos, sino también identificar de manera fiable cuándo son necesarios dichos procedimientos, una capacidad que los modelos de frontera actuales aún no han dominado.