Resumen Técnico: Cuando las Habilidades No Ayudan

Declaración del Problema

Las Habilidades de Agentes—paquetes estructurados de conocimiento procedimental (por ejemplo, archivos SKILL.md) cargados en agentes de Modelos de Lenguaje Grande (LLM) durante la inferencia—se reportan ampliamente como mejoradores de las tasas de éxito en tareas en un promedio de 16.2 puntos porcentuales (pp) a través de diversos dominios. Sin embargo, las evaluaciones existentes (como SkillsBench) exhiben una variación significativa, con 16 de 84 tareas mostrando deltas de rendimiento negativos cuando se introducen las Habilidades. El campo carece actualmente de una explicación mecánica sobre cuándo las Habilidades aportan valor, cuándo son redundantes y cuándo degradan activamente el rendimiento. Este artículo aborda esta brecha investigando la eficacia del conocimiento procedimental en ciberseguridad ofensiva, un dominio subrepresentado en las evaluaciones actuales de Habilidades, específicamente dentro de un entorno fundamentado por el Protocolo de Contexto del Modelo (MCP).

Metodología

Los autores reanalizan un estudio controlado previamente publicado sobre un agente autónomo de Capture-the-Flag (CTF). El estudio original involucró 180 ejecuciones a través de 15 desafíos (que abarcan corrupción de memoria, ingeniería inversa, explotación web y criptografía) utilizando un único modelo base (Claude Sonnet 4.5) y una capa de herramientas estricta y validada por esquema (MCP).

El estudio se reencuadra como una ablación de Habilidades de cuatro niveles, mapeando las condiciones de documentación originales a una taxonomía estándar de Habilidades:

1. Sin-Habilidades (Mínimo): 55 líneas de contexto que contienen únicamente definiciones de servidor MCP y esquemas de herramientas. Sin orientación procedimental.
2. Habilidades-Experimentales (Lecciones): 1,478 líneas de contexto que contienen lecciones destiladas de sesiones previas de depuración y un clasificador de triaje (análogo a Habilidades auto-destiladas y minadas de trayectorias).
3. Habilidades-Curadas (Plantillas): 1,976 líneas de contexto que contienen plantillas de ataque estructuradas y redactadas por humanos, indexadas por tipo de vulnerabilidad con condiciones de aplicabilidad explícitas.
4. Habilidades-Comprehensivas (Línea Base): 4,147 líneas, representando la unión de las condiciones Experimentales y Curadas más las herramientas completas de triaje.

Las métricas de evaluación incluyeron tasas de éxito en tareas, tiempos medios de resolución y pruebas de significancia estadística (prueba Chi-cuadrado, prueba de tendencia de Cochran-Armitage y tamaños del efecto h de Cohen).

Resultados Clave

El reanálisis arroja un resultado negativo respecto al beneficio marginal de las Habilidades en este dominio específico:

• Ganancia Marginal: La condición de Habilidades-Comprehensivas mejoró la tasa de éxito en solo +8.9 pp (de 77.8% a 86.7%) en comparación con la línea base Sin-Habilidades. Esto es significativamente menor que el promedio cruzado de dominios de SkillsBench de +16.2 pp y cae dentro del rango del dominio de menor ganancia en SkillsBench (Ingeniería de Software, +4.5 pp).
• Significancia Estadística: Las diferencias entre condiciones no son estadísticamente significativas.
  • Prueba Chi-cuadrado: p = 0.71.
  • Prueba de tendencia de Cochran-Armitage: p = 0.25.
  • Cinco de los seis valores de Cohen's h por pares caen por debajo del umbral de 0.2 para un efecto pequeño.
• No Monotonicidad: En subtareas específicas (por ejemplo, canales laterales de tiempo), agregar más conocimiento procedimental degradó el rendimiento. La condición de Habilidades-Comprehensivas (33% de éxito) tuvo un rendimiento inferior a la condición de Habilidades-Curadas (67% de éxito) porque las lecciones adicionales "experimentales" sesgaron al agente hacia la ejecución simbólica, una técnica inadecuada para ataques de canal lateral.
• Economía de Tokens: La condición Comprehensiva consumió aproximadamente 75 veces más tokens para el contexto procedimental que la condición Sin-Habilidades para una ganancia no significativa, colocando a la condición Sin-Habilidades en la frontera de Pareto para la eficiencia de costos.

Mecanismo Propuesto: La Hipótesis del Ancho de Banda de Retroalimentación

Los autores proponen la Hipótesis del Ancho de Banda de Retroalimentación (H1) para explicar estos resultados y la variación observada en evaluaciones más amplias:

El beneficio marginal de las Habilidades de Agente curadas está inversamente relacionado con el ancho de banda de la retroalimentación ambiental determinista disponible para el agente.

• Alto Ancho de Banda de Retroalimentación (Este Estudio): El entorno fundamentado en MCP proporciona observaciones estrictas, validadas por esquema y de baja latencia (por ejemplo, JSON tipado de nmap o gdb). El entorno mismo suministra la señal de corrección procedimental que las Habilidades normalmente necesitan proporcionar, haciendo que las Habilidades curadas sean redundantes o incluso dañinas debido al ruido en el contexto.
• Bajo Ancho de Banda de Retroalimentación (Dominios de SkillsBench): Dominios como la atención médica y la manufactura a menudo involucran entornos frágiles, parcialmente observables con retroalimentación débil o retrasada. En estos contextos, las Habilidades son críticas para proporcionar la orientación procedimental faltante.

El artículo describe tres predicciones comprobables derivadas de esta hipótesis:

1. Reducir el ancho de banda de retroalimentación (por ejemplo, usando salida de shell cruda en lugar de herramientas validadas por esquema) debería aumentar el beneficio marginal de las Habilidades.
2. Las tareas con verificadores densos e inmediatos deberían mostrar deltas de Habilidades más pequeños que las tareas con verificadores dispersos y retrasados.
3. El conocimiento procedimental que contradice la retroalimentación ambiental debería producir deltas negativos, mientras que el conocimiento que el entorno no puede suministrar (por ejemplo, convenciones de dominio) debería producir deltas positivos.

Significado y Afirmaciones

El artículo afirma ofrecer una explicación mecánica falsificable para la heterogeneidad de la eficacia de las Habilidades, yendo más allá de las estadísticas agregadas. Sus contribuciones principales son:

1. Extensión de Dominio: Extiende el panorama empírico de la evaluación de Habilidades hacia la ciberseguridad ofensiva, un dominio previamente no probado en SkillsBench.
2. Validación de Resultado Negativo: Demuestra que en entornos de alto ancho de banda de retroalimentación, el conocimiento procedimental estructurado agrega un valor negligible y puede ser netamente negativo debido a la sobrecarga de tokens y la "propagación de lecciones falsas".
3. Implicaciones de Diseño para Sistemas de IA Compuestos: Los autores argumentan que el valor de una capa de Habilidades no es independiente sino sustitutivo. En sistemas con una fuerte fundamentación de herramientas (alto ancho de banda de retroalimentación), el valor marginal de las Habilidades disminuye. En consecuencia, los practicantes deberían priorizar invertir en retroalimentación ambiental (validación de esquemas, verificadores de baja latencia) antes de curar Habilidades. Las Habilidades deben verse como una capa compensatoria para entornos que carecen de retroalimentación determinista, en lugar de una abstracción universalmente beneficiosa.

Los autores declaran explícitamente que no afirman una demostración causal de un efecto cero, sino que cualquier efecto en este dominio es demasiado pequeño para distinguirse del ruido en un estudio de 180 ejecuciones, contrastando marcadamente con los efectos de alta potencia observados en dominios de baja retroalimentación. Se comprometen a liberar la tubería de reanálisis para apoyar la replicación y las pruebas futuras de la Hipótesis del Ancho de Banda de Retroalimentación.