Resumen Técnico: SkillHarm: Ataques Basados en Habilidades con Conciencia del Ciclo de Vida mediante Construcción Automatizada

Declaración del Problema

Las habilidades de los agentes —paquetes reutilizables que agrupan instrucciones en lenguaje natural, materiales de referencia y scripts ejecutables— ocupan una posición privilegiada en los flujos de trabajo de los agentes. A diferencia del contexto externo no confiable (por ejemplo, documentos web), se espera implícitamente que los agentes sigan las instrucciones de las habilidades, consulten las referencias y ejecuten los scripts. Esta confianza implícita convierte a las habilidades de terceros en una superficie de ataque vulnerable. El contenido malicioso incrustado en una habilidad puede ser interpretado como una guía legítima y ejecutado con los privilegios totales del agente sobre archivos, comandos de shell y credenciales.

La investigación existente sobre ataques basados en habilidades sufre de dos limitaciones primarias:

1. Ceguera al Ciclo de Vida: La mayoría de los benchmarks evalúan habilidades envenenadas dentro de una única ejecución de tarea, ignorando la persistencia de las habilidades a través de las sesiones. No logran capturar ataques donde una ejecución inicial benigna muta silenciosamente el contenido de la habilidad, postergando el daño a un uso posterior.
2. Evaluación de Riesgo Ad-hoc: Los estudios actuales suelen depender de listas de riesgos específicas de cada benchmark en lugar de una taxonomía sistemática de riesgos relevantes para las habilidades, lo que conduce a una cobertura incompleta de los posibles resultados de ataque.

Metodología

1. Escenarios de Ataque y Taxonomía de Riesgos

Los autores introducen SkillHarm, un benchmark diseñado para evaluar las vulnerabilidades de los agentes a través del ciclo de vida del uso de habilidades. Define dos escenarios de ataque distintos:

• Envenenamiento de Carga Útil Fija (FPP - Fixed-Payload Poisoning): Un paquete de habilidad envenenado contiene una carga útil maliciosa fija que desencadena un resultado dañino inmediatamente tras su invocación durante una única ejecución de tarea.
• Envenenamiento de Mutación Propia (SMP - Self-Mutating Poisoning): La habilidad contiene un gancho de mutación. Una ejecución de tarea inicial parece benigna pero modifica silenciosamente el contenido persistente de la habilidad. El resultado dañino se difiere, materializándose solo cuando una tarea posterior reutiliza el paquete comprometido.

Para asegurar una cobertura sistemática, SkillHarm categoriza los riesgos en 12 tipos organizados por el componente del flujo de trabajo afectado:

• Explotación del Pipeline de Datos: Exfiltración de datos, manipulación de salida y envenenamiento de datos.
• Explotación del Entorno del Sistema: Escalada de privilegios, modificación no autorizada de archivos, inyección de puertas traseras (backdoors), denegación de servicio, despliegue de malware y corrupción del sistema.
• Explotación de la Autonomía del Agente: Secuestro de objetivos (goal hijacking), anti-forense y ataques de proxy.

2. Construcción Automatizada: AutoSkillHarm

Dada la alta heterogeneidad de las habilidades, los riesgos y los escenarios de ataque, el diseño manual es impráctico. Los autores desarrollaron AutoSkillHarm, un pipeline automatizado impulsado por agentes de codificación mediante arneses de lenguaje natural. El pipeline opera en tres etapas:

1. Selección del Objetivo de Ataque: Identifica archivos de habilidades alcanzables (para FPP) o pares de tareas que comparten habilidades (para SMP) basándose en las tasas de exposición en trayectorias de línea base benignas.
2. Diseño del Ataque: Un agente de codificación (principalmente Claude Code) instancia tipos de riesgo abstractos en objetivos adversarios concretos. Materializa las cargas útiles modificando los archivos de las habilidades mientras mantiene conexiones de flujo de trabajo plausibles. Para SMP, implementa mecanismos de mutación diferida (por ejemplo, callbacks activados por la salida). El agente también genera evaluadores deterministas para verificar estados finales dañinos.
3. Filtrado de Calidad: Los candidatos se someten a un refinamiento iterativo y a la detección basada en LLM para asegurar la sigilo. Un agente revisor realiza luego un análisis basado en trayectorias para descartar candidatos inválidos o no ejecutables, reteniendo solo ataques sólidos.

Resultados Clave

El benchmark comprende 879 muestras de ataque a través de 71 habilidades y 12 tipos de riesgo. Los autores evaluaron seis configuraciones de modelos (incluyendo Claude Code, Codex, Gemini CLI y OpenCode) contra estos ataques.

• Alta Vulnerabilidad: Los agentes actuales siguen siendo altamente vulnerables.
  • FPP: Las Tasas de Éxito de Ataque (ASR) alcanzaron hasta el 86.3% (Codex GPT-5.4).
  • SMP: La ASR alcanzó el 69.3%, a pesar del requisito más estricto de una mutación exitosa y la reutilización entre sesiones.
• Riesgo Latente (ASR Condicional): Existe una brecha significativa entre la ASR y la ASR Condicional (cASR), que mide el éxito dado que el agente interactúa con el archivo envenenado. Por ejemplo, en SMP, la cASR de Claude Opus 4.7 saltó del 9.4% al 41.5% (+32.1%) al condicionarse al compromiso. Esto indica que muchos "fallos" aparentes se deben a que los agentes no acceden al archivo objetivo, no a una resistencia genuina.
• Comportamiento de Rechazo: El rechazo explícito es raro. Solo los modelos de la familia Claude mostraron un comportamiento de rechazo notable, e incluso entonces, las tasas disminuyeron significativamente en escenarios SMP (por ejemplo, del 25.3% en FPP al 2.1% en SMP para Sonnet 4.6), lo que sugiere que el desacoplamiento temporal oscurece la intención maliciosa.
• Ineficacia de las Defensas Actuales:
  • Escáneres de Habilidades: Las inyecciones contextualizadas evaden frecuentemente la detección. La configuración de escáner más fuerte detectó solo el 55.6% de las inyecciones FPP y el 68.8% de las SMP.
  • Prompts de Sistema Defensivos: Añadir advertencias a los prompts del sistema redujo la ASR en algunos casos, pero siguió siendo poco fiable, con casi todas las configuraciones manteniéndose por encima del 70% de ASR.
• Utilidad de la Tarea: Las habilidades envenenadas generalmente preservaron la tasa de éxito de la tarea original, lo que significa que los usuarios reciben salidas plausibles mientras el agente ejecuta silenciosamente efectos secundarios dañinos.

Significado y Reivindicaciones

El artículo afirma que SkillHarm establece los ataques basados en habilidades como una región distinta y poco examinada en el panorama de la seguridad de los agentes. Sus principales contribuciones son:

1. Conciencia del Ciclo de Vida: Es el primer benchmark que evalúa conjuntamente el compromiso directo de una sola sesión y el compromiso diferido entre sesiones, revelando que los agentes siguen siendo vulnerables incluso cuando las habilidades se reutilizan a través de las sesiones.
2. Cobertura Sistemática de Riesgos: Al organizar 12 tipos de riesgo en una taxonomía basada en el flujo de trabajo, proporciona una visión integral de los daños potenciales más allá de las listas ad-hoc.
3. Escalabilidad Automatizada: El pipeline AutoSkillHarm demuestra que los ataques complejos y heterogéneos pueden construirse automáticamente a escala utilizando arneses de lenguaje natural, superando las limitaciones de la generación manual o basada en plantillas.
4. Implicaciones de Seguridad: Los hallazgos revelan que los mecanismos de seguridad actuales (escáneres, prompts y entrenamiento de modelos) son insuficientes contra los ataques basados en habilidades. El artículo argumenta que una mitigación efectiva probablemente requiere mecanismos más allá de las intervenciones a nivel de prompt, como salvaguardas en tiempo de ejecución o entrenamiento de seguridad post-entrenamiento que apunte específicamente al reconocimiento de la intención maliciosa dentro del contenido de la habilidad.

Los autores liberan el benchmark, el conjunto de datos y el pipeline de construcción para apoyar el desarrollo de defensas que aborden la confianza inherente que los agentes depositan en el contenido de las habilidades.