Resumen Técnico: MalSkillBench

Planteamiento del Problema

Los agentes de codificación de IA (por ejemplo, Claude Code, Gemini CLI) dependen cada vez más de "habilidades" (skills) de terceros: paquetes distribuibles que agrupan instrucciones en lenguaje natural, scripts ejecutables y permisos de herramientas. Estas habilidades introducen una superficie de ataque híbrida novedosa donde el riesgo no reside puramente en el código ni puramente en los prompts, sino en la relación semántica entre ambos. Los esfuerzos de detección actuales enfrentan tres brechas críticas:

1. Falta de Verdad de Referencia (Ground Truth): Los conjuntos de datos existentes son retenidos por la industria (ej. Snyk, Antiy) o son demasiado pequeños (ej. 157 muestras en trabajos académicos previos) para evaluar sistemáticamente a los detectores.
2. Cobertura de Ataque Estrecha: Las muestras disponibles "en el mundo real" están fuertemente sesgadas hacia un único patrón de ataque (suplantación de dependencias que conduce a la entrega de malware), dejando los ataques de la capa de instrucción y los secuestros de control del agente empíricamente invisibles.
3. Evaluación Fragmentada: Los detectores se evalúan con conjuntos de datos privados y métricas dispares, lo que impide una comparación justa entre los vectores de Inyección de Código (CI), Inyección de Prompt (PI) y Mixtos (MIXED).

Consecuentemente, la comunidad carece de una comprensión fiable de qué herramientas de detección generalizan y cuáles simplemente se sobreajustan a patrones de ataque específicos y estrechos.

Metodología

Los autores presentan MalSkillBench, el primer benchmark verificado en tiempo de ejecución para habilidades de agentes maliciosos. La construcción se basa en un flujo de trabajo de Generación-Verificación-Retroalimentación de ciclo cerrado diseñado para crear una verdad de referencia de alta calidad y verificada.

1. Taxonomía de Ataques y Base de Conocimientos

El benchmark define una taxonomía tridimensional que abarca 108 celdas de ataque:

• Vector de Ataque ($v$): Inyección de Código (CI), Inyección de Prompt (PI) y Mixto (MIXED).
• Comportamiento Malicioso ($b$): 15 categorías, incluyendo comportamientos tradicionales de la cadena de suministro (B1–B9, ej. exfiltración de datos, reverse shells) y comportamientos nativos de agentes (B10–B15, ej. secuestro de rol, elusión de seguridad, anulación de instrucciones).
• Estrategia de Inserción ($s$): Métodos específicos para la colocación de la carga útil (ej. nuevos archivos de script, inyección de funciones, esteganografía, camuflaje total).

El flujo de trabajo siembra la generación a partir de dos bases de conocimiento: IntelliGraph (3,026 paquetes PyPI maliciosos) para patrones de CI y los corpora WildJailbreak/CCS'24 para patrones de PI. Estos se mapean a la taxonomía mediante etiquetado basado en LLM.

2. Bucle de Generación y Verificación

• Agente de Generación: Utiliza una versión modificada de Qwen3.5-35B (ablaterada para eliminar los mecanismos de rechazo) para sintetizar habilidades candidatas. Recupera ejemplos de ataque, selecciona una plantilla de "camuflaje" benigna de un grupo de 3,458 habilidades legítimas e inyecta la carga útil maliciosa de acuerdo con la celda de la taxonomía objetivo.
• Agente de Verificación: Ejecuta los candidatos dentro de un sandbox de Docker instrumentado con strace e inotifywait. Emplea un proceso de verificación de dos capas:
  • Capa 1 (Determinista): Contrasta las trazas de llamadas al sistema (red, archivos, procesos) contra los Indicadores de Compromiso (IOC) declarados.
  • Capa 2 (Semántica): Utiliza un LLM (GPT-5.4-mini) para analizar las salidas de texto del agente y los resúmenes de trazas para confirmar la intención conductual, particularmente para ataques de PI que no dejan trazas de llamadas al sistema.
• Retroalimentación: Si un candidato falla la verificación, el agente recibe retroalimentación estructurada (razón, comportamientos observados, sugerencias) e intenta de nuevo hasta tres veces. Solo las muestras donde el comportamiento malicioso es confirmado (rendimiento en tiempo de ejecución) entran en el conjunto de datos.

3. Composición del Conjunto de Datos

El benchmark final ($\mathcal{D}$) consta de:

• 3,214 Habilidades Generadas: Verificadas mediante el flujo de ciclo cerrado, asegurando una cobertura equilibrada en todas las 108 celdas de la taxonomía.
• 703 Habilidades "Wild": Recolectadas y verificadas manualmente de registros públicos (ej. ClawHub), representando ataques del mundo real.
• 27 Muestras de Prueba: Curadas de suites de prueba de herramientas existentes.
• 4,000 Habilidades Benignas: Habilidades de alta confianza y ampliamente descargadas utilizadas para medir falsos positivos.

Contribuciones Clave

1. Dataset MalSkillBench: Un benchmark verificado en tiempo de ejecución que contiene 3,944 habilidades maliciosas y 4,000 benignas, etiquetadas a través de una taxonomía de 108 celdas.
2. Pipeline de Ciclo Cerrado: Un marco automatizado novedoso que migra patrones de ataque del mundo real al formato de habilidad y los valida mediante la ejecución en sandbox, convirtiendo las afirmaciones de etiquetas en evidencia conductual.
3. Evaluación Sistemática: La primera evaluación unificada de 12 herramientas de detección (9 específicas de habilidades, 5 escáneres de cadena de suministro, 6 defensores de inyección de prompt) bajo condiciones idénticas.

Resultados Empíricos

RQ1: Realizabilidad de Ataques

La realizabilidad es desigual a través de la superficie de ataque.

• Inyección de Código (CI): Rendimiento de verificación del 94.5%.
• Mixto (MIXED): Rendimiento del 91.9%.
• Inyección de Prompt (PI): Rendimiento del 75.8%.
• Insight: Los comportamientos de razonamiento puramente de PI (ej. Anulación de Instrucciones, Secuestro de Objetivos) son los más difíciles de realizar (rendimiento del 63–70%), lo que indica una fragilidad estructural al generar ataques de solo instrucción que logren alterar el comportamiento del agente.

RQ2: Análisis de Datos Reales (Wild Analysis)

La superficie de ataque en el mundo real es sorprendentemente estrecha.

• Dominancia: El 86.3% de las habilidades "wild" utilizan suplantación de dependencias (requisitos falsos), y el 86.6% resultan en Entrega de Malware.
• Concentración: El 81% de las muestras "wild" provienen de solo dos cuentas, impulsadas principalmente por una única campaña de robo de criptomonedas.
• Amenazas Nativas de Agentes: Una pequeña cola (1.7%) apunta al plano de control del agente (ciclo de vida de la sesión, identidad, jerarquía de instrucciones) en lugar del host, un vector ausente en los ecosistemas de paquetes tradicionales.

RQ3: Detección Específica de Habilidades

Ningún detector actual es uniformemente fiable.

• Rendimiento: La herramienta más fuerte (Sentry Skill Scanner, modo completo) logra un recall del 98.4% en el benchmark completo, pero cae significativamente en ataques de PI y de control de agentes.
• El Sesgo de los Datos Reales ("Wild"): Evaluar únicamente con datos "wild" es sistemáticamente engañoso. Por ejemplo, VirusTotal se sitúa cerca del fondo en el benchmark completo (21.6% de recall) pero salta a la cima (87.9% de recall) cuando se evalúa solo con datos "wild", un cambio de 66 puntos. Esto ocurre porque los datos "wild" están dominados por la suplantación de dependencias, que las herramientas basadas en firmas detectan bien, ignorando los ataques de la capa de instrucción.

RQ4: Transferibilidad de Herramientas

Las herramientas de dominio único existentes no se transfieren eficazmente.

• Escáneres de Cadena de Suministro: El alto recall (ej. OSSGadget con 97.3%) viene acompañado de falsos positivos masivos (hasta 3,979 en 4,000 muestras benignas) porque marcan dependencias benignas como maliciosas.
• Defensas de Inyección de Prompt: De manera similar, o bien disparan excesivamente sobre habilidades con mucho código, o bien pasan por alto ataques operativos que carecen de un fraseo tipo "jailbreak".
• Fallo de Combinación: Las combinaciones ingenuas (lógica OR/AND) de estas herramientas no logran recuperar la relación semántica faltante entre el código y las instrucciones. Las combinaciones OR heredan altos falsos positivos; las combinaciones AND colapsan el recall (a menudo <6%).

Significancia y Reivindicaciones

El artículo sostiene que detectar habilidades maliciosas requiere un razonamiento conjunto sobre la intención de la tarea, el código y las instrucciones, en lugar de inspeccionarlos por separado. La principal significancia de MalSkillBench es que expone las limitaciones de las metodologías de evaluación actuales:

• Distorsión de la Medición: Depender únicamente de datos "wild" o subconjuntos estrechos infla artificialmente el rendimiento de las herramientas que casualmente coinciden con los patrones de ataque dominantes (pero estrechos), mientras oculta los fallos en los ataques de nivel de instrucción.
• Naturaleza Híbrida: El riesgo de una habilidad no es un artefacto localizado, sino una relación semántica (ej. "¿Está esta dependencia justificada por la tarea?"). Las herramientas actuales, que leen el código o los prompts de forma aislada, no pueden capturar esta relación.
• Dirección Futura: El benchmark proporciona la verdad de referencia necesaria para desarrollar detectores que puedan razonar a través del espacio híbrido de código e instrucciones, abordando los "puntos ciegos" en las prácticas de seguridad actuales.

Los autores enfatizan que su trabajo no inventa nuevos vectores de ataque, sino que mide sistemáticamente la realizabilidad y detectabilidad de las amenazas existentes dentro del contexto específico de las habilidades de agentes de IA, revelando que la capa de instrucción sigue siendo una vulnerabilidad significativa y poco protegida.