Skill-Inject: Measuring Agent Vulnerability to Skill File Attacks

1. El Problema: Vulnerabilidades en la Cadena de Suministro de Agentes LLM

Los agentes de Inteligencia Artificial (LLM) están evolucionando rápidamente gracias a la introducción de la función de "Habilidades" (Skills). Estas permiten a los usuarios extender las capacidades de los agentes con código, conocimientos e instrucciones de terceros. Sin embargo, esto crea una nueva y compleja cadena de suministro de software para los agentes.

El problema central identificado es la inyección de prompts basada en habilidades. A diferencia de las inyecciones tradicionales (donde el texto malicioso se oculta en datos como correos o páginas web), las habilidades son archivos que son puramente instrucciones. Esto significa que:

• Los agentes cargan y ejecutan instrucciones de fuentes no verificadas (desarrolladores de terceros).
• Las defensas existentes que separan "instrucciones" de "datos" fallan, ya que en las habilidades, todo es instrucción.
• Muchas instrucciones son de doble uso: pueden parecer legítimas en un contexto (ej. "hacer una copia de seguridad") pero ser maliciosas en otro (ej. "exfiltrar datos a un servidor externo").
• Los usuarios rara vez auditan estas habilidades, permitiendo que payloads maliciosos se distribuyan fácilmente.

2. Metodología: El Benchmark SKILL-INJECT

Para cuantificar esta amenaza, los autores introducen SKILL-INJECT, el primer benchmark diseñado específicamente para evaluar la vulnerabilidad de los agentes LLM ante inyecciones en archivos de habilidades.

Componentes del Benchmark:

• Escala: Contiene 202 pares de inyección-tarea distribuidos en 23 habilidades únicas (documentación, ML, pagos, salud).
• Tipos de Inyección:
  1. Inyecciones Obvias (30 casos): Instrucciones claramente maliciosas (ej. "borrar todos los archivos", "ransomware") que un agente debería rechazar siempre.
  2. Inyecciones Contextuales (41 casos): Instrucciones que parecen legítimas pero son maliciosas dependiendo del contexto (ej. "enviar resumen al equipo" que en realidad exfiltra credenciales).
• Políticas de Seguridad: Para evaluar la capacidad de razonamiento contextual, el benchmark utiliza tres condiciones de política en el prompt del sistema:
  • Legitimante: Declara que la acción inyectada es autorizada.
  • Advertencia: Advierte explícitamente que la acción es una violación de seguridad.
  • Base (Normal): Sin contexto adicional de seguridad.
• Capacidades del Atacante: Se evalúan diferentes vectores: inyección en el cuerpo del archivo, inyección en scripts adjuntos y manipulación de la descripción YAML (metadatos).

3. Contribuciones Clave

1. SKILL-INJECT: Un nuevo estándar de evaluación que se centra en el conflicto "instrucción vs. instrucción" inherente a los sistemas de habilidades, yendo más allá de las evaluaciones binarias de seguridad.
2. Evaluación Exhaustiva: Pruebas realizadas en modelos de vanguardia (Frontier Models) de OpenAI (GPT-5, Codex), Anthropic (Claude Haiku/Sonnet/Opus) y Google (Gemini), midiendo tanto la seguridad (evitación de instrucciones dañinas) como la utilidad (cumplimiento de instrucciones legítimas).
3. Análisis de Defensas: Evaluación de defensas basadas en "Jueces LLM" (LLM judges) para filtrar habilidades, demostrando sus limitaciones actuales.

4. Resultados Principales

Los resultados revelan una vulnerabilidad crítica en los agentes actuales:

• Tasas de Éxito Altas: Los modelos de vanguardia son altamente vulnerables. La tasa de éxito del ataque (ASR) alcanza hasta un 80% en ciertos modelos y condiciones.
  • Ejemplo: Gemini 3 Flash mostró un 83% de éxito en inyecciones obvias bajo condiciones de "Mejor de 5" (Best-of-5).
  • Ejemplo: GPT-5.1 Codex-Max y GPT-5.2 Codex tienen tasas superiores al 65% en inyecciones contextuales.
• Fallo de las Defensas Simples:
  • Las advertencias en el prompt ("Warning policy") reducen ligeramente la tasa de éxito, pero no eliminan los ataques.
  • Los Jueces LLM (LLM-as-a-judge) fallan en distinguir contextos: a menudo rechazan habilidades legítimas cuando se les da una política de advertencia (falsos positivos que dañan la utilidad) o no detectan inyecciones sutiles.
• Vectores de Ataque Efectivos:
  • Inyecciones en Scripts: Ocultar la carga maliciosa en un script adjunto (en lugar de texto plano) aumenta la tasa de éxito en más de 30 puntos porcentuales, ya que los modelos confían implícitamente en el código ejecutable.
  • Inyección en Descripciones: Modificar la descripción YAML (que se carga antes que la tarea del usuario) aumenta la tasa de éxito en un 10-17%, ya que establece un contexto malicioso antes de que se procesen las advertencias de seguridad.
• Escalado no es la solución: El aumento del tamaño del modelo no garantiza mayor seguridad; algunos modelos más pequeños o específicos muestran comportamientos de seguridad variables e impredecibles.

5. Significado y Conclusiones

El artículo concluye que la seguridad de los agentes LLM no se resolverá mediante el simple escalado de modelos o el filtrado de entrada. El problema es fundamentalmente de autorización contextual.

• Riesgo de Cadena de Suministro: Las habilidades representan un nuevo vector de malware de lenguaje natural que permite a los atacantes realizar exfiltración de datos, ransomware y acciones destructivas sin necesidad de exploits de código complejos.
• Recomendaciones:
  • Tratar los archivos de habilidades como código no confiable por defecto.
  • Implementar marcos de autorización consciente del contexto que evalúen la sensibilidad de la tarea actual y la fuente de la habilidad.
  • Aplicar el principio de mínimo privilegio a las capacidades de las habilidades.
• Impacto: El trabajo expone una vulnerabilidad estructural en la arquitectura de agentes modernos, sugiriendo que sin nuevos mecanismos de seguridad que entiendan el contexto semántico y las políticas de confianza, los agentes seguirán siendo un vector de ataque crítico para la cadena de suministro de IA.

El benchmark está disponible públicamente para que la comunidad investigue y desarrolle defensas más robustas.