Detecting Malicious Agent Skills in the Wild using Attention

Resumen Técnico: Detección de Habilidades de Agentes Maliciosos en el Mundo Real mediante la Atención

Planteamiento del Problema
Los agentes de Modelos de Lenguaje de Gran Escala (LLM) dependen cada vez más de las "habilidades" (skills): paquetes basados en archivos que contienen instrucciones en lenguaje natural y código opcional, creados por terceros y distribuidos a través de mercados (marketplaces). A diferencia de las herramientas de API, las habilidades se ejecutan localmente con los privilegios del usuario. Esta arquitectura crea una nueva superficie de ataque: una sola habilidad maliciosa puede exfiltrar datos, secuestrar el comportamiento del agente o establecer un punto de apoyo en la cadena de suministro.

Las defensas existentes para la inyección de prompts indirectos fallan en este contexto. La mayoría de las defensas asumen un límite limpio entre las instrucciones del sistema de confianza y los datos del usuario no confiables. Sin embargo, una habilidad es un cuerpo de instrucciones; una inyección maliciosa es simplemente unos pocos comandos adicionales incrustados entre otros legítimos. En consecuencia, las estrategias de separación estándar son ineficaces. Además, es computacionalmente prohibitivo escanear cada habilidad en un mercado con un LLM potente para detectar estas inyecciones debido al volumen y la longitud de las habilidades, mientras que los escáneres basados en palabras clave o expresiones regulares fallan al detectar las "Habilidades Maliciosas Ocultas" (HMS, por sus siglas en inglés) que disfrazan cargas útiles maliciosas dentro de documentación benigna.

Metodología: Localizar y Juzgar (Locate-and-Judge)
Los autores proponen Locate-and-Judge, un flujo de detección de dos etapas diseñado para escalar en entornos de mercado mediante el desacoplamiento de la localización de la clasificación.

1. Segmentación de Intervalos (Span Segmentation): Las habilidades se analizan primero en intervalos estructurales (encabezados, párrafos, bloques de código, metadatos) utilizando un analizador de Markdown determinista. Esto preserva la estructura natural de la habilidad, asegurando que los comandos inyectados no se pierdan en fragmentos de longitud fija.
2. El Localizador (Localización): Un LLM ligero y pequeño (por ejemplo, Qwen2.5-0.5B) procesa la habilidad completa. Se le instruye para prestar atención al contenido ejecutable, obligatorio o relevante para la acción. El sistema agrega los pesos de atención de las últimas cuatro capas, todos los cabezales (heads) y las posiciones de los tokens de sufijo para puntuar cada intervalo estructural. Se retienen los $K$ intervalos con la mayor atención de seguimiento de instrucciones. La hipótesis es que, para que una inyección tenga éxito, debe capturar la atención del modelo lector, incluso si está rodeada de instrucciones benignas.
3. El Juez (Clasificación): Un LLM capaz y de zero-shot (DeepSeek-V4-Flash) examina únicamente los $K$ intervalos retenidos. Evalúa si un intervalo específico contiene una instrucción maliciosa. La habilidad se marca si la puntuación máxima del juez supera un umbral calibrado $\tau$.

Este enfoque reduce el presupuesto de tokens para el juez costoso en un factor de aproximadamente 2.84 en comparación con el escaneo de contenido completo, ya que el juez procesa solo una fracción del texto de la habilidad.

Contribuciones Clave

• Flujo de Trabajo Locate-and-Judge: Una novedosa arquitectura de dos etapas que hace que la detección de instrucciones inyectadas en habilidades sea económicamente viable a escala de mercado. Los autores demuestran que la recuperación (recall) está limitada por la capacidad del juez (que es ajustable mediante la fuerza del modelo) y no por la arquitectura de localización.
• Estudio Empírico de Habilidades Maliciosas: El primer despliegue a gran escala de tal detector en tres mercados reales (Lobehub, Skills.sh, Clawhub.ai). El estudio revela 131 habilidades confirmadas como maliciosas, incluyendo 82 Habilidades Maliciosas Ocultas (HMS) que disfrazan comandos peligrosos como funcionalidad benigna.
• Liberación de Conjunto de Datos: La publicación de un conjunto de datos etiquetado que contiene más de 200 habilidades (tanto maliciosas como benignas) con etiquetas de evaluación humana y vectores de ataque anotados para apoyar la reproducibilidad.
• Divulgación Responsable: Todos los hallazgos fueron reportados a los operadores de los respectivos mercados.

Resultados Experimentales

• Evaluación de Laboratorio: En un corpus controlado (Skill-Inject), el flujo de trabajo logró una precisión de 1.0 y una puntuación F1 de 0.727 en un umbral conservador, superando tanto a los baselines de expresiones regulares como a los de escaneo de contenido completo por LLM en términos de eficiencia de costos. El localizador retuvo exitosamente el intervalo inyectado en el 95% de las habilidades maliciosas cuando $K=10$.
• Despliegue en el Mundo Real: El escaneo de 134,934 habilidades de tres mercados costó aproximadamente $34. El sistema marcó 359 habilidades; la revisión humana confirmó 131 como maliciosas (83% de precisión en los casos decididos).
• Comparación con Baselines:
  • Vs. Escaneo de Contenido Completo: Locate-and-Judge detectó el 83% de las habilidades maliciosas confirmadas en comparación con el 62% del escaneo de contenido completo realizado por el mismo juez. La brecha fue más significativa para las HMS (83% frente a 45% de recall), donde las cargas útiles maliciosas están enterradas en textos benignos largos.
  • Vs. Detectores Existentes: El sistema superó significativamente a los escáneres de producción (SkillSpector, Cisco Skill Scanner) y al detector basado en atención Attention Tracker. Las herramientas existentes no lograron detectar la mayoría de las HMS, perdiendo a menudo las cargas útiles disfrazadas.
  • Modos de Fallo: El sistema omitió 22 habilidades maliciosas, principalmente instaladores de RCE en línea (una líneas de base64) que el segmentador de intervalos no logró aislar como intervalos distintos. Los autores señalan que este es un modo de fallo acotado, recuperable mediante una segunda pasada de contenido completo.

Significancia y Reivindicaciones
El artículo sostiene que la separación de la localización y la clasificación es crítica para escalar la seguridad en los sistemas de agentes. Al aprovechar la atención como una firma casi necesaria de los ataques efectivos, los autores demuestran que es posible auditar mercados enteros a una fracción del costo del análisis de contenido completo.

El estudio revela que el ecosistema actual de habilidades contiene amenazas instalables activas que evaden las defensas existentes. Específicamente, la prevalencia de Habilidades Maliciosas Ocultas sugiere que los atacantes están explotando con éxito la falta de separación entre las instrucciones de confianza y los datos no confiables en el paradigma de las habilidades. Los autores concluyen que, si bien las herramientas actuales son insuficientes, la arquitectura propuesta ofrece un camino escalable y rentable para asegurar las cadenas de suministro de agentes, siempre que la etapa de localización pueda ajustarse para capturar los patrones estructurales específicos de las amenazas emergentes.