Malicious Or Not: Adding Repository Context to Agent Skill Classification

Este estudio presenta el análisis empírico de seguridad más amplio del ecosistema de habilidades de agentes de IA, demostrando que al incorporar el contexto del repositorio de GitHub se reduce drásticamente la tasa de falsos positivos en la clasificación de habilidades maliciosas y se revelan nuevos vectores de ataque, como el secuestro de habilidades en repositorios abandonados.

Lo esencial

Imagina que los agentes de IA (como Claude Code o OpenClaw) son como robots domésticos muy inteligentes. Estos robots pueden hacer tareas por ti, como escribir código, buscar información o gestionar tus archivos. Pero para que sean realmente útiles, necesitan herramientas adicionales, como si tu robot tuviera un cajón de herramientas que pudieras rellenar. A estas herramientas se les llama "habilidades" (skills).

Así como tienes una tienda de aplicaciones en tu teléfono (App Store) donde descargas juegos y utilidades, ahora existen "mercados de habilidades" para estos robots. Los desarrolladores suben sus herramientas allí para que otros las usen.

El Problema: El Pánico Desnecessario

Recientemente, los expertos en seguridad comenzaron a escanear estas tiendas de habilidades y dijeron: "¡Cuidado! Casi la mitad de estas herramientas son peligrosas y podrían robar tus datos o borrar tus archivos". Algunos mercados reportaban que hasta un 46.8% de las habilidades eran "maliciosas".

Esto era como si un inspector de seguridad en un supermercado gritara que el 50% de las manzanas están envenenadas, lo que habría causado un pánico enorme y habría cerrado las tiendas.

La Investigación: Una Mirada Más Profunda

Los autores de este estudio (Florian y su equipo) decidieron no quedarse con esa alarma. Se preguntaron: "¿Realmente son tan peligrosas, o los inspectores están confundidos?".

Para averiguarlo, hicieron algo genial:

1. Recolectaron todo: Bajaron y analizaron 238,180 habilidades de diferentes tiendas y de GitHub (el gran almacén de código del mundo).
2. Miraron el contexto: Aquí está la clave. Los escáneres antiguos miraban solo la "etiqueta" de la herramienta (lo que dice el desarrollador que hace) y la comparaban con una lista de reglas estrictas. Si la herramienta decía "puede conectar a internet", el escáner gritaba "¡PELIGRO!".

Pero los investigadores dijeron: "Espera, no podemos juzgar un libro solo por su portada. Tenemos que ver el libro completo".

La Analogía: El Vecino y la Casa

Imagina que ves a un vecino con una llave inglesa y un casco de construcción.

• El escáner antiguo (sin contexto): Ve la llave y el casco y piensa: "¡Este tipo es un ladrón! Tiene herramientas para romper cosas". Lo marca como peligroso.
• El nuevo análisis (con contexto): Mira alrededor. Ve que el vecino está frente a su propia casa, que tiene un cartel de "En construcción", y que está reparando una tubería rota. El contexto le dice: "Ah, no es un ladrón, es un fontanero arreglando su casa".

Los investigadores aplicaron esta lógica. En lugar de mirar solo la habilidad aislada, miraron todo el repositorio de GitHub donde vivía esa habilidad. ¿Quién la subió? ¿Es un proyecto antiguo y confiable? ¿El código alrededor coincide con lo que dice la herramienta?

Los Resultados: ¡Menos Falsas Alarmas!

Cuando añadieron este "contexto de vecindario" a su análisis, la historia cambió por completo:

• De las miles de habilidades que los escáneres antiguos marcaban como maliciosas, solo un 0.52% resultó ser realmente sospechosa cuando se miró el contexto completo.
• La gran mayoría (el 95%+) eran herramientas legítimas que los escáneres antiguos habían confundido por ser demasiado estrictos.

Un Nuevo Peligro Real: Los "Robots Fantasma"

Aunque descubrieron que la mayoría de las herramientas eran seguras, encontraron un problema real y nuevo que nadie había visto antes: El secuestro de repositorios abandonados.

Imagina que alguien deja una casa vacía en un barrio (un repositorio de GitHub abandonado). Un desarrollador de habilidades pone un cartel en su tienda que dice: "Mi herramienta vive en esa casa".

• Si el dueño original de la casa se va y nadie la reclama, un malhechor puede entrar, cambiar la cerradura y poner su propia herramienta maliciosa dentro.
• Como la tienda de habilidades sigue apuntando a la misma dirección (la misma URL), todos los robots descargan la herramienta maliciosa sin saber que la casa fue secuestrada.

El equipo encontró 121 habilidades que estaban en riesgo de ser secuestradas de esta manera, algunas de las cuales habían sido instaladas miles de veces.

Conclusión

En resumen, este estudio nos dice:

1. No entres en pánico: La mayoría de las habilidades para robots no son maliciosas. Los escáneres anteriores estaban gritando "fuego" donde solo había humo de una barbacoa.
2. El contexto es rey: Para saber si algo es seguro, no basta con leer la etiqueta; hay que ver dónde vive y quién lo cuida.
3. Cuidado con las casas vacías: Los mercados de habilidades deben asegurarse de que las herramientas no apunten a proyectos abandonados que puedan ser robados por hackers.

Gracias a este trabajo, podemos tener un ecosistema de robots más seguro y menos lleno de falsas alarmas, permitiendo que la tecnología avance sin miedo innecesario.

Resumen técnico

Resumen Técnico: Malicious Or Not

1. El Problema

La integración de habilidades (skills) en agentes de IA autónomos (como Claude Code o OpenClaw) ha permitido extender sus capacidades mediante módulos reutilizables. Sin embargo, la proliferación de mercados de habilidades ha generado preocupaciones de seguridad significativas.

• Alta tasa de falsos positivos: Los escáneres de seguridad actuales en los mercados de habilidades (ClawHub, Skills.sh, SkillsDirectory) clasifican agresivamente las habilidades como maliciosas, con tasas que oscilan entre el 6% y el 46.8%.
• Análisis aislado: Los escáneres existentes evalúan las habilidades de forma aislada (basándose principalmente en el archivo SKILL.md y el código ejecutable), ignorando el contexto del repositorio de código donde residen. Esto lleva a que comportamientos legítimos sean malinterpretados como amenazas.
• Vulnerabilidades de la cadena de suministro: Existe un riesgo estructural de secuestro (hijacking) de habilidades cuando estas apuntan a repositorios de GitHub abandonados o vulnerables.

2. Metodología

Los autores realizaron el mayor estudio empírico de seguridad del ecosistema de habilidades de IA hasta la fecha, utilizando un pipeline de tres etapas:

• Recolección de Datos (Escala Masiva):

  • Se recolectaron 238,180 habilidades únicas de tres plataformas principales (ClawHub, Skills.sh, SkillsDirectory) y de archivos históricos de GitHub (GHArchive).
  • Se realizó un análisis estático para identificar scripts, endpoints, dependencias y credenciales expuestas.

• Clasificación de Malicia (Comparativa):

  • Se compararon los resultados de los escáneres nativos de las plataformas (VirusTotal, Snyk, Socket, etc.) con dos herramientas propias:
    1. Cisco Skill Scanner: Un escáner de código abierto basado en análisis estático y de comportamiento.
    2. Análisis basado en LLM: Un modelo (Codex/GPT-5.3) que evalúa 25 características de comportamiento y lógica ejecutable.

• Análisis Consciente del Repositorio (Repository-Aware Analysis):

  • Para abordar la falta de contexto, se desarrolló un sistema que evalúa la congruencia entre la descripción de la habilidad y su entorno (el repositorio de GitHub).
  • Se calcularon dos métricas:
    1. Puntuación de Base de Código (70% peso): Evalúa la alineación semántica entre la descripción de la habilidad, el código fuente y la documentación (README).
    2. Puntuación de Metadatos (30% peso): Evalúa la madurez y credibilidad del repositorio (edad, estrellas, actividad de desarrollo, forks).
  • Se combinaron estas puntuaciones para generar una Puntuación de Contexto del Repositorio.

3. Contribuciones Clave

1. Conjunto de Datos a Gran Escala: Creación del dataset más grande de habilidades de agentes (238k+), que sirve como base para estudios longitudinales futuros.
2. Método de Análisis Contextual: Demostración de que incorporar el contexto del repositorio reduce drásticamente los falsos positivos, ofreciendo una visión más precisa de la superficie de riesgo real.
3. Descubrimiento de Nuevos Vectores de Ataque: Identificación de la vulnerabilidad de "secuestro de repositorios abandonados" en los índices de habilidades.
4. Herramientas y Reproducibilidad: Publicación del código y los datos para permitir la verificación y el desarrollo futuro.

4. Resultados Principales

• Reducción Masiva de Falsos Positivos:

  • Mientras que los escáneres originales clasificaban hasta el 46.8% de las habilidades como maliciosas, el análisis consciente del contexto redujo esta cifra a un 0.52% de los repositorios marcados como maliciosos.
  • De 2,887 habilidades marcadas como maliciosas por los escáneres, solo 15 casos (0.52%) permanecieron en repositorios genuinamente sospechosos tras el análisis contextual.
  • El 96% de las habilidades marcadas inicialmente como maliciosas estaban embebidas en repositorios cuya documentación y código coincidían coherentemente con la funcionalidad de la habilidad.

• Falta de Consenso entre Escáneres:

  • Existe una baja concordancia entre las herramientas. Solo 33 habilidades (0.12% de una muestra de 27,111) fueron marcadas como maliciosas por los cinco escáneres analizados simultáneamente.
  • La agregación de alertas a nivel de repositorio infla artificialmente la percepción de riesgo: aunque solo el 19.3% de las habilidades individuales son marcadas, el 45.9% de los repositorios contienen al menos una habilidad marcada.

• Vectores de Ataque Descubiertos:

  • Secuestro de Habilidades: Se identificaron 121 habilidades que apuntan a 7 repositorios vulnerables (abandonados o con nombres de usuario reutilizables). Un solo repositorio afectado tenía más de 1,000 instalaciones registradas.
  • Filtración de Metadatos: Se descubrió que la API de ClawHub expone inadvertidamente las direcciones de correo electrónico asociadas a las cuentas de GitHub de los propietarios de las habilidades, información que no es visible públicamente en GitHub.

• Análisis de Credenciales:

  • Se encontraron 12 credenciales funcionales (tokens de NVIDIA, ElevenLabs, Gemini, etc.) en las habilidades, aunque la mayoría de los desarrolladores parecen ser conscientes de la visibilidad pública de sus repositorios.

5. Significado e Impacto

Este estudio desafía la narrativa actual de que el ecosistema de habilidades de IA está saturado de malware. Sus implicaciones son críticas:

• Mejora de la Confianza: Proporciona a los usuarios y plataformas una metodología robusta para distinguir entre amenazas reales y comportamientos legítimos, evitando la parálisis por exceso de alertas.
• Seguridad de la Cadena de Suministro: Destaca la necesidad de que los mercados de habilidades migren a modelos de distribución directa (como lo hace ClawHub) en lugar de depender exclusivamente de la indexación de repositorios de terceros (GitHub), para mitigar el riesgo de secuestro de repositorios.
• Estandarización de Evaluación: Propone un nuevo estándar de evaluación de seguridad que no solo revisa el código, sino que valida la coherencia entre la intención declarada y el entorno de desarrollo, reduciendo la carga de los falsos positivos en un orden de magnitud.

En conclusión, el papel demuestra que la seguridad de los agentes de IA no puede evaluarse en el vacío; el contexto del repositorio es un indicador esencial para determinar la legitimidad de una habilidad.