Resumen Técnico: SkillVetBench

Planteamiento del Problema

Las plataformas agénticas abiertas (por ejemplo, OpenClaw, NanoClaw) permiten que los contribuyentes de la comunidad publiquen "habilidades" (skills) reutilizables que los agentes invocan en tiempo de ejecución. Si bien esta extensibilidad impulsa el crecimiento del ecosistema, introduce un riesgo crítico de la cadena de suministro: los contribuyentes malintencionados pueden incrustar comportamientos dañinos dentro de las habilidades que parecen benignas bajo una inspección superficial. Incidentes recientes, como la campaña ClawHavoc que inyectó 1,184 habilidades maliciosas en el mercado ClawHub, demuestran que las defensas existentes son insuficientes.

El desafío central identificado es que las herramientas actuales de verificación de seguridad carecen de un benchmark sistemático para evaluar tanto la detección de habilidades maliciosas como la verificación en tiempo de ejecución. Los escáneres estáticos tradicionales fallan al detectar amenazas codificadas en instrucciones de lenguaje natural (por ejemplo, inyección de prompts, envenenamiento de memoria) o aquellas que solo se manifiestan a través de interacciones entre componentes en tiempo de ejecución. Por el contrario, el análisis dinámico sin fundamentación semántica produce registros ininterpretables. Existe una brecha en la capacidad de verificar si las afirmaciones estáticas de una habilidad se alinean con su comportamiento ejecutable real.

Metodología

Los autores presentan SkillVetBench, un marco de benchmark de verificación de seguridad de dos etapas diseñado para evaluar ecosistemas de habilidades agénticas abiertas. El marco se construye sobre un conjunto de datos de 100 habilidades (78 confirmadas como maliciosas, 22 controles benignos) extraídas del repositorio vivo de OpenClaw, incluyendo muestras de la campaña ClawHavoc.

Etapa 1: Análisis Semántico (LLM-as-a-Judge)

La primera etapa realiza un análisis estático del artefacto completo de la habilidad (especificaciones en lenguaje natural, código ejecutable, archivos de configuración e interfaces de herramientas).

• Mecanismo: Un LLM actúa como un "juez" para razonar sobre la intención declarada, las estructuras de ataque entre componentes y los riesgos composicionales.
• Dimensiones de Evaluación: Las habilidades se califican en cinco dimensiones de riesgo agéntico (escala 0–3):
  1. Riesgo de Fidelidad de Instrucción (IFR): Susceptibilidad a la inyección de prompts o la anulación de instrucciones.
  2. Gravedad de Datos (DG): Sensibilidad de los datos accedidos (ej. credenciales, claves privadas).
  3. Irreversibilidad de Acción (AI): Si los efectos pueden ser deshechos (ej. eliminaciones frente a lecturas).
  4. Radio de Explosión (BR): Alcance del daño (usuario único frente a multiplataforma).
  5. Amplificación de Cadena (CA): Potencial peligro al componerse con otras habilidades.
• Salida: Estos puntajes se agregan en un Puntaje de Riesgo Agéntico de Habilidad (SARS) para clasificar las habilidades como Benignas, Sospechosas o Maliciosas. Esta etapa apunta específicamente a amenazas invisibles para los escáneres basados en firmas, como aquellas ocultas en instrucciones de lenguaje natural.

Etapa 2: Análisis Programático (Ejecución en Sandbox)

La segunda etapa ejecuta las habilidades marcadas como "Sospechosas" o "Maliciosas" en la Etapa 1 dentro de un sandbox Docker instrumentado y aislado.

• Entorno: Se despliega un stack local de OpenClaw con acceso a la red, operaciones de sistema de archivos, ejecución de comandos y acceso a credenciales monitoreados.
• Proceso: El sandbox emite tanto prompts benignos (para probar la funcionalidad declarada) como prompts adversarios (para sondear inyección, abuso de privilegios y exfiltración de datos).
• Verificación: Una habilidad se escala de "Sospechosa" a "Maliciosa" solo si el registro de ejecución contiene una traza concreta y atribuible de comportamiento dañino (ej. modificación del sistema de archivos, comunicación de red saliente o ejecución de comandos no autorizada).
• Evidencia: Esta etapa genera trazas de evidencia auditables (261,891 líneas de registro de gateway en el estudio) para confirmar amenazas en tiempo de ejecución.

Contribuciones Clave

1. Marco SkillVetBench: El primer benchmark de dos etapas que acopla el análisis semántico basado en LLM con la ejecución controlada en tiempo de ejecución para verificar habilidades agénticas. Une la brecha entre el análisis de intención estática y la verificación de comportamiento dinámico.
2. Taxonomía Completa de Vulnerabilidades: El benchmark define y evalúa siete categorías específicas de vulnerabilidad relevantes para sistemas agénticos:
   • Ejecución de código: Inyección de comandos, Operaciones de archivo inseguras.
   • Capa de instrucción/Agéntica: Inyección de prompts, Envenenamiento de memoria, Abuso de privilegios.
   • Datos/Cadena de suministro: Exposición de datos, Riesgos de la cadena de suministro.
3. Métricas y Puntuación Novedosas: Introducción de la métrica SARS y la integración de CVSS v4.0 para la puntuación estática, permitiendo una evaluación de riesgo multidimensional que considera amenazas específicas de agentes como el secuestro de instrucciones y la amplificación de cadena.
4. Dataset Empírico: Un benchmark curado de 78 habilidades confirmadas como maliciosas y 22 controles benignos, proporcionando un conjunto de datos de verdad fundamental para evaluar futuras herramientas de seguridad.

Resultados Experimentales

Los autores evaluaron SkillVetBench contra ocho líneas base, incluyendo escáneres oficiales del mercado (ClawScan, ClawVet), herramientas de análisis estático (CodeBERT) y enfoques basados en LLM (prompting zero/few-shot, SkillProbe, SkillSieve).

• Desempeño de Detección: SkillVetBench logró cero falsos negativos en todas las 78 habilidades confirmadas como maliciosas, superando a todas las líneas base.
  • Las líneas base perdieron hasta el 89% de las habilidades maliciosas, particularmente en categorías que carecen de firmas a nivel de código (ej. Inyección de Prompts, Envenenamiento de Memoria). Por ejemplo, ClawScan perdió el 84% de las habilidades de Inyección de Prompts, y VirusTotal perdió el 100% de ellas.
  • SkillVetBench fue el único sistema en emitir veredictos de "Malicioso" respaldados por trazas de ejecución en sandbox para 5 casos de Inyección de Comandos y 1 de Envenenamiento de Memoria.
• Análisis de Comportamiento en Tiempo de Ejecución: El análisis de 261,891 líneas de registro reveló que los ataques confirmados se concentran en un pequeño conjunto de primitivas de alto permiso: exec, write_file, install_skill, spawn y subagent. Las herramientas de solo lectura produjeron casi cero ataques confirmados.
• Discrepancia Estática vs. Dinámica: El estudio encontró que, si bien los escáneres estáticos (y CVSS v4.0) identifican eficazmente exploits de código directo, fallan al capturar amenazas composicionales y de la capa de instrucción. Por ejemplo, los riesgos de Exposición de Datos y de la Cadena de Suministro fueron calificados frecuentemente como "Bajos" por la puntuación estática de CVSS, pero como "Sospechosos" por el marco SARS multidimensional debido a su contexto en tiempo de ejecución.
• Sensibilidad del Evaluador: El estudio mostró que el desempeño del juez LLM varía significativamente según la arquitectura y el tamaño del modelo. Eran necesarios modelos con al menos 7B de parámetros y una fuerte alineación de seguimiento de instrucciones (ej. Qwen2.5-32B, Llama-3.1-7B) para una detección confiable, mientras que los modelos más pequeños o menos alineados exhibieron una subdetección sistemática o una puntuación mal calibrada y excesivamente sensible.

Significancia y Reivindicaciones

El artículo afirma que SkillVetBench aborda una brecha de evaluación crítica en los ecososistemas agénticos abiertos. Su principal significancia radica en demostrar que la verificación confiable de habilidades requiere tanto la detección de amenazas semánticas como la verificación en tiempo de ejecución.

• Complementariedad: Los autores posicionan a SkillVetBench no como un reemplazo para las herramientas existentes, sino como un marco complementario que aborda los puntos ciegos estructurales de los sistemas actuales: la incapacidad de razonar sobre amenazas en la capa de instrucción y la ausencia de verificación en tiempo de ejecución.
• Veredictos Basados en Evidencia: Al fundamentar los veredictos finales en trazas de ejecución concretas en lugar de solo sospecha estática, el marco proporciona un flujo de trabajo reproducible para evaluar si el comportamiento de una habilidad se activa bajo condiciones realistas.
• Seguridad de la Cadena de Suministro: El trabajo destaca que la "apertura" de las plataformas agénticas crea una superficie de ataque única donde el comportamiento malintencionado se distribuye a menudo entre instrucciones de lenguaje natural, archivos de configuración y código ejecutable, lo que requiere una estrategia de defensa integral de dos etapas.

Los autores concluyen que, sin tales benchmarks sistemáticos y sistemas de verificación que produzcan evidencia, las plataformas agénticas abiertas permanecen vulnerables a ataques de la cadena de suministro que evaden el análisis estático tradicional.