Structured Security Auditing and Robustness Enhancement for Untrusted Agent Skills

Aquí se presenta un resumen técnico detallado del artículo "Auditoría de Seguridad Estructurada y Mejora de la Robustez para Habilidades de Agentes No Confiables".

1. Declaración del Problema

El auge de las Habilidades de Agentes (capacidades empaquetadas que contienen SKILL.md, scripts, documentos de referencia y contexto del repositorio) introduce una vulnerabilidad de seguridad crítica: el contenido de terceros no confiable se integra directamente en la cadena de ejecución del agente.

• El Desafío Central: Las barreras de seguridad existentes suelen tratar la auditoría como una tarea de filtrado de un solo prompt, aplanando todo el paquete en un solo tramo de texto. Este enfoque falla porque:
  1. Evidencia Distribuida: Los indicadores de riesgo (por ejemplo, instrucciones de anulación ocultas, transferencias de datos disfrazadas) están distribuidos a través de múltiples archivos y roles de archivo, no concentrados en una sola descripción.
  2. Inestabilidad de la Etiqueta: Bajo reescrituras que preservan la semántica (ataques que cambian el texto superficial pero mantienen la intención), los modelos actuales sufren de "deriva de etiquetas", clasificando de manera inconsistente los paquetes maliciosos como meramente "sospechosos" o "benignos".
  3. Colapso de la Distinción: Las líneas base remotas fuertes a menudo señalan el riesgo pero no logran recuperar de manera estable la clase específica "maliciosa", colapsando la distinción entre sospechoso (requiere revisión) y malicioso (requiere bloqueo).

El artículo reformula la tarea como un problema de clasificación robusto de tres vías (Benigno, Sospechoso, Malicioso) que requiere agregación de evidencia cruzada entre archivos y estabilidad frente a ataques de reescritura.

2. Metodología: SKILLGUARD-ROBUST

Los autores proponen SKILLGUARD-ROBUST, una arquitectura inducida por descomposición de errores. En lugar de entrenar un único clasificador de caja negra de extremo a extremo, el sistema utiliza una pipeline escalonada e interpretable diseñada para resolver ambigüedades específicas encontradas en el análisis de fallos.

El marco consta de cuatro etapas:

Etapa I: Extracción de Evidencia Estructurada

• Objetivo: Recuperar la estructura del paquete en lugar de aplanarla.
• Mecanismo: En lugar de tratar el paquete como un solo tramo de texto, el sistema eleva cada archivo $(x_i, r_i)$ a un vector de evidencia condicionado al rol. Asigna pesos a diferentes roles de archivo (por ejemplo, SKILL.md, script, reference) y agrega señales de riesgo utilizando una función noisy-or (o-ruidoso).
• Beneficio: Esto preserva la evidencia fuerte de archivos críticos individuales mientras acumula señales débiles dispersas a través del paquete, evitando que la regla "máximo-sobre-archivos" oscurezca los riesgos distribuidos.

Etapa II: Activación por Incertidumbre y Verificación Semántica

• Objetivo: Resolver superposiciones semánticas locales (por ejemplo, distinguir la sincronización benigna de una transferencia disfrazada).
• Mecanismo: Un verificador semántico selectivo se invoca solo cuando la extracción inicial produce puntuaciones inciertas (activado por umbrales específicos en las señales de riesgo).
• Beneficio: Esto evita el costo de ejecutar un verificador pesado en cada muestra. Concentra los recursos computacionales en los casos "difíciles" donde las formas superficiales son ambiguas, generando juicios a nivel de cadena (Anulación, Transferencia, Arranque) en lugar de una etiqueta final de paquete.

Etapa III: Arbitraje de Cadena Consciente de Conflictos

• Objetivo: Resolver conflictos entre cadenas semánticas competidoras (por ejemplo, Arranque Remoto vs. Transferencia Disfrazada).
• Mecanismo: El sistema fusiona las puntuaciones de evidencia estructurada con las salidas de verificación semántica. Introduce una variable de bloqueo de conflicto para determinar si una muestra está dominada por una cadena de transferencia maliciosa o una cadena de arranque remoto.
• Beneficio: Esta etapa distingue explícitamente entre casos donde una "transferencia" es en realidad un "arranque" (lo cual podría depender de la política), corrigiendo errores donde jueces de un solo disparo no logran decidir qué cadena es decisiva.

Etapa IV: Consolidación de Consistencia de Ancla

• Objetivo: Garantizar la estabilidad a través de variantes de reescritura (Consistencia Exacta del Ataque).
• Mecanismo: El sistema analiza grupos de una muestra "ancla" y sus variantes de "reescritura". Si las reescrituras se clasifican consistentemente como "maliciosas" pero el ancla es "sospechosa", y se cumplen umbrales de confianza específicos, el ancla se promueve a "maliciosa".
• Beneficio: Esto repara inconsistencias residuales donde el significado semántico es estable a través de las reescrituras, pero la adjudicación inicial se quedó atrás.

3. Contribuciones Clave

1. Formalización: Definir la auditoría de seguridad pre-carga como un problema de decisión a nivel de paquete, identificando tres cadenas de ataque semántico recurrentes: Anulación Oculta, Transferencia Disfrazada y Arranque Remoto.
2. Insight Diagnóstico: Demostrar que el modo de fallo principal de las líneas base fuertes no es la "ceguera al riesgo" sino la inestabilidad de la distinción sospechoso/malicioso bajo reescrituras y conflictos cruzados entre archivos.
3. Arquitectura: Introducir SKILLGUARD-ROBUST, una pipeline de auditoría factorizada que combina recuperación de estructura, verificación selectiva y adjudicación que preserva la consistencia.
4. Evaluación: Construir SKILLGUARDBENCH y aumentarlo con extensiones de ecosistema público, creando cinco grandes vistas de evaluación (que van desde 254 hasta 404 paquetes) para probar el rendimiento en distribuciones principales, estrés congelado, casos límite y transferencias de ecosistemas externos.

4. Resultados Experimentales

El método fue evaluado en cinco grandes vistas (Principal, Todo-HO, Int.-estrés, Límite, Ext.-eco) frente a líneas base fuertes como Qwen2.5-14B (paquete completo) y BUNDLEJUDGE.

• Rendimiento en Agregado Retenido (404 paquetes):
  • Precisión Exacta General: 97.30%
  • Recall de Maliciosos de Riesgo: 98.33%
  • Consistencia Exacta del Ataque: 98.89%
• Rendimiento en Ecosistema Externo (254 paquetes):
  • Precisión Exacta General: 99.66%
  • Recall de Maliciosos de Riesgo: 100.00%
  • Consistencia Exacta del Ataque: 100.00%

Hallazgos Clave:

• Las Líneas Base Fallan en Estabilidad: Las líneas base fuertes (como Qwen2.5-14B) a menudo señalan el riesgo (alta "Precisión de Señalización") pero colapsan la clase "maliciosa" en "sospechosa", lo que lleva a una gran brecha entre la precisión de señalización y el recall de maliciosos.
• La Factorización Funciona: El enfoque escalonado supera significativamente tanto a los jueces de un solo disparo planos como a los jueces de un solo disparo estructurados (como BUNDLEJUDGE), demostrando que la agregación de evidencia estructurada y la reparación de consistencia son necesarias.
• Eficiencia de Costos: El método incurre en bajos costos remotos porque el verificador semántico solo se activa para muestras inciertas, a diferencia de las líneas base que releen cada paquete de extremo a extremo.

5. Significado y Conclusión

Este artículo establece que la auditoría robusta de habilidades es un problema de decisión estructural, no meramente una tarea de clasificación de texto.

• Cambio de Paradigma: Se aleja de "modelos más grandes resuelven todo" hacia "pipelines estructuradas resuelven modos de fallo específicos". Los resultados muestran que preservar la estructura del paquete, localizar la incertidumbre y reparar residuos de decisión son más efectivos que simplemente escalar el tamaño del modelo.
• Impacto Práctico: El método propuesto proporciona un marco desplegable e interpretable para controles de seguridad de pre-carga en sistemas de agentes, reduciendo significativamente el riesgo de que habilidades de terceros maliciosas entren en la cadena de ejecución.
• Limitaciones y Trabajo Futuro: Si bien el método alcanza una saturación casi total en vistas congeladas y de ecosistema público, el artículo reconoce que la "transferencia de mundo abierto" (reescrituras de atacantes adaptativos, multilingües o profundamente anidadas) sigue siendo un desafío abierto. El trabajo futuro debería centrarse en la verificación cruzada de múltiples verificadores y en manejar desplazamientos de fuente más complejos.

En resumen, SKILLGUARD-ROBUST demuestra que al descomponer la tarea de auditoría en extracción estructurada, verificación dirigida y reparación de consistencia, es posible lograr una alta robustez y estabilidad en la seguridad de habilidades de agentes no confiables frente a ataques sofisticados de múltiples archivos.