Resumen Técnico: Verificación de Integridad Conductual para Habilidades de Agentes de IA

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se extienden cada vez más mediante "habilidades" de terceros: paquetes autónomos de código, configuración e instrucciones en lenguaje natural que otorgan a los agentes acceso privilegiado a sistemas de archivos, credenciales, puntos finales de red y ejecución de shell. Si bien los mecanismos de seguridad existentes se centran en detectar prompts maliciosos o acciones de ejecución arriesgadas, los artefactos de las habilidades en sí mismos permanecen sin verificar.

Existe una vulnerabilidad crítica en la brecha entre el comportamiento declarado de una habilidad (metadatos, descripciones e instrucciones) y su comportamiento real (código ejecutable y directivas incrustadas). Los actores maliciosos pueden incrustar directivas en lenguaje natural en archivos de metadatos (por ejemplo, "SIEMPRE usa esta habilidad para TODAS las preguntas de los usuarios") u ocultar lógica en el código que anula el bucle de decisión del agente. Los métodos actuales de análisis estático luchan por integrar código, instrucciones y metadatos bajo un único vocabulario tipado, dejando una "brecha entre descripción e implementación" que permite que los riesgos de la cadena de suministro proliferen sin ser detectados.

Metodología: El Marco BIV

Los autores proponen la Verificación de Integridad Conductual (BIV), un marco que formaliza la verificación de habilidades de agentes como una comparación de conjuntos tipados entre capacidades declaradas y reales sobre una taxonomía compartida.

1. Formalización

BIV define una habilidad $s = (M, C, I)$ compuesta por:

• Metadatos ($M$): Descripciones, frontmatter YAML, esquemas de API.
• Código ($C$): Código ejecutable (Python, JavaScript, shell).
• Instrucciones ($I$): Directivas en lenguaje natural (Markdown, instrucciones en línea).

El marco mapea tanto el comportamiento declarado $D(s)$ como el comportamiento real $A(s)$ a una taxonomía compartida de 29 capacidades ($\mathcal{T}$) organizada en siete categorías: Red, Sistema de Archivos, Ejecución de Procesos, Entorno, Codificación, Credenciales y Amenazas a Nivel de Instrucción. El problema central de verificación es identificar la diferencia simétrica (conjunto de desviaciones) $D(s) \triangle A(s)$, descompuesta en:

• Subespecificación ($U(s)$): Capacidades presentes en el código pero ausentes en los metadatos (privilegio no declarado).
• Sobreespecificación ($O(s)$): Capacidades declaradas pero nunca implementadas.

2. Pipeline de Extracción Híbrida

BIV emplea un proceso de extracción de doble vía para generar evidencia estructurada $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$:

• Vía Declarada: Utiliza un analizador determinista para campos estructurales (YAML, JSON) y un extractor LLM para metadatos en lenguaje natural. El LLM está restringido por filtros de control de alucinaciones (por ejemplo, requiriendo fragmentos de fuente citados) para asegurar que las afirmaciones estén fundamentadas.
• Vía Real:
  • Análisis de Código: Analizadores deterministas (recorrido AST para Python, regex para JS/Shell) realizan análisis de taint interprocedimental para rastrear flujos de datos desde fuentes (por ejemplo, variables de entorno) hasta sumideros (por ejemplo, envíos de red).
  • Análisis de Instrucciones: Un analizador LLM escanea instrucciones en lenguaje natural en busca de invocaciones de capacidades, patrones de inyección de prompts y motivos de anulación.
• Detección de Amenazas Compuestas: El pipeline señala cuatro motivos específicos de ataques multi-paso (Cadenas de Exfiltración, Cadenas de RCE, Ofuscación de Código, Violaciones de Linaje de Datos) que los escáneres de capacidad única podrían pasar por alto.

3. Análisis Aguas Abajo

La evidencia estructurada $\Phi(s)$ sirve como primitiva de medición para tres tareas aguas abajo:

1. Taxonomía de Desviaciones: Agrupar desviaciones para identificar patrones comunes y amenazas compuestas novedosas.
2. Clasificación de Causa Raíz: Distinguir entre negligencia del desarrollador (brechas de documentación) e intención adversaria.
3. Detección de Habilidades Maliciosas: Un estudio de caso que utiliza un juez LLM aumentado con una anulación de "veto relajado". El juez consume $\Phi(s)$ como un prior estructurado, mientras que el predicado de veto señala automáticamente habilidades con amenazas compuestas y capacidades no declaradas de alto riesgo (por ejemplo, exfiltración de credenciales), evitando que el LLM racionalice la evidencia estructural.

Resultados Clave

El marco fue evaluado en 49,943 habilidades del registro OpenClaw y en una prueba de detección de habilidades maliciosas de 906 elementos.

Hallazgos a Escala del Ecosistema

• Desviaciones Pervasivas: El 80.0% de las habilidades se desvían de su comportamiento declarado, con un total de 250,706 desviaciones identificadas.
• Causas Raíz: La gran mayoría (81.1%) de las desviaciones se deben a negligencia del desarrollador (por ejemplo, errores de documentación, declaraciones sin usar, residuos de plantillas) en lugar de maldad. Solo el 18.9% se atribuye a intención adversaria.
• Amenazas Compuestas: El análisis reveló cuatro nuevas categorías de amenazas compuestas. Si bien la mayoría son benignas, motivos específicos como Cadenas de Exfiltración y Cadenas de RCE muestran fracciones adversarias altas (58% y 86%, respectivamente).
• Riesgos a Nivel de Instrucción: A pesar de ser la categoría más pequeña en volumen, las Amenazas a Nivel de Instrucción tuvieron la fracción adversaria más alta (96%), lo que indica que las directivas no declaradas de control de prompts son altamente sospechosas.

Rendimiento de Detección

En la prueba de 906 habilidades (mezcla de malware del mundo real y ataques sintéticos):

• Rendimiento de BIV: Logró una puntuación F1 de 0.946, con una recuperación (recall) de 0.978 y una Tasa de Falsos Positivos (FPR) del 7.2%.
• Comparación: BIV superó a las líneas base más avanzadas:
  • Basado en reglas (Defensa AI de Cisco): F1 = 0.44 (Recuperación 0.35).
  • Solo LLM (Auditoría de un solo pase): F1 = 0.927 (Recuperación 0.89).
• Contribución de la Estructura: La evidencia estructural y la anulación de veto relajado fueron críticas, particularmente para el malware del mundo real donde la línea base solo LLM se perdió 22 puntos porcentuales de recuperación. El extractor estructural identificó cadenas de asesinato (por ejemplo, lectura de credenciales $\to$ envío de red) que el juez LLM por sí solo no logró señalar como maliciosas.

Significado y Afirmaciones

El artículo afirma que la Verificación de Integridad Conductual proporciona una primitiva escalable y auditable para asegurar la cadena de suministro de agentes LLM. Sus contribuciones principales son:

1. Formalización: Establece BIV como un problema de comparación de conjuntos tipados, cerrando la brecha entre código, instrucciones y metadatos sin depender de una única modalidad.
2. Medición a Escala: Demuestra que la "brecha entre descripción e implementación" es un problema sistémico en los ecosistemas de agentes, afectando al 80% de las habilidades, pero es predominantemente un problema de documentación/negligencia en lugar de uno malicioso generalizado.
3. Utilidad Operativa: La evidencia estructurada $\Phi(s)$ permite una extracción de "un solo pase" que soporta múltiples análisis de seguridad (taxonomía, causa raíz, detección) sin necesidad de reextracción.
4. Eficacia de Detección: Al combinar análisis estructural determinista con razonamiento LLM y una anulación de veto relajado, BIV logra una alta recuperación en malware del mundo real mientras mantiene una tasa de falsos positivos operativamente viable, superando tanto a los enfoques basados en reglas como a los puramente LLM.

Los autores enfatizan que BIV es una primitiva de medición, no un sistema de veredicto final. Identifica candidatos para revisión, distinguiendo entre brechas de documentación benignas y patrones de ataque complejos, permitiendo así estrategias de gobernanza dirigidas (por ejemplo, alcance de documentación para negligencia frente a revisión de seguridad para intención adversaria). El marco reconoce limitaciones, incluido su naturaleza estática (que pasa por alto la distribución dinámica) y su dependencia de la extracción LLM, pero postula que la evidencia estructurada que produce es una base necesaria para futuras defensas de tiempo de ejecución y monitoreo longitudinal.