Resumen Técnico: CODE-AUGUR: Detección de Vulnerabilidades Agéntica mediante la Inferencia de Especificaciones

1. Declaración del Problema

La aparición de agentes de Modelos de Lenguaje de Gran Escala (LLM) autónomos para la detección de vulnerabilidades ha revelado errores críticos y latentes en el software fundacional. Sin embargo, el razonamiento detrás de estos descubrimientos sigue siendo opaco. Los sistemas agénticos actuales operan infiriendo implícitamente supuestos de seguridad y razonando sobre rutas de código para señalar sospechosos. Este enfoque sufre de dos limitaciones primarias:

1. Opacidad: El razonamiento del agente es una trayectoria de lenguaje natural ambigua que es difícil de entender, validar o reutilizar en futuras auditorías.
2. Supuestos no Validados: Los agentes a menudo consideran que el código es seguro basándose en un razonamiento intuitivo y específico de la ruta, el cual no tiene en cuenta el espacio combinatorio de todas las entradas posibles. Crucialmente, mientras que los agentes validan los bugs sospechosos mediante ejecución dinámica, rara vez validan las especificaciones (supuestos) que los llevaron a considerar que otro código era seguro. Esto conduce a falsos negativos donde se pasan por alto vulnerabilidades porque los supuestos de seguridad subyacentes eran incorrectos.

Los enfoques existentes dependen ya sea de un razonamiento agéntico puramente estático (propenso a alucinaciones y casos de esquina omitidos) o de un fuzzing de fuerza bruta (que carece de comprensión semántica y lucha por alcanzar estados profundos del programa). Existe la necesidad de un sistema que haga que los juicios de seguridad tácitos de un agente sean explícitos, falsables y continuamente alineados con el comportamiento real del programa.

2. Metodología: CODE-AUGUR

Los autores proponen un paradigma de prioridad de la especificación de seguridad realizado en CODE-AUGUR, un nuevo entorno que une el análisis semántico agéntico y el fuzzing guiado. El sistema opera en un bucle de "razonar-falsificar-refinar".

Flujo de Trabajo Principal

1. Construcción del Modelo de Amenazas: CODE-AUGUR primero destila un modelo de amenazas a partir del código base, la documentación y el contexto de construcción. Esto define la superficie de ataque, los límites de confianza y las variables de estado relevantes para la seguridad.
2. Análisis de Invariantes (Razonamiento Estático):
   • El agente analiza los componentes del código frente al modelo de amenazas.
   • Si un componente se considera inseguro, se marca como candidato a bug.
   • Si un componente se considera seguro, el agente compromete explícitamente sus supuestos subyacentes como invariantes locales (especificaciones de seguridad) en forma de aserciones en el código fuente (por ejemplo, assert(fmt.channels == cs.channels)).
   • Estas invariantes sirven como "anclas de razonamiento" y "puntos de referencia direccionales" para la exploración posterior.
3. Falsificación de Invariantes (Validación Dinámica):
   • Un Fuzzer Guiado (usando herramientas de grey-box fuzzing como libFuzzer o Jazzer) tiene la tarea de falsificar las invariantes comprometidas.
   • El fuzzer es dirigido no solo por la cobertura de código, sino por la distancia hacia la violación de la invariante específica. Esto hace que la búsqueda sea más tratable al apuntar a inconsistencias semánticas superficiales en lugar de síntomas de fallos profundos.
   • Resultados de la Falsificación:
     • Vulnerabilidad Genuina: Si el fuzzer dispara una violación de invariante que corresponde a un defecto de seguridad real, se reporta como un bug.
     • Especificación Defectuosa: Si la violación es benigna (el código es realmente seguro, pero el supuesto del agente era demasiado estricto o incorrecto), el agente refina la invariante.
4. Validación de Bugs: Todos los candidatos se validan construyendo una Prueba de Vulnerabilidad (PoV) que alcanza el defecto a través de un punto de entrada confiable, asegurando que el bug sea alcanzable por un atacante.

Mecanismos Técnicos Clave

• Especificaciones Ejecutables: Las invariantes se escriben directamente en el código fuente en el lenguaje nativo del proyecto (por ejemplo, aserciones de C, comprobaciones de Java), convirtiéndolas en artefactos duraderos.
• Direccionamiento por Retroalimentación: El fuzzer recibe retroalimentación sobre qué tan cerca está una ejecución de violar una invariante (por ejemplo, mediante funciones de distancia por cubetas), guiándolo hacia estados inconsistentes que el razonamiento estático pasó por alto.
• Refinamiento Iterativo: Cuando ocurre una violación "benigna", el agente reevalúa la región del código y refina la especificación antes de que el fuzzer intente la falsificación nuevamente.

3. Contribuciones Clave

1. Paradigma de Prioridad de la Especificación de Seguridad: Un enfoque novedoso que externaliza los juicios de seguridad tácitos de un agente en especificaciones explícitas, falsables y ejecutables, alineando la visión del agente sobre la intención del código con el comportamiento real.
2. Sistema CODE-AUGUR: Una realización de este paradigma que combina el razonamiento de LLM con el fuzzing guiado. Compromete los supuestos como invariantes en el código fuente y utiliza un fuzzer para falsificarlos continuamente, formando un bucle cerrado de razonar-falsificar-refinar.
3. Efectividad Empírica: La evaluación demuestra que CODE-AUGUR supera significativamente a los sistemas agénticos de última generación (CLAUDE CODE y el ganador de AIxCC, ATLANTIS) en el descubrimiento de bugs.
4. Impacto en el Mundo Real: El sistema descubrió 22 vulnerabilidades previamente desconocidas en proyectos de código abierto ampliamente utilizados (16 confirmadas/corregidas, varias con recompensas por errores), incluyendo proyectos bajo fuzzing continuo (por ejemplo, gpsd, zlib).
5. Artefactos Duraderos: Las invariantes inferidas sirven como especificaciones de seguridad reutilizables que persisten más allá de una sola auditoría, ayudando a identificar correcciones incompletas y familias de bugs en ciclos de desarrollo posteriores.

4. Resultados de la Evaluación

Los autores evaluaron CODE-AUGUR en dos benchmarks: el AIxCC (DARPA AI Cyber Challenge) y la base de datos OSV (Open Source Vulnerability).

• Tasa de Descubrimiento de Bugs:
  • En el benchmark de AIxCC, CODE-AUGUR encontró entre un 34% y un 63% más de bugs que las líneas base (CLAUDE CODE y ATLANTIS) utilizando diferentes LLM de respaldo (Claude Sonnet 4.6 y DeepSeek V4 Pro).
  • En el benchmark de OSV, encontró entre un 61% y un 370% más de bugs que las líneas base.
  • Crucialmente, CODE-AUGUR encontró nuevos bugs en un rango más amplio de sujetos (16/23 grupos de desafío) en comparación con las líneas base.
• Contribución de Componentes: El análisis mostró que la falsificación de invariantes fue la principal vía de descubrimiento, representando el 36–41% de las vulnerabilidades encontradas con el modelo Claude. Esto resalta el valor del bucle razonar-falsificar-refinar sobre el análisis estático puro o el fuzzing ciego.
• Eficiencia de Costos: CODE-AUGUR usando el modelo de pesos abiertos DeepSeek superó a las líneas base que usaban el modelo propietario Claude en el recuento total de vulnerabilidades, operando además a una fracción del costo.
• Caso de Estudio (gpsd): El sistema identificó una familia de bugs en gpsd donde una sola invariante (satellites_visible <= MAXCHANNELS) expuso una corrección incompleta, vinculando múltiples bugs relacionados entre diferentes controladores, y finalmente reveló que el propio límite de capacidad era demasiado bajo. Esto demostró la utilidad de las invariantes como controles de regresión a largo plazo.

5. Significado y Reivindicaciones

El artículo afirma que CODE-AUGUR representa un cambio de "encontrar bugs" a "generalizar el conocimiento". Al hacer que las especificaciones de seguridad sean explícitas y verificables, el sistema:

• Reduce las Barreras de Confianza: Proporciona un registro transparente y auditable de por qué se consideró seguro un código, abordando la naturaleza de "caja negra" del análisis agéntico.
• Une Paradigmas: Combina efectivamente el razonamiento semántico de los LLM con la exploración exhaustiva del fuzzing, aprovechando las fortalezas de ambos para cubrir las debilidades del otro.
• Democratiza la Seguridad: Demuestra que la detección de vulnerabilidades agéntica efectiva puede construirse sobre LLM de pesos abiertos ampliamente disponibles (como DeepSeek) en lugar de requerir acceso exclusivo a modelos de frontera especializados y curados (como Claude Mythos).
• Prepara el Código para el Futuro: Las invariantes inferidas actúan como artefactos duraderos que pueden ser mantenidos y reutilizados, ayudando a prevenir regresiones y correcciones incompletas en futuros ciclos de desarrollo.

Los autores concluyen que, a medida que la IA participa cada vez más en el desarrollo de software, la capacidad de extraer y mantener el conocimiento de seguridad generalizado (mediante especificaciones) es crítica para asegurar la infraestructura digital.