Resumen Técnico: Hacia la SuperInteligencia Cibernética (CSI)

1. Declaración del Problema

Los sistemas de IA para ciberseguridad están convergiendo actualmente hacia una única estructura de ejecución por agente: un bucle iterativo de shell impulsado por un Modelo de Lenguaje Grande (LLM). Aunque frameworks como PentestGPT y Ciberseguridad IA (CAI) han demostrado resultados a nivel de practicante, operan bajo la premisa de que una única estructura optimizada de extremo a extremo es el enfoque superior para todos los desafíos.

El artículo identifica una brecha crítica: las estructuras no son envoltorios intercambiables. Difieren fundamentalmente en cómo se comprometen con las acciones (un solo intento vs. iterativo), gestionan los registros de herramientas (shell libre vs. API restringida), manejan el contexto y hacen cumplir los límites de costo/vuelta. Estas diferencias estructurales guían al LLM a través de regiones distintas del espacio de soluciones. La pregunta de investigación central es: ¿Cuál es el mejor arnés para la IA de ciberseguridad? Específicamente, ¿fallan y tienen éxito diferentes estructuras en los mismos elementos, o son complementarias? Si es lo segundo, el arnés óptimo podría no ser una única estructura, sino una combinación de estructuras estructuralmente heterogéneas.

2. Metodología

Para investigar esto, los autores introdujeron SuperInteligencia Cibernética (CSI), una meta-estructura diseñada para unificar arneses de agentes heterogéneos bajo una capa de orquestación común.

2.1 La Arquitectura CSI

CSI actúa como una interfaz de línea de comandos que envuelve diversas estructuras de agentes LLM detrás de un único ejecutable y un proxy de enrutamiento local.

• Orquestación Unificada: Envuelve diversos backends (Claude Code, Codex CLI, Mistral Vibe, una estructura generativa y el framework CAI) detrás de un arnés de referencia uniforme.
• Proxy de Enrutamiento: Cada solicitud de cualquier backend pasa por un proxy local que realiza traducción de protocolos de cable, hace cumplir la supresión de telemetría y mantiene un libro mayor JSONL unificado para la contabilidad de costos.
• Mecanismo de Pizarra: La arquitectura soporta un sustrato simbólico compartido (una pizarra) donde los agentes pueden intercambiar hallazgos tipados, permitiendo la comunicación entre estructuras sin modificar el código de la estructura individual.

2.2 Estructuras bajo Comparación

El estudio evaluó cinco estructuras distintas, todas ejecutando el mismo modelo fijo (alias2-mini) para aislar el impacto de la estructura del arnés:

1. CSI::Claude: Envuelve la CLI de Claude Code con un bucle de herramientas iterativo y acceso libre a la shell.
2. CSI::Codex: Envuelve la CLI de OpenAI Codex con un bucle iterativo similar pero con gestión de contexto y protocolos de cable diferentes.
3. CSI::CAI: Envuelve el framework CAI con un registro de herramientas Python restringido y límites estrictos de costo/vuelta.
4. CSI::GCAI (IA Cibernética Generativa): Una estructura minimalista y autónoma de TypeScript de ~1.400 líneas. Utiliza un régimen de razonamiento de un solo intento con re-prompting iterativo y un prompt de sistema ajustado, generado mediante un bucle de autoinvestigación.
5. CSI::Mistral: Envuelve Mistral Vibe, un agente CLI minimalista que utiliza protocolos nativos de llamada a funciones.

2.3 Referencia y Evaluación

La evaluación se realizó en un subconjunto de 33 desafíos de cybench, abarcando cinco niveles de dificultad (Muy Fácil a Muy Difícil) y cuatro categorías (criptografía, ingeniería inversa, explotación web, miscelánea).

• Restricciones: Todas las estructuras se ejecutaron en contenedores Docker aislados con los mismos tiempos de espera de reloj de pared y medidas anti-trampa (limpieza de banderas).
• Métricas: El estudio midió tasas de resolución, tiempo de reloj de pared, costo total, conteo de comandos y uso de tokens.
• Modos Experimentales:
  • Ejecuciones Independientes: Cada estructura se ejecutó sola para establecer el rendimiento base.
  • Techo de Unión: La cobertura máxima teórica si todas las estructuras se ejecutaran secuencialmente.
  • Carrera Paralela: Todas las estructuras se ejecutaron simultáneamente contra instancias aisladas del mismo desafío; la primera en resolver terminó las demás.
  • Pizarra (Escritura Cruzada): Las estructuras se ejecutaron en paralelo contra el mismo objetivo, compartiendo un directorio montado para intercambiar hallazgos intermedios.

3. Contribuciones Clave

1. Complementariedad Empírica: El estudio demuestra que ninguna estructura individual domina. Mientras que las mejores estructuras individuales (CSI::Claude y CSI::Codex) resolvieron 15/33 desafíos (45.5%), su unión resolvió 17/33 (51.5%). Crucialmente, cada una de las cuatro estructuras principales contribuyó con al menos una resolución exclusiva que las demás perdieron.
2. Estructura Generativa Minimalista (GCAI): Los autores presentan CSI::GCAI, una estructura ligera y auditable que logra 10/33 resoluciones (30.3%). A pesar de su simplicidad, iguala el rendimiento de frameworks más complejos como Mistral Vibe y supera a su predecesor CAI, demostrando que las estructuras ligeras pueden competir con frameworks de nivel de producción.
3. Arquitectura Multiagente de Pizarra: El artículo valida una arquitectura de carrera paralela con una pizarra compartida. Esta configuración permitió a las estructuras intercambiar hallazgos, superando el "techo de unión" teórico de las ejecuciones independientes.
4. Definición del "Mejor Arnés": El artículo concluye que el arnés óptimo para la IA de ciberseguridad no es una única estructura, sino la combinación de estructuras estructuralmente heterogéneas bajo un protocolo multiagente.

4. Resultados

4.1 Rendimiento Individual

• CSI::Claude y CSI::Codex: Empataron en la tasa de resolución individual más alta con 15/33 (45.5%).
• CSI::GCAI: Resolvió 10/33 (30.3%). Fue la más rápida y rentable en desafíos dentro de su envolvente de capacidad, pero sufrió de alta latencia de cola debido a reintentos exhaustivos durante la referencia en desafíos no resolubles.
• CSI::CAI: Resolvió 7/33 (21.2%) pero fue la más eficiente en costos (104 $ por resolución) y la más rápida en tiempo de reloj de pared.
• CSI::Mistral: Resolvió 10/33 (30.3%) y contribuyó con una resolución exclusiva (crushing) no encontrada por las otras cuatro.

4.2 Complementariedad y Unión

• Techo de Unión: La unión de las cuatro estructuras principales resolvió 17/33 desafíos (51.5%).
• Resoluciones Exclusivas:
  • CSI::Claude: were pickle phreaks revenge
  • CSI::Codex: noisier crc
  • CSI::CAI: back to the past
  • CSI::Mistral: crushing
  • CSI::GCAI no contribuyó con resoluciones exclusivas, pero fue esencial para la amplitud del conjunto.

4.3 Rendimiento a Nivel de Arquitectura

• Carrera Paralela (Sin Comunicación): Resolvió 17/33 (igualando el techo de unión) en 24.0 horas, una compresión de 3.8 veces en tiempo de reloj de pared en comparación con la ejecución secuencial (91.5 horas).
• Pizarra (Escritura Cruzada): Al permitir que las estructuras compartieran hallazgos intermedios, el sistema resolvió 19/33 desafíos (57.6%).
  • Esto representa una ganancia relativa del 27% sobre la mejor estructura individual (15/33).
  • Fue un 25% más rápido (20.2 horas) que la mejor estructura individual (26.8 horas) y logró esto a un costo comparable (5.480 $ frente a 5.122 $).
  • La pizarra ganó dos desafíos (failproof, just another pickle jail) que no fueron resueltos por el techo de unión, demostrando que el intercambio de información crea sinergia más allá de la simple paralelización.

5. Significado y Afirmaciones

El artículo afirma que la heterogeneidad de las estructuras es una palanca estructural hacia la superinteligencia cibernética, en lugar de una ineficiencia de ingeniería que deba optimizarse hasta eliminarla.

• Más allá de la Optimización de Agente Único: Los resultados desafían la premisa de diseño predominante de que una única estructura optimizada de extremo a extremo es suficiente. En cambio, la intersección de diferentes modelos mentales (representados por diferentes estructuras) produce una mayor cobertura.
• Postura Bio-Inspirada: Extendiendo el trabajo de G-CTR (que inyectó heurísticas de teoría de juegos en un solo agente), este trabajo mueve la inyección de heurísticas al nivel de población de agentes. Plantea que, así como los equipos de seguridad humanos se benefician de una experiencia diversa (ingenieros inversos, criptanalistas, etc.), los sistemas de IA se benefician de estructuras estructuralmente diversas.
• Límite Inferior de Capacidad: La tasa de éxito del 57.6% con un solo modelo (alias2-mini) mediante una arquitectura de pizarra heterogénea se presenta como un límite inferior. Los autores sugieren que combinar esta heterogeneidad de estructuras con heterogeneidad de modelos (usando múltiples LLMs) y programación avanzada podría impulsar aún más la cobertura.

El artículo concluye que el "mejor arnés" no es la optimización de un solo agente, sino la orquestación de estructuras estructuralmente heterogéneas bajo un protocolo multiagente cuidadosamente diseñado.