💻 computer science

CyberLLM: A Multi-Agent LLM Framework for Autonomous Detection and Guarded Response in Automotive Cybersecurity

Este artículo presenta CyberLLM, un marco de trabajo multiagente que combina el análisis determinista con el razonamiento basado en LLM y salvaguardas de seguridad formales para detectar y remediar de forma autónoma vulnerabilidades de ciberseguridad automotriz, garantizando cero falsos positivos y manteniendo una estricta supervisión humana.

Autores originales: Nenad Petrovic, Oussama Jeddou, Feres Ben Fraj, Vahid Zolfaghari, Fengjunjie Pan, Andre Schamschurko, Alois Knoll

Publicado 2026-08-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nenad Petrovic, Oussama Jeddou, Feres Ben Fraj, Vahid Zolfaghari, Fengjunjie Pan, Andre Schamschurko, Alois Knoll

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el coche moderno no solo como una máquina con un motor, sino como una supercomputadora sobre ruedas. Este es el mundo de los "Vehículos Definidos por Software", donde los frenos, la dirección y el entretenimiento de tu coche están controlados por líneas de código que pueden actualizarse de forma inalámbrica, de forma muy similar a una aplicación en tu teléfono. Si bien esto hace que los coches sean más inteligentes y personalizables, también los convierte en objetivos para los hackers. Si un actor malintencionado logra introducir un virus en ese código, teóricamente podría tomar el control del vehículo. La gran pregunta que se plantean los científicos es: ¿Cómo construimos un sistema de seguridad que sea lo suficientemente inteligente como para encontrar estas trampas digitales ocultas por sí mismo, pero lo suficientemente cuidadoso como para no romper accidentalmente el coche al intentar arreglarlo? Esta es la delicada danza entre la "autonomía" (permitir que la computadora actúe) y la "seguridad" (asegurarse de que nunca haga nada peligroso).

Presentamos CyberLLM, un nuevo marco diseñado por investigadores de la Universidad Técnica de Múnich para resolver exactamente este problema. Piensa en ello como un equipo de guardaespaldas digitales para tu coche, donde los "cerebros" están impulsados por Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés)—el mismo tipo de IA que puede escribir historias o chatear contigo. Pero aquí está el giro: estos agentes de IA no tienen permitido actuar sin control. Los investigadores construyeron un "sobre de seguridad" a su alrededor, un conjunto estricto de reglas que actúa como un portero en un club. La IA puede detectar problemas y sugerir soluciones, pero un guardia de seguridad independiente e inamovible debe aprobar cada movimiento antes de que este ocurra.

El artículo pone a prueba este sistema en un conjunto realista de nueve módulos de software automotriz escritos en C, C++ y Rust, que fueron sembrados secretamente con 47 tipos diferentes de vulnerabilidades (como puertas traseras ocultas o errores de lógica). Los resultados son bastante prometedores. El sistema utiliza un proceso de detección de dos pasos. Primero, una "capa determinista" actúa como un escáner de reglas ultra rápido que busca patrones conocidos de mal funcionamiento. Esta capa, por sí sola, detectó el 34% de los errores con una precisión perfecta (cero falsas alarmas). Luego, la IA interviene para refinar la búsqueda. Al combinar el razonamiento de la IA con las reglas estrictas, el sistema logró encontrar aproximadamente el 70% de las vulnerabilidades totales. Crucialmente, incluso con la ayuda de la IA, el sistema mantuvo una precisión del 100% en el código limpio, lo que significa que no marcó ninguna parte segura del coche como peligrosa.

Los investigadores también construyeron una "tubería de ataque simétrica", que es como un campo de práctica donde un equipo rojo de hackers de IA intenta romper el coche utilizando los mismos escenarios que los defensores intentan proteger. Esto permite probar ambos lados de la batalla en un terreno idéntico. El estudio sugiere que, si bien los agentes de IA pueden ser increíblemente útiles para detectar problemas de seguridad complejos que las herramientas tradicionales pasan por alto, deben estar envueltos en un sistema de seguridad rígido y auditable para poder ser confiables en entornos del mundo real que son críticos para la seguridad, como los automóviles. El artículo no afirma que este sea un problema resuelto o una solución mágica; más bien, demuestra que, con las salvaguardas adecuadas, la IA puede duplicar la tasa de detección de fallos de seguridad sin comprometer nunca la seguridad del vehículo.

Resumen Técnico: Marco de Trabajo CyberLLM para la Ciberseguridad Automotriz

1. Planteamiento del Problema

La transición hacia los Vehículos Definidos por Software (SDV) ha expandido significativamente la superficie de ataque automotriz, introduciendo vulnerabilidades en el código fuente, los registros de ejecución (logs) y las topologías de despliegue. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen el potencial de razonar sobre estos artefactos heterogéneos y proponer remediaciones, su aplicación en entornos críticos para la seguridad enfrenta dos desafíos primarios:

Naturaleza Probabilística: Los LLM pueden alucinar hallazgos o pasar por alto problemas, lo que los hace poco fiables como única base para decisiones de seguridad.
Restricciones de Seguridad (Safety): Los agentes autónomos que actúan sobre los vehículos nunca deben ejecutar acciones inseguras o no autorizadas, incluso cuando los inputs son manipulados adversariamente (por ejemplo, mediante inyección de prompts o envenenamiento de memoria).

Las herramientas actuales suelen abordar estas capas de forma aislada utilizando escáneres basados en reglas o revisiones manuales, careciendo de la capacidad de razonar a través de las capas o de actuar de forma autónoma con supervisión. Existe la necesidad de un marco de trabajo que equilibre la detección autónoma con un envoltorio de seguridad determinista y auditable.

2. Metodología: El Marco de Trabajo CyberLLM

CyberLLM es un marco de trabajo multi-agente, orquestado por LLM, diseñado para detectar vulnerabilidades de forma autónoma y ejecutar remediaciones bajo un guardián de seguridad de tiempo de ejecución formal. El sistema opera en un flujo de trabajo basado en esquemas donde cada agente deriva de un BaseAgent común, asegurando la procedencia obligatoria de todos los inputs.

A. Arquitectura de Detección por Capas

La fase de detección fusiona el análisis determinista con el refinamiento por LLM para lograr una alta recuperación (recall) sin sacrciaficar la precisión:

Suelo Determinista: Una capa "siempre activa" que comprende:
- Reglas de Regex: Patrones multilínea y no sensibles a mayúsculas/minúsculas para código.
- Analizadores AST: Ejecución en entornos aislados (sandboxed) de herramientas como Bandit (Python) y Semgrep (otros lenguajes).
- Verificaciones de Grafo de Topología: Análisis estático de archivos YAML de despliegue contra invariantes (por ejemplo, actores externos con bordes de escritura hacia la memoria).
- Analizadores de Logs: Detectores temporales/estadísticos para anomalías como intentos de fuerza bruta o canales encubiertos de DNS.
Pasada de Refinamiento por LLM: Los aciertos deterministas se inyectan como contexto en los escáneres de LLM. Se instruye estrictamente al LLM para que refine, explique o extienda los hallazgos existentes en lugar de inventar nuevos. Una pasada de "crítico de completitud" apunta específicamente a defectos semánticos (por ejemplo, condiciones de carrera de datos, TOCTOU) que las regex no pueden detectar.
Fusión: Los hallazgos se deduplican; la capa determinista actúa como la verdad fundamental (ground truth), con el LLM añadiendo valor solo cuando identifica nuevos loci genuinos.

B. Motor de Decisión y Respuesta

Un Agente de Decisión central agrega los hallazgos, los etiqueta utilizando una taxonomía de activos centrada en el humano (siete categorías) y selecciona una respuesta escalonada (ninguna/suave/moderada/fuerte).

Memoria y Retroalimentación: El agente consulta un almacén de memoria de sesiones cruzadas firmado para incidentes similares pasados. Los precedentes pueden elevar el nivel de respuesta, pero nunca bajarlo. Si un intento previo fue rechazado, el sistema escala automáticamente el nivel de la respuesta.
Generación de Acciones: Un Generador de Acciones construye un plan de remediación. Este se apoya en un manual de procedimientos (playbook) basado en claves de ID de regla de forma determinista. Un selector de herramientas opcional por LLM puede añadir pasos desde un registro de herramientas tipo MCP, pero solo se permiten herramientas de solo lectura, observación o verificación; las acciones destructivas están prohibidas.

C. Guardián de Seguridad en Tiempo de Ejecución

Antes de que se ejecute cualquier acción, un SecurityGuard impone cuatro propiedades de seguridad contextuales (derivadas de Siu et al. [1]) y un oráculo de alineación de acciones independiente:

Alineación de Tarea: El objetivo se encuentra dentro del conjunto permitido.
Alineación de Acción: El tipo de acción es compatible con el objetivo.
Autorización de Fuente: Todos los inputs se originan de fuentes autenticadas.
Aislamiento de Datos: Las acciones escriben solo en destinos confiables.

Oráculo ( $H_a$ ): Un juez LLM independiente verifica si la acción propuesta sirve genuinamente al objetivo declarado. Este oráculo solo puede endurecer la decisión (aprobar $\to$ rechazar), nunca relajarla, asegurando que un escáner subvertido no pueda forzar una acción insegura.
Manejo de Rechazos: Si una acción es rechazada, el sistema activa la replanificación con un nivel escalado en lugar de ejecutar una corrección potencialmente insegura.

D. Pipeline de Ataque Simétrico

Para evaluar la calidad de la defensa, CyberLLM incluye un pipeline de red-teaming que refleja a los agentes de defensa. Genera scripts de explotación no destructivos y solo de tipo "canario" (por ejemplo, inyección de shell, salto de directorios/path traversal) basados en la misma base de reglas. Esto permite medir tanto el ataque como la defensa sobre escenarios idénticos sin ejecutar exploits reales.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Diseño de Detección por Capas: Un flujo unificado que fusiona analizadores de regex, basados en AST y de grafos de topología con una pasada de refinamiento por LLM, donde el suelo determinista fundamenta y restringe al LLM.
Motor de Decisión y Respuesta: Un mecanismo que selecciona mitigaciones escalonadas, aumenta la confianza mediante memoria firmada y retroalimentación de replanificación, y ejecuta planes a través de un registro de herramientas con verificación paso a paso y reversión (rollback).
Guardián de Seguridad en Tiempo de Ejecución: Una capa de cumplimiento formal que aplica cuatro propiedades de seguridad contextuales y un oráculo de alineación de acciones independiente para prevenir acciones inseguras, incluso si los componentes superiores son subvertidos.
Pipeline de Ataque Simétrico y Benchmark: Un sistema para generar y reproducir exploits para una medición comparativa, evaluado sobre un corpus etiquado a mano de módulos de ECU automotrices.

4. Resultados Experimentales

El marco fue evaluado en un benchmark independiente con verdad fundamental (ground-truth) compuesto por nueve módulos originales de ECU automotriz (C, C++, Rust) que contienen 47 vulnerabilidades por capas, además de dos módulos de control limpios.

Capa Determinista (Modo Rápido): Cubrió el 34.0% (16/47) de las vulnerabilidades etiquetadas con un 100% de precisión (cero falsos positivos en controles limpios).
Capa Aumentada por LLM (Modo Profundo): Al añadir el refinamiento por LLM y las pasadas de completitud, la cobertura aumentó aproximadamente al 70% (33/47) con un F1 score de 0.83.
Mantenimiento de Precisión: El modo Deep mantuvo un 100% de precisión en los controles limpios. El refinamiento por LLM no introdujo falsos positivos; principalmente mejoró la recuperación en defectos de lógica de severidad media y errores de denegación de servicio (DoS) (por ejemplo, condiciones de carrera sutiles, errores de desfase/off-by-one) que los patrones de regex pasaron por alto.
Desglose por Lenguaje: Las mejoras fueron consistentes en C, C++ y Rust, siendo la pasada de LLM significativamente superior en la detección de defectos semánticos complejos.

5. Significado y Reivindicaciones

El artículo sostiene que CyberLLM demuestra que los agentes de LLM pueden realizar una defensa cibernética autónoma útil cuando están envueltos en un envoltorio de seguridad determinista y auditable.

Equilibrio entre Autonomía y Seguridad: El marco resuelve la tensión entre la autonomía del LLM y las restricciones de seguridad asegurando que ninguna acción se ejecute a menos que satisfaga las propiedades de seguridad contextuales y formales.
Contribución Cuantificable: Los resultados cuantifican el valor específico del LLM: aproximadamente duplica la recuperación del suelo determinista sin introducir un solo falso positivo en código benigno.
Robustez: El sistema está diseñado de tal manera que, incluso si un escáner es subvertido por inputs adversarios, el guardián independiente y los mecanismos de memoria evitan el compromiso de acciones inseguras.
Perspectiva Futura: Los autores señalan que, aunque el enfoque actual centrado en lo estático es efectivo, el trabajo futuro integrará servidores de herramientas en vivo, fundamentación mediante RAG (recuperación aumentada por generación) sobre CVEs y validación contra bancos de pruebas de SDV de alta fidelidad (por ejemplo, CARLA).

El artículo concluye que la combinación de refinamiento por LLM fundamentado, memoria a prueba de manipulaciones y cumplimiento formal en tiempo de ejecución proporciona un camino viable hacia una ciberseguridad automotriz autónoma y segura.