Technische Samenvatting: CyberLLM Framework voor Automotive Cybersecurity

1. Probleemstelling

De transitie naar Software-Defined Vehicles (SDV's) heeft het automotive aanvalsoppervlak aanzienlijk vergroot, waarbij kwetsbaarheden zijn geïntroduceerd in broncode, runtime-logs en deployment-topologieën. Hoewel Large Language Models (LLM's) het potentieel hebben om over deze heterogene artefacten te redeneren en herstelmaatregelen voor te stellen, wordt hun toepassing in veiligheidskritische omgevingen geconfronteerd met twee primaire uitdagingen:

1. Probabilistisch karakter: LLM's kunnen hallucinaties vertonen bij het vinden van problemen of issues missen, wat ze onbetrouwbaar maakt als enige basis voor beveiligingsbeslissingen.
2. Veiligheidsbeperkingen: Autonome agenten die acties uitvoeren op voertuigen mogen nooit onveilige of ongeautoriseerde acties uitvoeren, zelfs niet wanneer de inputs adversarieel gemanipuleerd zijn (bijv. via prompt injection of memory poisoning).

Huidige tooling behandelt deze lagen doorgaans in isolatie met behulp van regelgebaseerde scanners of handmatige reviews, en mist het vermogen om over lagen heen te redeneren of autonoom te handelen met toezicht. Er is behoefte aan een framework dat autonome detectie balanceert met een deterministische, controleerbare veiligheidsomgeving (safety envelope).

2. Methodologie: Het CyberLLM Framework

CyberLLM is een multi-agent, LLM-georkestreerd framework dat ontworpen is om autonoom kwetsbaarheden te detecteren en herstelmaatregelen uit te voeren onder een formele, runtime veiligheidsbewaker. Het systeem werkt op een schema-gestuurde pipeline waarbij elke agent afgeleid is van een gemeenschappelijke BaseAgent, wat verplichte herkomst (provenance) voor alle inputs garandeert.

A. Gelaagde Detectiearchitectuur

De detectiefase combineert deterministische analyse met LLM-verfijning om een hoge recall te bereiken zonder in te boeten op precisie:

• Deterministische Vloer: Een "altijd aan"-laag bestaande uit:
  • Regex Regels: Multiline, case-insensitive patronen voor code.
  • AST Analyzers: Sandboxed uitvoering van tools zoals Bandit (Python) en Semgrep (andere talen).
  • Topology Graph Checks: Statische analyse van deployment YAML's tegen invarianten (bijv. externe actoren met write-edges naar geheugen).
  • Log Analyzers: Temporele/statistische detectoren voor anomalieën zoals brute-force pogingen of DNS covert channels.
• LLM Verfijningsronde: De deterministische hits worden als context geïnjecteerd in LLM-scanners. De LLM krijgt de strikte instructie om bestaande bevindingen te verfijnen, uit te leggen of uit te breiden, in plaats van nieuwe te verzinnen. Een "completeness critic" ronde richt zich specifiek op semantische defecten (bijv. data races, TOCTOU) die regex niet kan detecteren.
• Samenvoeging: Bevindingen worden gededupliceerd; de deterministische laag fungeert als de grondwaarheid (ground truth), waarbij de LLM alleen waarde toevoegt wanneer deze daadwerkelijk nieuwe locaties identificeert.

B. Besluitvormings- en Responsengine

Een centrale Decision Agent aggregeert bevindingen, tagt deze met behulp van een mensgerichte asset-taxonomie (zeven categorieën) en selecteert een gelaagde respons (geen/soft/moderate/hard).

• Geheugen en Feedback: De agent raadpleegt een ondertekende cross-sessie geheugenopslag voor vergelijkbare incidenten uit het verleden. Precedenten kunnen de respons-categorie verhogen, maar nooit verlagen. Als een eerdere poging werd geweigerd, escaleert het systeem automatisch de categorie.
• Actiegeneratie: Een Action Generator construeert een herstelplan. Deze vertrouwt op een deterministische, op rule-ID gekoppelde playbook als vloer. Een optionele LLM tool-selector mag stappen toevoegen uit een MCP-stijl tool registry, maar alleen read-only, observeer of verifieer tools zijn toegestaan; destructieve acties zijn verboden.

C. Runtime Security Guard

Voordat een actie wordt uitgevoerd, handhaaft een SecurityGuard vier contextuele beveiligingseigenschappen (afgeleid van Siu et al. [1]) en een onafhankelijke action-alignment oracle:

1. Task Alignment: Het doel valt binnen de toegestane set.
2. Action Alignment: De aard van de actie is compatibel met het doel.
3. Source Authorization: Alle inputs zijn afkomstig van geauthenticeerde bronnen.
4. Data Isolation: Acties schrijven alleen naar vertrouwde bestemmingen.

• Oracle ($H_a$): Een onafhankelijke LLM-judge verifieert of de voorgestelde actie daadwerkelijk dient voor het verklaarde doel. Deze oracle kan de beslissing alleen aanscherpen (approve $\to$ refuse), nooit versoepelen, waardoor wordt voorkomen dat een gesubverteerde scanner een onveilige actie afdwingt.
• Afhandeling van Weigering: Als een actie wordt geweigerd, triggert het systeem herplanning met een geëscaleerde categorie in plaats van een potentieel onveilige fix uit te voeren.

D. Symmetrische Aanvalspipeline

Om de kwaliteit van de defensie te evalueren, bevat CyberLLM een red-team pipeline die de defensie-agents spiegelt. Deze genereert niet-destructieve, enkel voor canary-doeleinden bestemde exploit-scripts (bijv. shell injection, path traversal) op basis van dezelfde regelset. Dit maakt het mogelijk om zowel aanval als defensie te meten op identieke scenario's zonder werkelijke exploits uit te voeren.

3. Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

1. Gelaagd Detectieontwerp: Een uniforme stream die regex, AST-gebaseerde en topology-graph analyzers samenvoegt met een LLM-verfijningsronde, waarbij de deterministische vloer de LLM fundeert en beperkt.
2. Besluitvormings- en Responsengine: Een mechanisme dat gelaagde mitigaties selecteert, vertrouwen verhoogt via ondertekend geheugen en re-planning feedback, en plannen uitvoert via een tool registry met verificatie per stap en rollback.
3. Runtime Security Guard: Een formele handhavingslaag die vier contextuele beveiligingseigenschappen en een onafhankelijke action-alignment oracle toepast om onveilige acties te voorkomen, zelfs als upstream componenten worden gesubverteerd.
4. Symmetrische Aanvalspipeline & Benchmark: Een systeem om exploits te genereren en af te spelen voor zij-aan-zij meting, geëvalueerd op een handgelabelde corpus van automotive ECU-modules.

4. Experimentele Resultaten

Het framework werd geëvalueerd op een onafhankelijke, met grondwaarheid voorzien benchmark bestaande uit negen originele automotive ECU-modules (C, C++, Rust) die 47 gelaagde kwetsbaarheden bevatten, plus twee schone controlemodules.

• Deterministische Laag (Fast Mode): Dekte 34,0% (16/47) van de gelabelde kwetsbaarheden met 100% precisie (nul fout-positieven op schone controles).
• LLM-Augmented Laag (Deep Mode): Door het toevoegen van LLM-verfijning en completeness rondes, steeg de coverage naar ongeveer 70% (33/47) met een F1-score van 0,83.
• Behoud van Precisie: De Deep mode behield 100% precisie op de schone controles. De LLM-verfijning introduceerde geen fout-positieven; het verbeterde primair de recall op medium-severity logica en DoS-defecten (bijv. subtiele races, off-by-one errors) die regex-patronen misten.
• Taaloverzicht: Verbeteringen waren consistent over C, C++ en Rust, waarbij de LLM-ronde de detectie van complexe semantische defecten aanzienlijk verbeterde.

5. Betekenis en Claims

Het artikel claimen dat CyberLLM aantoont dat LLM-agents nuttige autonome cyberdefensie kunnen uitvoeren wanneer ze zijn ingekapseld in een deterministische, controleerbare veiligheidsomgeving.

• Balans tussen Autonomie en Veiligheid: Het framework lost de spanning tussen LLM-autonomie en veiligheidsbeperkingen op door te garanderen dat geen enkele actie wordt uitgevoerd tenzij deze voldoet aan formele, contextuele beveiligingseigenschappen.
• Kwantificeerbare Bijdrage: De resultaten kwantificeren de specifieke waarde van de LLM: het verdubbelt ruwweg de recall van de deterministische vloer zonder een enkele fout-positieve te introduceren op benigne code.
• Robuustheid: Het systeem is ontworpen zodanig dat zelfs als een scanner wordt gesubverteerd door adversariële inputs, de onafhankelijke guard en geheugenmechanismen voorkomen dat er onveilige acties worden gecommitteerd.
• Toekomstperspectief: De auteurs merken op dat hoewel de huidige static-first aanpak effectief is, toekomstig werk live tool-servers, retrieval-augmented grounding over CVE's en validatie tegen high-fidelity SDV-testbenches (bijv. CARLA) zal integreren.

Het artikel concludeert dat de combinatie van gefundeerde LLM-verfijning, tamper-evident geheugen en formele runtime handhaving een levensvatbaar pad biedt naar autonome, veilige automotive cybersecurity.