📄 other

Symbolic Log Shield - an adversarial resistant neurosymbolic framework for network log classification

Dit artikel introduceert de Symbolic Log Shield, een neurosymbolisch framework dat de kwetsbaarheid van Large Language Models voor adversariële jailbreak-aanvallen bij netwerklogclassificatie aanzienlijk vermindert, waardoor hun anomaliedetectieprestaties effectief worden hersteld en zelfs worden verbeterd vanaf ernstig gedegradeerde niveaus.

Oorspronkelijke auteurs: Franciszek Górski, Mateusz Krzysztoń, Max Landauer

Gepubliceerd 2026-07-24

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Franciszek Górski, Mateusz Krzysztoń, Max Landauer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de digitale wereld voor als een enorme, bruisende stad waar elke computer, server en router een burger is die een spoor van voetstappen achterlaat. Deze voetstappen worden "logs" genoemd. Ze vertellen het verhaal van wat er is gebeurd: wie een gebouw is binnengegaan, wat ze hebben aangeraakt en of ze geprobeerd hebben een slot te kraken. Jarenlang hebben beveiligingsteams slimme computerprogramma's gebruikt om deze logs te lezen en de boeven op te sporen. Onlangs zijn we begonnen met het gebruik van een nieuw soort superintelligent computerbrein genaamd een "Large Language Model" (LLM). Denk aan een LLM als een detective die elk boek in de bibliotheek heeft gelezen; het is ongelooflijk goed in het begrijpen van het verhaal achter de voetstappen en het uitzoeken of een verdachte activiteit een echte aanval is of gewoon een onhandige conciërge.

Maar hier komt de adder onder het gras: net zoals een menselijke detective bedrogen kan worden door een slimme leugenaar, kunnen deze AI-detectives ook worden misleid. Een "jailbreak"-aanval is als een crimineel die een geheime code fluistert of een vals verhaal vertelt aan de detective, waardoor de detective ervan wordt overtuigd dat de plaats delict eigenlijk een onschuldig verjaardagsfeestje is. Als de detective wordt bedrogen, gaat het alarm nooit af en blijft de stad kwetsbaar. Dit artikel duikt precies in hoe gemakkelijk deze AI-detectives kunnen worden misleid en bouwt, belangrijker nog, een nieuw soort schild om hen te beschermen.

Het Papier: Het bouwen van een "Log Shield" voor AI-detectives

In dit onderzoek wilden de onderzoekers testen hoe fragiel deze AI-logdetectives werkelijk zijn. Ze namen verschillende verschillende AI-modellen — variërend van kleine, beweeglijke modellen met 2 miljard "hersencellen" (parameters) tot massieve zwaargewichten met 128 miljard — en zetten ze aan het werk bij het analyseren van netwerklogs. Hun eerste taak was om te zien of ze echte cyberaanvallen konden opsporen. Wanneer de logs schoon en eerlijk waren, deden de grote modellen het erg goed, waarbij het grootste model (Mistral-Medium-3.5-128B) een nauwkeurigheidsscore (AUROC) behaalde van ongeveer 84,54%. De kleinere modellen waren wat meer in de war, waarbij het kleinste model (Qwen3.5-2B) rond de 60,00% scoorde.

Vervolgens speelden de onderzoekers de rol van de schurk. Ze creëerden een speciale "adversarial dataset" met behulp van 7 verschillende soorten jailbreak-trucs. Dit waren niet zomaar willekeurige typefouten; het waren geavanceerde psychologische manipulaties. Sommige trucs hielden in dat de loggegevens werden verpakt in een nepverhaal (zoals een "DeepInception" waarbij de AI wordt gevraagd zich een sciencefictionscène voor te stellen waarin de aanval eigenlijk normaal onderhoud is). Andere trucs hielden in dat de logtekst werd verstopt in geheime codes (zoals Caesar-cijfers of Base64) of dat er tegen de AI werd gesproken in een taal die hij niet volledig getraind was (zoals Swahili of Zulu) om de veiligheidsfilters te omzeilen.

Het resultaat? De AI-detectives waren volledig in de maling genomen. De aanvallen waren verwoestend effectief. De nauwkeurigheid van het enorme Mistral-model stortte in van 84,54% naar 48,83%. De kleinere modellen deden het nog slechter, waarbij sommige onder de 30% zakten. De onderzoekers ontdekten dat het simpelweg groter maken van de AI de veiligheid niet vergrootte; zelfs het gigantische 128-miljard parameters tellende model was net zo kwetsbaar voor deze slimme trucjes als de kleinere modellen. De aanvallen slaagden erin de AI ervan te overtuigen dat gevaarlijke aanvallen eigenlijk "Zeker: Normaal" of "Bijna Zeker: Normaal" waren, wat het beveiligingssysteem effectief blind maakte.

De Oplossing: De "Symbolic Log Shield"

In het besef dat de AI alleen niet genoeg was, bouwde het team een nieuw framework dat ze de Symbolic Log Shield noemen. Stel je dit voor als een controlepunt met twee stappen voordat de AI-detective het bewijs überhaupt te zien krijgt.

Stap 1: De Pre-Processing "Sanitizer" (De Voorcontrole)
Voordat de log de AI bereikt, gaat deze door een strikt, op regels gebaseerd filter. Dit is geen slim brein; het is een rigide, onbuigzame robot die precies weet hoe een echte log eruitziet.

Het verwijdert onzichtbare tekens (zoals zero-width spaces) die hackers gebruiken om hun trucs te verbergen.
Het herstelt vreemde letterwisselingen (zoals het terugveranderen van "chMod" naar "chmod").
Het organiseert de logs opnieuw zodat ze in de juiste chronologische volgorde staan, waardoor pogingen om de tijdlijn te verwarren worden ongedaan gemaakt.
Het vertaalt geheime codes terug naar gewone tekst.
Deze laag fungeert als een vertaler die zowel "Hacker" als "Normaal" vloeiend spreekt, en ervoor zorgt dat de log, tegen de tijd dat deze de AI bereikt, schoon en gestructureerd is.

Stap 2: De Post-Processing "Reasoner" (De Realiteitscheck)
Nadat de AI een gok heeft gedaan, gaat de log naar een tweede laag: een symbolische regelmotor. Dit is als een senior supervisor die het werk van de detective controleert met behulp van een strikt regelboek (gebaseerd op het MITRE ATT&CK-framework).

Als de AI zegt "Dit is normaal", maar de supervisor ziet dat de log zwaar vervormd of gecodeerd was, overrulet de supervisor de AI en zegt: "Wacht, dat is verdacht!"
Als de AI zegt "Dit is een aanval", maar de supervisor ziet geen daadwerkelijke netwerkscans of vreemde IP-adressen, kan hij zeggen: "Misschien ben je wel gewoon paranoïde."
Het kijkt naar specifieke patronen, zoals een groot aantal domeinnamen die in een korte tijd worden gecontroleerd (een teken dat een hacker een netwerk in kaart brengt), wat de AI mogelijk heeft gemist.

De Resultaten: Het Schild Werkt Wonderen

Toen de onderzoekers de AI-modellen testten met deze nieuwe Symbolic Log Shield in werking, waren de resultaten spectaculair. Het schild herstelde niet alleen de gaten; het herstelde bijna volledig het zicht van de AI.

Herstel: Het enorme Mistral-model, dat door de aanvallen was teruggebracht naar 48,83%, sprong met het schild terug naar 82,10%. Dat is bijna net zo goed als het was met schone data!
Verbetering voor Kleine Modellen: De kleine modellen zagen zelfs grotere winsten. Het Qwen3.5-2B-model, dat onder aanval worstelde op 40,41%, sprong naar 77,59%. De Llama-3.2-3B ging van een verschrikkelijke 26,49% naar een solide 72,86%.
Beter dan het Origineel: In sommige gevallen maakte het schild de modellen zelfs beter dan ze waren met schone data. Bijvoorbeeld, het Qwen3-14B-model scoorde 81,00% met het schild, wat hoger was dan de oorspronkelijke score van 75,41%.

De onderzoekers maten ook hoe "verward" de modellen waren. Zonder het schild zouden de AI-modellen vaak opgeven en "Neutraal" zeggen (wat betekent "Ik weet het niet") of wild gokken. Met het schild werden de modellen veel zelfverzekerder en nauwkeuriger, waardoor hun "onwetendheid" aanzienlijk werd verminderd.

Wat Dit Betekent

Het papier concludeert dat hoewel grote AI-modellen krachtig zijn, ze verrassend fragiel zijn wanneer ze worden geconfronteerd met slimme, gerichte trucs. Het vertrouwen op de AI alleen is riskant omdat zelfs de grootste modellen kunnen worden misleid om echte aanvallen te negeren. Echter, door deze AI-modellen te omwikkelen met een "neurosymbolisch" framework — het combineren van de patroonherkenning van de AI met een rigide, op regels gebaseerd schild — wordt het systeem weer robuust.

De auteurs suggereren dat deze aanpak een cruciale stap voorwaarts is. Het bewijst dat we niet hoeven te wachten tot AI magisch immuun is voor aanvallen; in plaats daarvan kunnen we vandaag de dag een beschermende laag rondom het bouwen. De Symbolic Log Shield fungeert als een bewaker die de ruis opruimt en de logica controleert, waardoor de AI de waarheid ziet, zelfs wanneer de criminelen proberen te liegen. Hoewel de studie zich richtte op specifieke soorten jailbreaks en loggegevens, biedt het een veelbelovend blauwdruk om onze digitale steden veiliger te maken, één log-entry tegelijk.

Technische Samenvatting: Symbolic Log Shield

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet in Security Operations Centers (SOCs) om netwerk- en systeemlogs te analyseren voor anomaliedetectie en aanvalsklassificatie. Hoewel effectief, kampen deze systemen met een kritieke kwetsbaarheid: ze zijn vatbaar voor adversariële aanvallen, specifell de "jailbreak"-technieken die ontworpen zijn om de output van het model te manipuleren. Bestaand onderzoek heeft aangetoond dat prompt injection en jailbreak-aanvallen LLM's kunnen dwingen om veiligheidsrichtlijnen te schenden of verboden inhoud te genereren, maar weinig studies hebben hun impact op de specifieke taak van netwerklog-classificatie onderzocht.

Het kernprobleem is dat adversariële perturbaties—zoals subtiele wijzigingen in log-entries of de injectie van vervaardigde context—het vermogen van een LLM om onderscheid te maken tussen werkelijke systeemaanvallen en normale activiteit drastisch kunnen verminderen. Dit leidt tot een degradatie van de anomaliedetectiecapaciteiten, wat cybercriminelen mogelijk de kans geeft om detectie te omzeilen. Bovendien missen puur neurale benaderingen interpreteerbaarheid en formele garanties, waardoor het moeilijk is om te articuleren waarom een specifieke logsequentie kwaadaardig is.

Methodologie

1. Adversarieel Dreigingsmodel en Datasetgeneratie

De auteurs definiëren een black-box dreigingsmodel waarbij een aanvaller probeert de ernst van de classificatie van een kwaadaardige log-trace te verlagen (bijv. van "Zeker: Aanval" naar "Zeker: Normaal") zonder de onderliggende kwaadaardige functionaliteit te wijzigen. De aanvaller beschikt over beperkte kennis van het doelsysteem, maar kan de log-inhoud wijzigen via injectie.

Om dit te evalueren, hebben de auteurs een gespecialiseerde adversariële dataset geconstrueerd met behulp van een surrogaatmodel-aanpak (Llama3.1-8B) om aanvallen te genereren tegen doelmodellen, wat een realistisch scenario simuleert waarin aanvallers geen directe toegang hebben tot de parameters van het doelwit. De dataset bevat 7 verschillende typen Jailbreak-aanvallen, aangepast uit bestaande literatuur om log-classificatie te targeten:

In-Context Attack (ICA): Het injecteren van "onschuldige" few-shot voorbeelden om de priors van het model richting normaliteit te kalibreren.
Rewriting Nesting LLM (ReNeLLM): Het herschrijven van de prompt-omgeving en het nesten van logs binnen onschuldige scenario's (bijv. SRE runbooks).
DeepInception: Het inbedden van logs in recursieve, geneste fictieve narratieven om veiligheidscontroles te omzeilen.
Cipher: Het coderen van log-inhoud (Caesar, ASCII) om aanval-indicatieve tokens te verbergen voor de tokenizer.
Jailbroken: Het toepassen van willekeurige karakter-niveau perturbaties (leetspeak, Base64) om patroonherkenning te degraderen.
Multilingual: Het vertalen van systeeminstructies naar talen met weinig bronmateriaal om gaten in de veiligheidsafstemming (safety alignment) te exploiteren.
GPTFuzzer: Het automatisch muteren van prompt-templates (bijv. beleidsoverrides, fout-positieve audits) om kwetsbaarheden te vinden.

2. Het Symbolic Log Shield Framework

Het paper stelt Symbolic Log Shield voor, een neurosymbolische architectuur die ontworpen is om de LLM te omwikkelen met deterministische symbolische lagen voor pre- en post-processing. Deze "sandwich"-aanpak beoogt perturbaties te neutraliseren vóór de inferentie en de outputs daarna te valideren.

Symbolische Preprocessing (Sanitatie):
- Text Sanitizer: Neutraliseert karakter-niveau perturbaties door middel van Unicode-normalisatie (NFKC), homoglyph-mapping, het verwijderen van zero-width karakters, case-normalisatie voor bekende commando's en karakter-deduplicatie. Het produceert een gesaniteerde log en een Perturbatie Score ( $S_1$ ).
- Structural Reconstructor: Reconstrueert de logstructuur die door aanvallen is vernietigd. Het voert temporele sortering uit, filtert ruis (identificatie van geïnjecteerde onschuldige logs via entropie en proces-whitelists) en voert domein-patroonanalyse uit (detectie van DNS-enumeratie patronen ongeacht de subdomeinnaam). Het produceert een gestructureerde Log AST en een IP-grafiek.
Neurale Kern:
- De LLM Classifier verwerkt de schoongemaakte, gestructureerde data. Het produceert een vector van MITRE ATT&CK technieken en een betrouwbaarheidsscore (variërend van "Zeker: Aanval" tot "Zeker: Normaal").
Symbolische Postprocessing (Defensie):
- Symbolic Rule Engine: Een regelgebaseerd systeem dat de betrouwbaarheidsscore van de LLM aanpast op basis van twee inputs: de perturbatie score ( $S_1$ ) en een Jailbreak Score ( $S_{jb}$ ) afgeleid van semantische analyse van de prompt.
- Regels 1–4: Adresseren netwerkgerelateerde en syntactische indicatoren (bijv. DNS-enumeratie, IP-dispersie, log-naar-TTP mapping) om de betrouwbaarheid richting "Aanval" te verhogen als er perturbaties worden gedetecteerd maar het model "Normaal" voorspelt.
- Regels 5–9: Tegenmaatregelen die specifiek gericht zijn op jailbreak-strategieën (bijv. detectie van codering-artefacten, narratieve inkadering, few-shot injectie en niet-log inhoudelijke inflatie). Deze regels verschuiven de betrouwbaarheid richting "Aanval" als manipulatie wordt gedetecteerd.
- Regel 10: Een "Smart False-Positive Guard" die de betrouwbaarheid alleen richting "Normaal" verschuift als alle adversariële signalen (syntactisch en op prompt-niveau) nul zijn, om te voorkomen dat legitieme aanvalsdetecties worden onderdrukt.
- Constraint Checker: Valideert de logische consistentie van de gedetecteerde technieken tegen de MITRE ATT&CK ontologie en de logbron.

Belangrijkste Resultaten

De auteurs evalueerden zes LLM's variërend van 2B tot 128B parameters (inclusief Qwen, Llama, Mistral en Ministral modellen) over vier condities: Original, Adversarial, Sanitized, en Defended.

Kwetsbaarheid van LLM's: Adversariële aanvallen veroorzaakten een drastische reductie in prestaties. De AUROC-scores voor alle modellen daalden significant, van een bereik van 46–84% (Original) naar 26–51% (Adversarial). De grootste modellen (bijv. Mistral-128B) leden de meest ernstige absolute dalingen (bijna 36 procentpunten).
Effectiviteit van Symbolic Log Shield:
- Sanitized Fase: Het toepassen van enkel de preprocessing-lagen verbeterde de AUROC met 11–24 procentpunten, wat de waarde bewijst van het neutraliseren van karakter-niveau perturbaties.
- Defended Fase: Het volledige neurosymbolische framework (pre- en post-processing) herstelde de oorspronkelijke effectiviteit bijna volledig voor de meeste modellen, met AUROC-scores tussen de 72% en 82%.
- Verbetering t.o.v. Original: Voor kleinere modellen (bijv. Qwen3.5-2B en Llama-3.2-3B) overtrof de verdedigde architectuur zelfs hun oorspronkelijke prestaties, met een verbetering van de AUROC met respectievelijk 18 en 26 procentpunten. Dit suggereert dat de symbolische lagen hielpen bij het corrigeren van inherente biases (bijv. excessieve "Neutrale" responsen) in kleinere modellen.
Robuustheid: Het framework mitigeerde succesvol de negatieve impact van alle 7 jailbreak-strategieën en herstelde het vermogen van de modellen om onderscheid te maken tussen aanvallen en normale activiteit.

Betekenis en Claims

Het paper claimt een van de eerste werken te zijn die:

Systematisch de kwetsbaarheid van LLM's van verschillende groottes voor adversariële jailbreak-aanvallen evalueert, specifiek in de context van netwerklog-classificatie.
Demonstreert dat modelgrootte geen garantie biedt voor robuustheid; zelfs grote modellen (128B) zijn zeer vatbaar voor deze aanvallen zonder defensie.
Symbolic Log Shield valideert en voorstelt, een neurosymbolisch framework dat gebruikmaakt van de complementaire sterktes van neurale patroonherkenning en symbolische redenering om een adversarieel resistente intrusiedetectie te bereiken.

De auteurs concluderen dat hoewel LLM's krachtig zijn voor log-analyse, hun inzet in beveiligingskritieke omgevingen hybride architecturen vereist. De voorgestelde neurosymbolische aanpak beschermt niet alleen tegen adversariële manipulatie, maar verbetert ook de interpreteerbaarheid en betrouwbaarheid van het detectieproces, wat het een levensvatbare oplossing maakt voor robuuste SOC-operaties. Het werk erkent beperkingen met betrekking tot de generalisatie naar andere aanvalstypen en de afhankelijkheid van system prompts, en presenteert dit als een fundamentele stap voor toekomstig onderzoek naar adversarieel robuuste log-analyse.