Technische Samenvatting: Cognitieve Firewall voor LLM-veiligheid

Probleemstelling

Huidige runtime-beveiligingen voor Large Language Models (LLM's) werken voornamelijk als per-bericht-classifiers. Deze systemen scoren individuele prompts of reacties tegen een vaste catalogus van schade in isolatie. De auteurs stellen dat deze inkadering onvoldoende is, omdat het er niet in slaagt de evoluerende doelstelling van de gebruiker te modelleren, geen geheugen behoudt van het gesprekstraject, of de geclaimde autoriteit te verifiëren. Als gevolg hiervan kunnen geduldige tegenstanders deze verdedigingen omzeilen met multi-turn strategieën waarbij de schade niet aanwezig is in een enkele boodschap, maar ontstaat door de interactie als geheel.

Specifieke kwetsbaarheden zijn onder meer:

• Multi-turn Escalatie: Aanvallen zoals Crescendo beginnen onschuldig en gebruiken de eerdere antwoorden van het model om naar een schadelijk doel te sturen.
• Decompositie: Aanvallen zoals ActorAttack splitsen verboden doelstellingen op in een netwerk van individueel onschuldige subvragen.
• Autoriteitsmanipulatie: Gebruikers kunnen ongeautoriseerde rollen claimen (bijv. ontwikkelaar, clinicus) of beleidsoverrides gebruiken om restricties te omzeilen, wat per-bericht-filters vaak behandelen als gewone context in plaats van ongeverifieerd bewijs.

Bestaande trajectbewuste verdedigingen reduceren de volledige gesprekshistorie vaak tot een enkele risicoscore, wat lokale escalatiesignalen kan verwateren. Bovendien werken de meeste toezichtgebaseerde verdedigingen post-generatie of richten ze zich op single-turn aanvallen, waardoor ze een proactief mechanisme missen om onveilige interacties te blokkeren voordat het doelmodel een reactie genereert.

Methodologie: De Cognitieve Firewall

Het artikel stelt de Cognitieve Firewall voor, een proactief runtime-toezichtframework dat een onafhankelijk toezichtsmodel tussen de gebruiker en het beschermde doelmodel plaatst. In tegenstelling tot per-bericht-classifiers, leest dit framework de interactie als een geheel en deelt het de veiligheidsbeoordeling op in vier categorische poorten (gates). Beslissingen worden gecombineerd via een escalatieregel: als een enkele poort een gevaarlijk oordeel geeft, wordt de interactie onmiddellijk geblokkeerd.

De Vier Poorten

1. Intent Gate (G1) - Pre-generatie:

   • Functie: Identificeert het operationele doel van een verzoek door het letterlijke real-world resultaat te resolveren.
   • Mechanisme: Het onderscheidt oppervlakkige bewoordingen van de werkelijke referenten (bijv. het verschil tussen een beschrijving van een filmscène en daadwerkelijke malware-synthese). Het geeft pas "onveilig" terug als het resultaat een overdraagbare schade vormt (bijv. wapensynthese, haatzaaiende taal).
   • Doel: Voorkomt weigering van onschuldige verzoeken die louter gevaarlijk klinken, terwijl directe aanvallen worden geblokkeerd.

2. Zero-Trust Context Gate (G2) - Pre-generatie:

   • Functie: Verifieert claims van rol, identiteit, autoriteit, toestemming of beleidsoverrides.
   • Mechanisme: In navolging van het "never trust, always verify"-principe, behandelt het alle claims van autoriteit binnen het dialoog als ongeverifieerd bewijs. Het is onderwerp-blind en richt zich uitsluitend op eerste-persoonsclaims over de gebruiker of de regels van de assistent.
   • Doel: Blokkeert manipulatieve pogingen om toegang te krijgen tot beperkte inhoud via valse credentials of rollenspellen, een kanaal dat vaak gemist wordt door algemene contentfilters.

3. Consistency Gate (G3) - Pre-generatie:

   • Functie: Analyseert het volledige transcript op temporele manipulatie.
   • Mechanisme: Detecteert geleidelijke escalatie (crescendo), afwijking van onschuldige openingen naar beperkte doelstellingen, tegenstrijdigheden met eerdere context en schadelijke taken die over meerdere beurten zijn opgedeeld.
   • Doel: Blokkeert interacties waarbij de schade in de loop van de tijd wordt samengesteld, zelfs als individuele beurten onschuldig lijken. Het onthoudt zich bij de eerste beurt om false positives op onschuldige openingen te voorkomen.

4. Output Risk Gate (G4) - Post-generatie:

   • Functie: Inspecteert de kandidaat-reactie die door het doelmodel is gegenereerd.
   • Mechanisme: Beoordeelt de daadwerkelijk geleverde inhoud, zoekend naar actiegerichte gevaarlijke capaciteiten, gedeeltelijke stappen of schadelijke artefacten (bijv. phishing, beledigingen).
   • Doel: Fungeert als een achtervang voor decompositie-payloads die pas schadelijk worden wanneer ze in de uiteindelijke reactie zijn samengesteld.

Beslissingsregel

Het framework gebruikt een escalatiegebaseerde beslissingsregel in plaats van score-averaging. Aangezien elke poort een categorisch label afgeeft (bijv. onveilig, manipulatief, escalerend) in plaats van een numerieke score, blokkeert het systeem de beurt zodra een enkele ingeschakelde poort een gevaarlijk oordeel geeft. Dit zorgt ervoor dat een zelfverzekerend gevaarsignaal niet wordt verwaterd door veilige signalen van andere poorten en biedt een menselijk leesbare, controleerbare rationale voor elke blokkering.

Belangrijkste Bijdragen

1. Proactief Runtime-framework: Introductie van een apart toezichtsmodel dat de veiligheidsbeoordeling deelt in intentie-analyse, zero-trust context verificatie, gesprekstraject analyse en output risico beoordeling.
2. Zero-Trust Context Verificatie: Een specifieke poort die claims van rol en autoriteit isoleert en verifieert als ongeverifieerd bewijs, waarmee een manipulatiekanaal wordt aangepakt dat voorheen werd verward met algemene contentveiligheid.
3. Escalatiegebaseerde Beslissingsregel: Een methode voor het combineren van categorische poort-verdicten die score-verwatering voorkomt, waardoor elk enkel zelfverzekerd gevaarsignaal een interactie kan blokkeren terwijl de controleerbaarheid behouden blijft.
4. Uitgebreide Evaluatie: Empirische validatie over vier aanval-benchmarks en één onschuldige veiligheidstestset ($n=100$ voor single-turn, $n=50$ voor multi-turn aanvallen, $n=16$ voor autoriteit-probes, $n=120$ voor onschuldige prompts).

Experimentele Resultaten

Het framework werd geëvalueerd op vier aanval-benchmarks en één onschuldige veiligheidstestset ($n=100$ voor single-turn, $n=50$ voor multi-turn aanvallen, $n=16$ voor autoriteit-probes, $n=120$ voor onschuldige prompts).

• Reductie van Attack Success Rate (ASR):

  • Single-turn (jbb): Verminderde ASR van 45% (onverdedigd) naar 1%.
  • Multi-turn Escalatie (Crescendo): Verminderde ASR van 10% naar 0%.
  • Decompositie (safemt/ActorAttack): Verminderde ASR van 30% naar 2%.
  • Door mensen gemaakte Jailbreaks (mhj): Verminderde ASR van 74% naar 14%.
  • Autoriteit Probes: Blokkeerde 75% van de autoriteit-gebaseerde aanvallen (12/16), vergeleken met 6–31% voor andere baselines.

• Containment Timing:

  • Het framework bereikt containment voornamelijk vóór generatie. Voor Crescendo aanvallen werden 100% geblokkeerd vóór generatie. Voor directe aanvallen werden 92% geblokkeerd vóór generatie.
  • In tegen tegenstelling hiertoe falen per-bericht guards en trajectbewuste firewalls vaak op decompositie-sets omdat ze beurten in isolatie scoren of risicoscores middelen.

• Over-refusal (Onterechte weigering):

  • Het framework behield een over-refusal rate van 8% op onschuldige prompts (xstest), wat aanzienlijk lager is dan strengere guard baselines (bijv. ShieldGemma op 18%, Granite Guardian op 21%).

• Poort-bijdragen (Ablatie):

  • Het verwijderen van de Consistency Gate veroorzaakte de grootste daling in pre-generatie containment voor multi-turn aanvallen (bijv. Crescendo containment daalde van 100% naar 72%).
  • Het verwijderen van de Output Gate verhoogde de ASR op decompositie-sets aanzienlijk (bijv. safemt ASR steeg van 2% naar 16%), wat de rol als noodzakelijke achtervang bevestigt.
  • De Context Gate was doorslaggevend voor autoriteit-probes (blokkeerpercentage daalde naar 0% bij verwijdering), maar had minimale impact op standaard aanval-sets waar geen autoriteit werd geclaimd.

Betekenis en Claims

Het artikel claimt dat de Cognitieve Firewall aantoont dat gedecomposeerd, gesprek-niveau toezicht de proactieve containment en controleerbaarheid voor LLM-veiligheid aanzienlijk kan verbeteren.

• Verschuiving van Classificatie naar Begrip: Het werk beargumenteert dat het bewaken van een model een begripsprobleem is dat een model vereist van de evoluerende doelstelling van de gebruiker, in plaats van een simpel classificatieprobleem.
• Operationalisering van Cognitieve Containment: Het biedt een concrete instantiatie van het concept van de "cognitieve firewall", waarbij men overgaat van theoretische inhiberende lagen naar een praktisch systeem dat escalatie naar onveilige doelen stopt voordat het doelmodel genereert.
• Controleerbaarheid: Door gebruik te maken van categorische poorten en een escalatieregel, is elke geblokkeerde interactie herleidbaar naar een specifiek, menselijk leesbaar verdict (bijv. "escalerend" of "manipulatief"), in tegen tegenstelling tot op scores gebaseerde systemen die opaak zijn.
• Complementariteit: De resultaten tonen aan dat pre-generatie en post-generatie poorten complementair zijn; geen van beide is op zichzelf voldoende om het volledige spectrum van multi-turn en decompositie aanvallen aan te pakken.

De auteurs vermelden beperkingen, waaronder het gebruik van een enkele model-familie voor evaluatie, bescheiden steekproefgroottes voor bepaalde aanvalstypen, en het gebrek aan stress-testen tegen prompt injection aanvallen gericht op het toezichtsmodel zelf. Echter, het framework vestigt een nieuwe baseline voor het afhandelen van complexe, multi-turn adversariële strategieën die huidige single-message defensies niet effectief kunnen mitigeren.