Beyond Injection Detection: A Positive-Security Prompt Firewall that Closes the Scope and PHI Gap SOTA Classifiers Miss in Healthcare

Technische Samenvatting: Voorbij Detectie van Injecties: Een Positive-Security Prompt Firewall die de Scope en PHI-kloof Sluit

Probleemstelling
De integratie van Large Language Models (LLM's) in autonome klinische agenten creëert een hoog risico op aanvalsoppervlakken waarbij vertrouwde instructies en onbetrouwbare data een enkel contextvenster delen. Hoewel state-of-the-art (SOTA) prompt-injectieclassificaties (bijv. Meta's PromptGuard-2) effectief overtente adversariële tokens (jailbreaks, instructie-overrides) detecteren, falen ze bij het detecteren van "vloeiende, legitiem lijkende" verzoeken die geen injectiesignaal bevatten. In de gezondheidszorg zijn de meest kritieke dreigingen—exfiltratie van Protected Health Information (PHI), toegang tot patiëntgegevens van anderen, bulkgegevensexport en klinisch advies buiten de scope—vaak geformuleerd als beleefde, geautoriseerde workflows. Een studie uit 2025 in JAMA Network Open merkte op dat commerciële medische LLM's in 94,4% van de gesimuleerde ontmoetingen de geïnjecteerde instructies opvolgden, maar de specifieke kloof die hier wordt geïdentificeerd, is dat generieke classificatiesystemen deze scope-schendende verzoeken missen omdat ze geen adversariële syntaxis bevatten. Bovendien kampen bestaande runtime-guardrails met een trade-off: model-gebaseerde auditors zijn accuraat maar introduceren hoge latentie (honderden milliseconden), terwijl lexicale filters snel zijn maar blind voor geobfusceerde payloads.

Methodologie: QFIRE
De auteurs presenteren QFIRE, een inline, provider-agnostische prompt firewall geïmplementeerd als een enkele, zelfstandige Rust toolchain (proxy, CLI en benchmark harness). QFIRE functioneert als een zero-trust, positive-security systeem dat een verklaarde natuurlijke taal-scope en een HIPAA Safe-Harbor PHI-paneel afdwingt.

• Architectuur: QFIRE fungeert als een reverse proxy die verzoeken van OpenAI, Anthropic, Gemini en Ollama normaliseert naar een interne representatie. Het evalueert prompts tegen een declaratieve, versiebeheerbare YAML-policy voordat ze naar het downstream model worden doorgegeven.
• Kernmechanismen:
  1. Positive-Security Scope Beperkingen: In plaats van enkel aanvallen te detecteren, beperkt QFIRE modeloproepen tot een verklaard doel (het handhaven van de HIPAA "minimum necessary" standaard). Het blokkeert "out-of-scope drift", zelfs wanneer er geen aanvals-token aanwezig is.
  2. Asynchrone Detector Graph: Regels zijn georganiseerd in pipelines die gelijktijdig draaien op een Tokio runtime. Het systeem hanteert een "cheap-before-expensive" short-circuit strategie: deterministische lexicale controles (regex, Aho-Corasick, entropie) worden eerst uitgevoerd; als zij zich onthouden, worden duurdere nodes (lokale DeBERTa-v3 classifier via ONNX Runtime, of een LLM scope-judge) getriggerd.
  3. De-obfuscatie Normalisatie: Vóór detectie voert een optionele pass een proces uit waarbij zero-width karakters worden verwijderd, homoglyfen en leetspeak worden samengevoegd, en Base64, hex en ROT13 worden gedecodeerd om verborgen payloads bloot te leggen.
• Policy Design: In tegenstelling tot baselines die policy coderen in Python-code of modelgewichten, gebruikt QFIRE een declaratieve taal. Regels zijn data (YAML) die kunnen worden gediffed, unit-getest (qfire rules test) en geaudit zonder de engine te wijzigen.
• Benchmarks: De auteurs introduceren QFIRE-HealthBench, een nieuwe dataset van 2.000 prompts (1.000 benign klinisch-adjacent, 1.000 malicious) geconstrueerd met echte garak en Microsoft PyRIT payloads. Deze dataset richt zich specifiek op dreigingen die generieke classificatiesystemen missen.

Belangrijkste Resultaten

• Generieke Injectie Prestaties: Op publieke prompt-injectie datasets (1.968 prompts) bereikt QFIRE's deterministische hybride een F1-score van 0,86, wat statistisch gelijk is aan Meta's PromptGuard-2 (0,86) en superieur is aan de standalone DeBERTa-v3 classifier (0,83). Lexicale baselines blijven aanzienlijk achter (F1 0,16–0,50).
• Gezondheidszorg Dekkingskloof (Centraal Resultaat): Op QFIRE-HealthBench wordt de prestatiekloof dramatisch groter. De recall van PromptGuard-2 stort in naar 0,40, en DeBERTa-v3 bereikt slechts 0,57, omdat de meeste klinische dreigingen geen injectiesignalen bevatten. De gecombineerde scope+PHI keten van QFIRE bereikt 0,83 recall (F1 0,87) bij een gekalibreerde false-positive rate (FPR) van 0,08.
• Adaptieve Robuustheid: Onder adaptieve aanvallen (parafrasering, codering en in-the-loop herformulering), dalen SOTA classificatiesystemen en full-stack frameworks (bijv. NeMo Guardrails) naar 0–71% recall. De scope+PHI keten van QFIRE behoudt 100% recall tegen deze adaptieve families, aangezien het structurele doel (bijv. "exporteer alle records") ongeacht de formulering buiten de scope blijft.
• End-to-End Harm Reductie: In een mock-EHR sandbox met een tool-gebruikende agent verminderde QFIRE de schadelijke actie-rate van 0,38 naar 0,00. De benign utility daalde slechts licht (0,95 naar 0,825), waarbij de kosten geconcentreerd waren in conservatief geblokkeerde outbound e-mailverzoeken.
• Latentie en Implementatie: QFIRE draait lokaal met begrensde latentie. Het deterministische hybride pad (short-circuiting) bereikt een p95 latentie van ~242 ms. Het systeem vermijdt Python in het "hot path" en draait volledig in Rust met embedded ONNX.

Betekenis en Claims
Het artikel betoogt dat generieke prompt-injectiedetectie noodzakelijk maar niet voldoende is voor klinische agenten. De primaire bijdrage is het aantonen dat de "scope en PHI kloof" niet kan worden gedicht door enkel sterkere classificatiesystemen; het vereist een structurele, positive-security aanpak die verklaarde doeleinden en identifier-bescherming afdwingt.

• Regulatoire Afstemming: QFIRE operationaliseert het Healthcare AI Agents Regulatory Framework (HAARF) door tastbaar bewijs te leveren voor scope-restrictie, PHI-bescherming en auditeerbare weigering. Het sluit direct aan bij de HIPAA "minimum necessary" standaard (45 CFR 164.502(b)) en voorgestelde Security Rule-vereisten voor continue monitoring en onveranderlijke auditlogs.
• Auditbaarheid: Door policy los te koppelen van modelgewichten, biedt QFIRE een "fail-closed" mechanisme waarbij elke beslissing wordt gelogd met een uitlegbare trace, waardoor compliance officers beleid kunnen beoordelen en diffen zonder op ondoorzichtige modelinternals te vertrouwen.
• Beperkingen: De auteurs erkennen dat QFIRE tekst-prompt gefocust is (niet multi-modaal) en dat de LLM judge-component de biases en kalibratiebehoeften van het onderliggende model overneemt. Ze merken op dat hoewel het systeem robuust is tegen adaptieve aanvallen, een "firewall-in-the-loop" tegenstander de recall uiteindelijk kan uithollen als het werkpunt niet is afgestemd op robuustheid boven nut.

Samenvattend biedt QFIRE een lage-latentie, deterministische en auditeerbare handhavingslaag die de kritieke veiligheidskloof in klinische AI-agenten dicht, waar traditionele injectiedetectie tekortschiet.