Beyond Injection Detection: A Positive-Security Prompt Firewall that Closes the Scope and PHI Gap SOTA Classifiers Miss in Healthcare

Sintesi Tecnica: Oltre il rilevamento delle iniezioni: un firewall di prompt a sicurezza positiva che colma il gap di ambito e PHI

Definizione del problema
L'integrazione di modelli linguistici di grandi dimensioni (LLM) in agenti clinici autonomi crea una superficie di attacco ad alto rischio in cui istruzioni fidate e dati non fidati condividono una singola finestra di contesto. Sebbene i classificatori di prompt injection allo stato dell'arte (SOTA) (ad esempio, PromptGuard-2 di Meta) rilevino efficacemente i token avversari espliciti (jailbreak, override delle istruzioni), essi non riescono a rilevare richieste "fluenti e dall'aspetto legittimo" che non trasportano alcun segnale di iniezione. In ambito sanitario, le minacce più critiche — esfiltrazione di informazioni sanitarie protette (PHI), accesso incrociato tra pazienti, esportazione massiva di dati e consigli clinici fuori ambito — sono spesso formulate come workflow educati e autorizzati. Uno studio di JAMA Network Open del 2025 ha osservato che gli LLM medici commerciali hanno seguito le istruzioni iniettate nel 94,4% degli incontri simulati, ma il gap specifico identificato qui è che i classificatori generici mancano queste richieste che violano l'ambito perché prive di sintassi avversaria. Inoltre, i guardrail a runtime esistenti affrontano un compromesso: gli auditor basati su modelli sono accurati ma introducono un'alta latenza (centinaia di millisecondi), mentre i filtri lessicali sono veloci ma ciechi di fronte a payload offuscati.

Metodologia: QFIRE
Gli autori presentano QFIRE, un firewall di prompt inline, agnostico rispetto al provider, implementato come un unico toolchain autosufficiente in Rust (proxy, CLI e harness di benchmark). QFIRE opera come un sistema a sicurezza positiva e zero-trust che impone un ambito naturale dichiarato e un pannello PHI conforme allo standard HIPAA Safe-Harbor.

• Architettura: QFIRE funziona come un reverse proxy che normalizza le richieste da OpenAI, Anthropic, Gemini e Ollama in una rappresentazione interna. Valuta i prompt rispetto a una policy dichiarativa, controllata tramite versione, prima di inoltrarli al modello a valle.
• Meccanismi Core:
  1. Vincoli di ambito a sicurezza positiva: Inve che limitarsi a rilevare attacchi, QFIRE restringe le chiamate al modello a uno scopo dichiarato (imponendo lo standard "minimo necessario" dell'HIPAA). Blocca la "deriva fuori ambito" anche in assenza di un token di attacco.
  2. Grafo di rilevamento asincrono: Le regole sono organizzate in pipeline che girano concorrentemente su un runtime Tokio. Il sistema impiega una strategia di "short-circuit" "economico-prima-di-costoso": i controlli lessicali deterministici (regex, Aho-Corasick, entropia) vengono eseguiti per primi; se questi si astengono, vengono attivati i nodi più costosi (classificatore locale DeBERTa-v3 tramite ONNX Runtime, o un LLM scope-judge).
  3. Normalizzazione di de-offuscamento: Prima del rilevamento, un passaggio opzionale rimuove caratteri a larghezza zero, ripiega homoglyph e leetspeak, e decodifica Base64, hex e ROT13 per esporre payload nascosti.
• Design della Policy: A differenza dei baseline che codificano la policy in codice Python o pesi del modello, QFIRE utilizza un linguaggio dichiarativo. Le regole sono dati (YAML) che possono essere sottoposti a diff, test unitari (qfire rules test) e audit senza modificare il motore.
• Benchmark: Gli autori introducono QFIRE-HealthBench, un nuovo dataset di 2.000 prompt (1.000 clinico-adiacenti benigni, 1.000 malevoli) costruiti utilizzando payload reali di garak e Microsoft PyRIT. Questo dataset mira specificamente alle minacce che i classificatori generici non colgono.

Risultati Chiave

• Performance di iniezione generica: Sui dataset pubblici di prompt-injection (1.968 prompt), l'approccio ibrido deterministico di QFIRE raggiunge un punteggio F1 di 0,86, statisticamente equivalente a PromptGuard-2 di Meta (0,86) e superiore al classificatore standalone DeBERTa-v3 (0,83). I baseline lessicali restano significativamente indietro (F1 0,16–0,50).
• Gap di copertura sanitaria (Risultato Centrale): Su QFIRE-HealthBench, il divario di performance si amplia drasticamente. Il recall di PromptGuard-2 crolla a 0,40, e DeBERTa-v3 raggiunge solo lo 0,57, poiché la maggior parte delle minacce cliniche manca di segnali di iniezione. La catena combinata ambito+PHI di QFIRE raggiunge un recall di 0,83 (F1 0,87) con un tasso di falsi positivi (FPR) calibrato di 0,08.
• Robustezza Adattiva: Sotto attacchi adattivi (parafresi, codifica e riformulazione in-the-loop), i classificatori SOTA e i framework full-stack (ad esempio, NeMo Guardrails) scendono a una recall dello 0–71%. La catena a sicurezza positiva ambito+PHI di QFIRE mantiene un recall del 100% contro queste famiglie adattive, poiché l'obiettivo strutturale (ad esempio, "esporta tutti i record") rimane fuori ambito indipendentemente dalla formulazione.
• Riduzione del danno end-to-end: In un sandbox di un EHR simulato con un agente che utilizza strumenti, QFIRE ha ridotto il tasso di azioni dannose da 0,38 a 0,00. L'utilità benigna è calata solo leggermente (da 0,95 a 0,825), con il costo concentrato nelle richieste di email in uscita bloccate in modo conservativo.
• Latenza e Deployment: QFIRE viene eseguito localmente con latenza limitata. Il percorso ibrido deterministico (short-circuiting) raggiunge una latenza p95 di circa 242 ms. Il sistema evita Python nel percorso critico, eseguendosi interamente in Rust con ONNX incorporato.

Significatività e Claim
Il paper sostiene che il rilevamento generico della prompt injection è necessario ma non sufficiente per gli agenti sanitari. Il contributo primario è dimostrare che il "gap di ambito e PHI" non può essere colmato solo da classificatori più forti; richiede un approccio di sicurezza positiva strutturale che imponga scopi dichiarati e protezione degli identificatori.

• Allineamento Regolatorio: QFIRE operazionalizza l'Healthcare AI Agents Regulatory Framework (HAARF) fornendo prove misurabili per la restrizione dell'ambito, la protezione PHI e il rifiuto auditabile. Si mappa direttamente sullo standard del minimo necessario dell'HIPAA (45 CFR 164.502(b)) e ai requisiti proposti per la Security Rule riguardanti il monitoraggio continuo e i log di audit immutabili.
• Auditabilità: Decoupling della policy dai pesi del modello, QFIRE offre un meccanismo "fail-closed" dove ogni decisione viene registrata con una traccia spiegabile, consentendo ai responsabili della conformità di revisionare e confrontare le policy senza dover fidarsi di interni opachi del modello.
• Limitazioni: Gli autori riconoscono che QFIRE è focalizzato sui prompt testuali (non multimodale) e che la componente LLM judge eredita i bias e le necessità di calibrazione del modello sottostante. Notano che, sebbene il sistema sia robusto contro gli attacchi adattivi, un avversario "firewall-in-the-loop" può eventualmente erodere il recall se il punto operativo non è tarato per la robustezza rispetto all'utilità.

In sintesi, QFIRE fornisce uno strato di enforcement a bassa latenza, deterministico e auditabile che chiude il critico gap di sicurezza negli agenti clinici IA dove il tradizionale rilevamento delle iniezioni fallisce.