Beyond Injection Detection: A Positive-Security Prompt Firewall that Closes the Scope and PHI Gap SOTA Classifiers Miss in Healthcare

Resumo Técnico: Além da Detecção de Injeção: Um Firewall de Prompt de Segurança Positiva que Fecha a Lacuna de Escopo e PHI

Declaração do Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) em agentes clínicos autônomos cria uma superfície de ataque de alto risco, onde instruções confiáveis e dados não confiáveis compartilham uma única janela de contexto. Embora os classificadores de injeção de prompt de última geração (SOTA) (ex: PromptGuard-2 da Meta) detectem efetivamente tokens adversariais explícitos (jailbreaks, sobreposições de instrução), eles falham em detectar solicitações "fluentes e com aparência legítima" que não carregam nenhum sinal de injeção. Na saúde, as ameaças mais críticas — exfiltração de Informações de Saúde Protegidas (PHI), acesso entre pacientes, exportação de dados em massa e aconselhamento clínico fora do escopo — são frequentemente formuladas como fluxos de trabalho educados e autorizados. Um estudo de 2025 da JAMA Network Open observou que LLMs médicos comerciais seguiram instruções injetadas em 94,4% dos encontros simulados, mas a lacuna específica identificada aqui é que os classificadores genéricos perdem essas solicitações de violação de escopo porque elas carecem de sintaxe adversária. Além disso, os guardrails de tempo de execução existentes enfrentam um compromisso: auditores baseados em modelos são precisos, mas introduzem alta latência (centenas de milissegundos), enquanto filtros lexicais são rápidos, mas cegos para payloads ofuscados.

Metodologia: QFIRE
Os autores apresentam o QFIRE, um firewall de prompt agnóstico a provedores, implementado como uma ferramenta de toolchain Rust autocontida (proxy, CLI e harness de benchmark). O QFIRE opera como um sistema de segurança positiva de confiança zero que impõe um escopo de linguagem natural declarado e um painel de PHI conforme o Safe Harbor do HIPAA.

• Arquitetura: O QFIRE funciona como um proxy reverso que normaliza requisições da OpenAI, Anthropic, Gemini e Ollama em uma representação interna. Ele avalia os prompts contra uma política declarativa em YAML, controlada por versão, antes de encaminhá-los ao modelo subsequente.
• Mecanismos Principentes:
  1. Restrições de Escopo de Segurança Positiva: Em vez de apenas detectar ataques, o QFIRE restringe as chamadas do modelo a um propósito declarado (aplicando o padrão de "mínimo necessário" do HIPAA). Ele bloqueia o "desvio de escopo" mesmo quando não há um token de ataque presente.
  2. Grafo de Detector Assíncrono: As regras são organizadas em pipelines executadas concorrentemente em um runtime Tokio. O sistema emprega uma estratégia de curto-circuito "barato-antes-do-caro": verificações lexicais determinísticas (regex, Aho-Corasick, entropia) rodam primeiro; se elas se abstiverem, nós mais caros (classificador DeBERTa-v3 local via ONNX Runtime ou um juiz de escopo LLM) são acionados.
  3. Normalização de Desofuscação: Antes da detecção, uma passagem opcional remove caracteres de largura zero, dobra homógrafos e leetspeak, e decodifica Base64, hex e ROT13 para expor payloads ocultos.
• Design de Política: Diferente das baselines que codificam a política em código Python ou pesos de modelo, o QFIRE utiliza uma linguagem declarativa. As regras são dados (YAML) que podem ser comparados (diffed), testados unitariamente (qfire rules test) e auditados sem modificar o motor.
• Benchmarks: Os autores introduzem o QFIRE-HealthBench, um novo conjunto de dados de 2.000 prompts (1.000 clinicamente adjacentes benignos, 1.000 maliciosos) construídos usando payloads reais do garak e do Microsoft PyRIT. Este conjunto de dados visa especificamente ameaças que os classificadores genéricos perdem.

Principais Resultados

• Desempenho de Injeção Genérica: Em conjuntos de dados públicos de injeção de prompt (1.968 prompts), o híbrido determinístico do QFIRE atinge um F1 score de 0,86, empatado estatisticamente com o PromptGuard-2 da Meta (0,86) e superior ao classificador DeBERTa-v3 isolado (0,83). As baselines lexicais ficam significativamente atrás (F1 0,16–0,50).
• Lacuna de Cobertura de Saúde (Resultado Central): No QFIRE-HealthBench, a lacuna de desempenho aumenta dramaticamente. O recall do PromptGuard-2 colapsa para 0,40, e o DeBERTa-v3 atinge apenas 0,57, porque a maioria das ameaças clínicas carece de sinais de injeção. A cadeia combinada de escopo+PHI do QFIRE alcança 0,83 de recall (F1 0,87) com uma taxa de falsos positivos (FPR) calibrada de 0,08.
• Robustez Adaptativa: Sob ataques adaptativos (paráfrase, codificação e reformulação em loop), os classificadores SOTA e frameworks de stack completa (ex: NeMo Guardrails) caem para 0–71% de recall. A cadeia de escopo+PHI de segurança positiva do QFIRE mantém 100% de recall contra essas famílias adaptativas, pois o objetivo estrutural (ex: "exportar todos os registros") permanece fora do escopo, independentemente da fraseologia.
• Redução de Dano Ponta a Ponta: Em um sandbox de EHR simulado com um agente de uso de ferramentas, o QFIRE reduziu a taxa de ações prejudiciais de 0,38 para 0,00. A utilidade benigna caiu apenas ligeiramente (0,95 para 0,825), com o custo concentrado em solicitações de e-mail de saída bloqueadas conservadoramente.
• Latência e Implantação: O QFIRE roda localmente com latência limitada. O caminho híbrido determinístico (curto-circuito) atinge uma latência p95 de ~242 ms. O sistema evita o Python no caminho crítico (hot path), rodando inteiramente em Rust com ONNX embarcado.

Significância e Alegações
O artigo argumenta que a detecção de injeção de prompt genérica é necessária, mas não suficiente para agentes de saúde. A principal contribuição é demonstrar que a "lacuna de escopo e PHI" não pode ser fechada apenas com classificadores mais fortes; requer uma abordagem estrutural de segurança positiva que imponha propósitos declarados e proteção de identificadores.

• Alinhamento Regulatório: O QFIRE operacionaliza o Healthcare AI Agents Regulatory Framework (HAARF) ao fornecer evidência mensurável para restrição de escopo, proteção de PHI e recusa auditável. Ele mapeia diretamente para o padrão de "mínimo necessário" do HIPAA (45 CFR 164.502(b)) e requisitos propostos da Security Rule para monitoramento contínuo e logs de auditoria imutáveis.
• Auditabilidade: Ao desacoplar a política dos pesos do modelo, o QFIRE oferece um mecanismo de "falha fechada" (fail-closed) onde cada decisão é registrada com um rastro explicável, permitindo que oficiais de conformidade revisem e comparem políticas sem confiar em internos opacos de modelos.
• Limitações: Os autores reconhecem que o QFIRE é focado em prompts de texto (não multimodal) e que seu componente de juiz LLM herda os vieses e necessidades de calibração do modelo de suporte. Eles observam que, embora o sistema seja robusto contra ataques adaptativos, um adversário de "firewall no loop" pode eventualmente erodir o recall se o ponto de operação não for ajustado para robustez sobre utilidade.

Em resumo, o QFIRE fornece uma camada de aplicação de baixa latência, determinística e auditável que fecha a lacida crítica de segurança em agentes de IA clínica, onde a detecção de injeção tradicional falha.