Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

Resumo Técnico: SCOUT – Raciocínio Pre-hoc para Alocação Adaptativa de Detectores

Definição do Problema
Os detectores de injeção de prompt são inerentemente heterogêneos; cada detector se destaca em fatias específicas de categorias de ataque (por exemplo, regras lexicais, sondas de atenção, classificadores leves), enquanto falha em outras. Os sistemas de defesa existentes normalmente dependem de pipelines fixos, como um único detector ou uma cascata estática, o que força cada requisição a passar pelos pontos cegos de um detector específico. Além disso, a defesa mais precisa, um juiz baseado em LLM (ex: GPT-4o), incorre em uma latência proibitiva (aprox. 1,5 segundos por requisição) em comparação com detectores leves (sub-milissegundos a dezenas de milissegundos). O desafio central é equilibrar segurança (capturar ataques) com utilidade (minimizar a latência e manter as taxas de passagem de conteúdos benignos) sem se comprometer com as limitações de um único detector ou com o alto custo de um julgamento sempre ativo via LLM.

Metodologia: Estrutura SCOUT
Os autores propõem o SCOUT (Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage), uma estrutura que reformula a defesa como um problema de alocação de detector por entrada. Em vez de uma cascata fixa, o SCOUT decide dinamicamente quais detectores executar para cada requisição específica e se deve escalar para um juiz LLM.

O sistema opera através de três componentes principais:

1. Impressões Digitais de Detectores e Recuperação (Fingerprints):

   • O SCOUT mantém um conjunto fixo de entradas "âncoras" (Anchor-400) que representam diversas estruturas de injeção.
   • Para cada detector no pool, uma impressão digital (fingerprint) é construída registrando seu comportamento (veredito, correção e latência) nestas âncoras.
   • Na inferência, para uma nova requisição $x$, o sistema recupera as top-$K$ âncoras mais similares com base na estrutura da injeção (categoria, estratégia de ocultação, portador, mecanismo), em vez do conteúdo tópico. Esta recuperação é agnóstica ao detector.

2. Preditor de Resultado (Raciocínio Pre-hoc):

   • Um modelo de linguagem pequeno (Qwen3-4B) atua como um preditor. Ele recebe os registros de impressões digitais recuperados e a amostra alvo como entrada.
   • Utilizando um processo de treinamento em dois estágios (SFT - Ajuste Fino Supervisionado com racionalidades destiladas a posteriori, seguido de Otimização de Política Relativa de Grupo - GRPO), o preditor estima dois valores para cada detector $D$ na entrada $x$:
     • Correção Prevista ($pred\_corr$): Se $D$ classificará $x$ corretamente.
     • Latência Prevista ($pred\_lat$): Quanto tempo $D$ levará para executar.
   • O preditor é treinado para emitir uma cadeia de raciocínio (Cadeia de Pensamento - CoT) antes da predição estruturada, o que melhora a calibração.

3. Triagem Consciente de Incerteza (Roteamento):

   • Seleção de Subconjunto: O roteador filtra o "pool leve" de detectores, mantendo apenas aqueles onde $pred\_corr = 1$.
   • Votação Ponderada por Confiança: Os detectores selecionados executam em paralelo. Seus votos são agregados usando um peso de confiança que mistura evidência local (precisão nas âncoras recuperadas) e prioris globais (precisão geral).
   • Portão de Escalação: Se o voto ponderado for incerto (acordo $< \tau$), o sistema considera escalar para o juiz LLM. Crucialmente, a escalação ocorre apenas se o preditor também estimar que o juiz é confiável para aquela entrada específica.
   • Controle de Latência: Como o preditor estima a latência, o sistema pode prever o tempo total de execução (wall-clock time) para qualquer limiar $\tau$ antes de executar a requisição. Operadores podem definir $\tau$ para atender a um orçamento de latência específico.

Principais Contribuições

• Reformulação da Defesa: O artigo muda o paradigma de pipelines de detecção fixos para alocação de detector por entrada, permitindo que o sistema combine o detector com a categoria de ataque específica da entrada.
• A Estrutura SCOUT: Uma arquitetura inovadora que combina impressões digitais comportamentais, um pequeno preditor de resultados e uma regra de roteamento controlável. Ela permite que novos detectores entrem no pool sem necessidade de retreinamento (apenas uma passagem pelas âncoras para gerar sua impressão digital).
• Benchmark SCOUT-450: Um novo benchmark de avaliação enriquecido com injeções estruturalmente complexas voltadas para agentes (especificamente a categoria hidden_tricky) que os benchmarks antigos sub-representam. Inclui 255 amostras de ataque e 195 amostras benignas.
• Controlabilidade: O sistema expõe um único limiar de operador ($\tau$) que troca segurança por latência, com a capacidade de prever o custo total de tempo de execução antecipadamente.

Resultos
Avaliado no SCOUT-450 e em três benchmarks externos (BIPIA, IPI, IHEval), o SCOUT demonstra melhorias significativas sobre as linhas de base:

• Fronteira Segurança-Utilidade: No SCOUT-450, no ponto operacional principal ($\tau=0,875$), o SCOUT reduz a Taxa de Sucesso de Ataque (ASR) em 46% e a latência total de execução em 40% em comparação com um juiz GPT-4o sempre ativo.
• Precisão: O SCOUT alcança uma precisão de 0,933, superando o melhor detector individual (PIGuard, 0,669) e o juiz sempre ativo (GPT-4o, 0,924).
• Utilidade Benigna: Embora o SCOUT incorra em uma queda de 5,1 pontos na utilidade benigna em comparação ao juiz sempre ativo (0,928 vs. 0,979), ele mantém alta vazão enquanto reduz significativamente a latência.
• Generalização: O sistema transfere para benchmarks externos (BIPIA, IPI, IHEval) sem retreinamento, adaptando-se a diferentes distribuições de ataque ao realocar detectores. Por exemplo, no BIPIA, ele reduz a latência em 3,7x em relação ao juiz GPT-5.1, mantendo alta precisão.
• Ablações: O estudo confirma que o ganho provém da capacidade do preditor de calibrar estimativas de confiabilidade (superando preditores não-LLM como KNN/MLP) e da estratégia de alocação por entrada (superando cascata de confiança uniforme).

Significância e Alegações
O artigo afirma que o SCOUT oferece uma solução escalável e controlável para a defesa contra injeção de prompt.

• Escalabilidade: Adicionar um novo detector requer apenas a geração de sua impressão digital no conjunto de âncoras; nenhum retreinamento do recuperador, preditor ou roteador é necessário.
• Controlabilidade: Operadores podem ajustar o sistema para um orçamento de latência ou alvo de segurança específico usando o limiar único $\tau$, com o sistema prevendo o custo antecipadamente.
• Consciência de Heterogeneidade: Ao reconhecer que nenhum detector é universalmente forte, o SCOUT aproveita as diversas forças de um pool heterogêneo, roteando casos difíceis para o juiz LLM apenas quando necessário e quando o juiz é previsto como confiável.

Os autores reconhecem limitações, observando que o SCOUT não pode superar a capacidade coletiva do pool de detectores disponível e que sua eficácia depende do conjunto de âncoras cobrir os eixos estruturais da distribuição de teste. Eles também observam que a estrutura atualmente não defende contra atacantes adaptativos que visam o próprio roteador.