Resumo Técnico: StepShield – Quando, e não se, Intervir em Agentes Desviantes

Declaração do Problema

Os benchmarks atuais para a segurança de agentes de IA (ex: Agent-SafetyBench, SafeArena, R-Judge) operam em um paradigma de nível de trajetória, emitindo um veredito binário apenas após a execução completa do agente. Essa abordagem responde se um agente se desviou, mas falha em abordar quando ocorreu o desvio. Os autores argumentam que essa cegueira temporal é uma falha crítica: a diferença entre uma intervenção de segurança e uma autópsia pós-morte reside inteiramente no tempo. Métricas existentes como acurácia, recall e F1 são estruturalmente incapazes de distinguir um detector que sinaliza uma violação no momento da divergência (permitindo a prevenção) de um que a sinaliza apenas após danos irreversíveis terem sido causados. Além disso, métricas padrão confundem alarmes falsos prematuros em código benigno com detecção precoce genuína, mascarando a inutilidade operacional de muitos monitores implantados.

Metodologia

O artigo introduz o StepShield, o primeiro framework de avaliação que trata a tempestividade da detecção como uma métrica de primeira classe.

1. O Conjunto de Dados StepShield

Os autores construíram um conjunto de dados de 9.429 trajetórias de agentes de código anotadas ao nível de passo, fundamentadas em 127 incidentes de segurança do mundo real (derivados de observações de produção, MITRE ATT&CK e o AI Incident Database).

• Composição: O conjunto de dados inclui 639 pares rogue-clean (desviante-limpo) correspondentes para treinamento/aprendizado contrastivo e um conjunto de teste realista de implantação de 7.935 trajetórias com uma taxa de desvio de 8,1% (simulando um cenário de "agulha no palheiro").
• Anotação: Cada trajetória desviante é anotada com um ponto de divergência ($s_r$) preciso, o passo específico onde a ação do agente se desvia de sua especificação de tarefa autorizada para causar ou arriscar dano.
• Taxonomia: As violações são categorizadas em seis tipos: Exfiltração de Dados, Escalação de Privilégios, Sequestro de Recursos, Ataque à Cadeia de Suprimentos, Ação Destrutiva e Persistência Coberta.

2. Métricas Temporais

O StepShield define três métricas para capturar formalmente a tempestividade da detecção, provando que elas são informacionalmente não redundantes com a acurácia padrão:

• Taxa de Intervenção Precoce (EIR - Early Intervention Rate): A fração de trajetórias desviantes detectadas onde o alerta dispara dentro de uma janela de $k$-passos (padrão $k=3$) após o ponto de divergência ($s_r \le s_d \le s_r + k$). Crucialmente, detecções ocorrendo antes do ponto de divergência ($s_d < s_r$) recebem crédito zero, isolando a qualidade do tempo da cobertura.
• Gap de Intervenção (IG - Intervention Gap): O atraso médio de passos assinado ($s_d - s_r$). Valores negativos indicam detecção prematura em prefixos benignos, servindo como um diagnóstico para o recall impulsionado por falsos positivos.
• Tokens Salvos: A fração de tokens de sufixo desviante impedidos de execução, computada apenas sobre intervenções precoces genuínas ($s_d \ge s_r$).

3. Protocolo Experimental

Os autores avaliaram quatro paradigmas de detecção em um conjunto de teste estritamente isolado (zero sobreposição com os dados de desenvolvimento):

1. StaticGuard: Um guardrail baseado em padrões usando 847 regras de regex derivadas de OWASP e MITRE.
2. ConstraintGuard: Um detector baseado em especificações que impõe 23 restrições comportamentais.
3. LLMJudge: Um detector semântico usando GPT-4.1-mini para avaliar os passos em contexto.
4. HybridGuard: Uma arquitetura de cascata onde o StaticGuard filtra passos de alta confiança, escalando os incertos para o LLMJudge.

Principais Resultados

A "Armadilha Forense"

O achado central é a existência de uma Armadilha Forense: um detector baseado em padrões pode alcançar alto recall enquanto é estatisticamente indistinguível de um tempo aleatório.

• StaticGuard alcançou 86% de recall, mas um EIR de 0,23, o que é estatisticamente indistinguível de uma linha de base de tempo aleatório (0,24; $p=0,66$). Seu Gap de Intervenção negativo (-5,0 passos) revela que ele dispara, em média, 5 passos antes da violação real, disparado por padrões de código benignos que coincidem com suas regras de regex.
• LLMJudge alcançou um EIR de 0,89, o que significa que 89% das trajetórias desviantes detectadas foram sinalizadas dentro de 3 passos da divergência.
• O Gap de 4x: A diferença de 4 vezes na capacidade de intervenção precoce entre detectores baseados em regras e semânticos é completamente invisível para as pontuações de acurácia ou F1 padrão (StaticGuard F1: 0,65 vs. LLMJudge F1: 0,95).

Viabilidade Operacional e Trade-offs

• Falsos Positivos: O StaticGuard sofre de uma Taxa de Falso Positivo (FPR) de 77,8% em trajetórias limpas. Em uma taxa de base de desvio realista de 8,1%, seu Valor Preditivo Positivo (PPV) cai para 0,089 (91% dos alertas são alarmes falsos), tornando-o operacionalmente inútil, apesar do alto recall.
• Superioridade Semântica: O LLMJudge mantém um FPR de 5,6% e um PPV de 0,60 na mesma taxa de base. Ele alcança 91,2% de Tokens Salvos, impedindo a execução da vasta maioria dos sufixos prejudiciais.
• Dificuldade de Categoria: Enquanto o LLMJudge alcança EIR perfeito (1,00) em ataques de Cadeia de Suprimentos, Destrutivos e Sequestro de Recursos, ele tem dificuldades com violações sutis como Escalação de Privilégios (EIR 0,72) e Exfiltração de Dados (EIR 0,78), onde mudanças comportamentais cobertas são mais difíceis de localizar temporalmente.

Baseline Humano

Especialistas em segurança humana alcançaram um EIR de 0,92, estabelecendo que o benchmark não está saturado e que os métodos automatizados atuais (mesmo os melhores baseados em LLM) ainda estão atrás da capacidade humana nas categorias mais difíceis.

Significância e Alegações

O artigo afirma estabelecer a detecção de desvio em nível de passo como um desafio genuinamente não resolvido. Suas principais contribuições são:

1. Uma Nova Dimensão de Avaliação: Provar que o tempo é uma métrica distinta e crítica que os benchmarks padrão ignoram. Os autores demonstram que um detector pode ser "acurado" em um sentido binário, enquanto é inútil para segurança em tempo real.
2. Falha Estrutural de Regex: A descoberta de que toda a classe implantada de monitores baseados em padrões (guardrails de regex) não é adequada para supervisão em tempo real porque detectam sintaxe, não intenção, e não conseguem distinguir o momento em que o agente se torna desviante.
3. A Armadilha Forense: Identificar um fenô fenômeno sistemático onde o alto recall é alcançado através de alarmes falsos prematuros, criando uma falsa sensação de segurança.
4. Eficiência de Recursos: Demonstrar que uma arquitetura de cascata (HybridGuard) pode reduzir significativamente os custos (resolvendo ~74% dos passos com custo zero de regex) enquanto mantém um alto EIR, desde que o filtro inicial não introduza erros de tempo catastróficos.

Os autores concluem que, sem métricas temporais como o EIR, a comunidade não pode distinguir entre prevenção e forense pós-morte, e que as implantações de segurança atuais que dependem de correspondência de padrões estão fundamentalmente desalinhadas com os requisitos de supervisão de agentes em tempo real.