Resumo Técnico: StepGuard

Declaração do Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) estendem as capacidades para além da geração de texto ao interagir com ambientes externos via invocação de ferramentas. Embora poderosos, isso introduz riscos de segurança significativos, incluindo modificação de arquivos, vazamento de informações e ações não autorizadas. As salvaguardas existentes frequentemente sofrem de duas limitações primárias:

1. Viés de Avaliação Post-hoc: Muitos sistemas atuais avaliam trajetórias concluídas em vez de monitorar ações antes da execução, deixando o monitoramento de nível de passo pré-execução subexplorado.
2. Desequilíbrio Segurança–Utilidade: As salvaguardas existentes exibem um "viés de defesa", ou seja, defendem demais (bloqueando tarefas benignas) ou defendem de menos (perdendo ações inseguras). Esse trade-off é exacerbado pela falta de supervisão e métodos de treinamento escaláveis e de alta qualidade ao nível de passo que falham em equilibrar explicitamente a lacuna de precisão entre a detecção de ações seguras e inseguras.

Metodologia

O artigo propõe o StepGuard, um modelo de salvaguarda ao nível de passo projetado para auditar trajetórias concluídas e, crucialmente, verificar candidatas a ações de ferramentas antes que sejam executadas. A metodologia compreende três componentes principais:

1. StepGen: Mecanismo de Dados Automático

Para enfrentar a escassez de execuções inseguras do mundo real e a dificuldade de anotação manual, os autores introduzem o StepGen, um mecanismo de dados automático que gera dados de treinamento escaláveis e de alta qualidade.

• Grupos Contrastivos Alinhados por Prefixo: O StepGen constrói trajetórias que compartilham um prefixo de execução comum até um passo de "âncora de risco" designado ($i^*$). A partir desta âncora, ele se ramifica em:
  • Trajetórias Inseguras: Executando a ação arriscada.
  • Alternativas Seguras: Duas ramificações onde o agente ou recusa a ação ou reconhece o risco e prossegue via uma alternativa segura.
  • Reuso Benigno de Ferramentas: Trajetias independentes que reutilizam as mesmas ferramentas em contextos não adversariais para evitar que o modelo aprenda que identidades de ferramentas específicas são inerentemente inseguras.
• Controle de Qualidade: Os grupos gerados passam por validação mecânica (formato, linhagem de parâmetros) e auditoria baseada em LLM (consistência semântica, correção da âncora) para garantir anotações de alta qualidade ao nível de passo.

2. Arquitetura do Modelo StepGuard

O StepGuard é um modelo de 4 bilhões de parâmetros inicializado a partir do Qwen3-4B-Instruct. Ele é treinado para produzir um diagnóstico de segurança estruturado incluindo:

• $\hat{Y}$: Julgamento de Seguro/Inseguro.
• $\hat{B}$: Presença de uma fonte de risco.
• $\hat{R}$: Tipo de fonte de risco.
• $\hat{S}$: Localização do passo inseguro (opcional).

O treinamento segue um processo de dois estágios:

1. SFT de Cold-Start: Fine-tuning em 3.000 exemplos gerados pelo StepGen para aprender o formato de salvaguarda e o raciocínio básico de risco.
2. Balance-GRPO: Um estágio de aprendizado por reforço usando Group Relative Policy Optimization (GRPO) para refinar o equilíbrio segurança–utilidade.

3. Balance-GRPO

Para mitigar o viés de defesa, os autores propõem o Balance-GRPO, uma extensão do GRPO padrão.

• Mecanismo: Ele repondera dinamicamente as vantagens normalizadas durante o treinamento on-policy com base na lacuna de precisão observada entre as classes seguras e inseguras.
• Objetivo: Se o modelo performa pior em ações seguras (sobre-defesa), o peso para exemplos seguros aumenta. Inversamente, se o modelo performa pior em ações inseguras (sub-defesa), o peso para exemplos inseguros aumenta.
• Fórmula: A vantagem $A'_{i,j}$ é reponderada por um fator de contagem de classe $c_i$ e um fator de lacuna de precisão $\omega_i$, que é uma função da diferença entre a precisão de classes seguras e inseguras ($\Delta_{cls}$). Esta abordagem ajusta a pressão de treinamento sem modificar prompts ou recompensas brutas.

Principais Contribuições

1. StepGuard: Um modelo de salvaguarda de 4B que suporta tanto verificações de segurança pré-execução de candidatas a ações de ferramentas quanto a auditoria post-hoc de trajetórias concluídas.
2. StepGen: Um mecanismo de dados automático que sintetiza trajetórias seguras e inseguras alinhadas por prefixo com passos de risco localizados e reuso benigno de ferramentas, fornecendo supervisão escalável ao nível de passo.
3. Balance-GRPO: Um algoritmo de treinamento que utiliza a lacuna de precisão observada entre seguro e inseguro para reduzir dinamicamente o viés de defesa durante o treinamento on-policy.

Resultados Experimentais

Avaliação Estática

• Performance: O StepGuard alcança a maior precisão média entre modelos de salvaguarda de pesos abertos em benchmarks de nível de trajetória (ATBench, R-Judge, ASSE Security) e nível de passo (TS-Bench-Dojo, TS-Bench-Harm).
• Comparação: Seu desempenho é comparável ao GPT-5.4 (fechado), superando significativamente outros modelos de pesos abertos como Qwen3-Guard, LlamaGuard3 e TS-Guard.
• Generalização: Quando treinado em apenas duas fontes de risco, o StepGuard generaliza efetivamente para seis fontes de risco não vistas, alcançando um desempenho próximo ao de um modelo treinado em todas as fontes.

Avaliação de Agente Protegido (Runtime)

Implementado no AgentDojo e AgentDyn com um backbone de agente Qwen3.6-35B:

• Segurança: O StepGuard reduz a Taxa de Sucesso de Ataque (ASR) média em 77,3% em relação à configuração sem salvaguarda.
• Utilidade: A utilidade média cai apenas 2,8 pontos, demonstrando um trade-off de segurança–utilidade superior em comparação com outras salvaguardas.
• AgentHarm: Neste benchmark altamente adversarial, o StepGuard reduz a pontuação maliciosa de 22,8 para 3,4, embora a conclusão de tarefas diminua de 70,9 para 52,8, indicando que configurações altamente adversariais continuam sendo um desafio.

Estudos de Ablação

• StepGen: Remover a supervisão de prefixo intermediário ou exemplos de reuso benigno de ferramentas leva a quedas mensuráveis em precisão e F1, confirmando a necessidade de supervisão contextual.
• Balance-GRPO: Comparado ao vanilla GRPO, o Balance-GRPO reduz a lacuna de precisão seguro–inseguro de 13,0 para 8,0 e melhora a utilidade em até 6,7 pontos em avaliações de agentes protegidos, aumentando o ASR em apenas 0,3 pontos.

Significância e Alegações

O artigo afirma que o StepGuard estabelece um novo estado da arte para salvaguardas de agentes de pesos abertos ao equilibrar efetivamente segurança e utilidade. A significância reside em:

1. Mudança para Monitoramento ao Nível de Passo: Ir além da avaliação de nível de trajetória para verificações de nível de passo pré-execução permite uma intervenção mais precisa.
2. Supervisão Escalável: O StepGen demonstra que dados contrastivos de alta qualidade e compatíveis com o contexto podem ser sintetizados automaticamente, superando o gargalo da coleta de dados manuais.
3. Calibração Dinâmica: O Balance-GRPO fornece um mecanismo para controlar explicitamente o trade-off entre sobre-defesa e sub-defesa, abordando um modo de falha crítico em métodos de alinhamento de segurança existentes.

Os autores reconhecem limitações, observando que os dados dependem de geração sintética (potencialmente herdando vieses), a avaliação é limitada aos benchmarks atuais em vez de ecossistemas totalmente abertos, e o sistema é uma salvaguarda e não uma garantia formal de segurança.