Resumo Técnico: Medindo Efeitos de Alinhamento de Segurança em Agentes de Segurança Autônomos

Declaração do Problema

As avaliações de segurança atuais para Modelos de Linguagem de Grande Escala (LLMs) dependem predominantemente de benchmarks de recusa de turno único. Essas métricas medem se um modelo se recusa a gerar conteúdo prejudicial em chats de livre expressão. No entanto, à medida que os LLMs transitam para agentes de segurança autônomos que inspecionam repositórios, executam ferramentas e validam vulnerabilidades dentro de ambientes controlados (sandboxes) autorizados, as taxas de recusa de turno único tornam-se um proxy insuficiente para segurança e capacidade.

Em um fluxo de trabalho de agente autorizado, o detalhe "prejudicial" frequentemente necessário para completar uma tarefa defensiva (por exemplo, localizar uma função vulnerável, demonstrar alcançabilidade em um sandbox ou verificar um patch) pode ser indistinguível de um vetor de ataque em um contexto de chat. Uma recusa no nível do modelo nesse cenário pode interromper um fluxo de trabalho defensivo legítimo que o sistema circundante já restringiu e autorizou. O artigo aborda a lacuna na compreensão de como o alinhamento de segurança afeta a conclusão de tarefas ponta a ponta, a fundamentação de evidências e a confiabilidade das ferramentas em agentes de segurança de múltiplos turnos e em sandbox.

Metodologia

Os autores apresentam um benchmark baseado em rastros projetado para avaliar agentes de segurança autônomos em condições controladas. O framework de avaliação inclui:

• Suite de Tarefas: 30 tarefas locais de segurança em sandbox divididas em cinco classes: Localização de Vulnerabilidade, Validação de Alcançabilidade, Prova de Gatilho, Verificação de Patch e Redação de Relatório de Segurança. Cada tarefa inclui um manifesto legível por máquina, predicados de sucesso determinísticos, regras de redação e alvos específicos de fundamentação de evidências (arquivos esperados, símbolos, termos de problema).
• Pares de Modelos: Quatro pares de modelos foram comparados, contrastando modelos "alinhados" (oficiais, ajustados por instrução) contra derivados "menos restritos" (descensurados ou abliterados):
  • Gemma 4 31B: Oficial vs. Descensurado de terceiros.
  • Gemma 4 26B A4B: Oficial vs. Descensurado de terceiros.
  • Qwen2.5-Coder 7B: Oficial vs. Derivado abliterado.
  • Llama 3.1 8B: Oficial vs. Derivado abliterado.
  • Nota: A avaliação do Gemma 31B também incluiu condições de prompt "Autorizado" e estilo "Jailbreak" para o modelo alinhado.
• Harness de Agente: Um controlador Python compartilhado executa tarefas em um sandbox local. Ele impõe orçamentos fixos, permissões de ferramentas e sementes determinísticas. O harness utiliza um modo de "controlador de reparo" para mitigar falhas de interface (por exemplo, listagens de arquivos repetidas) observadas em execuções piloto.
• Métricas:
  • Sucesso Ponta a Ponta: Verificação determinística de se o artefato final satisfaz o predicado da tarefa.
  • Fundamentação de Evidências: Uma pontuação (0–5) baseada em se o rastro leu arquivos esperados e nomeou símbolos/problemas esperados no artefato final.
  • Modos de Falha: Rótulos distinguem entre recusas, ações suprimidas, ações inseguras, falhas de ferramenta e falhas de capacidade.
• Controles: 800 rastros não relacionados à segurança (verificações de sanidade e tarefas de codificação padrão) foram executados para distinguir efeitos de alinhamento específicos de segurança de diferenças de capacidade geral.

Principais Contribuições

1. Benchmark de Nível de Sistema: Introdução de um benchmark de agente de segurança local de 30 tarefas com ferramentas fixas, verificações de sucesso determinísticas e rótulos de rastro que separam a recusa de falhas de ferramenta/localização/fundamentação.
2. Avaliação Transversal de Famílias: Uma comparação rigorosa de quatro famílias de modelos (Gemma, Qwen, Llama) sob condições alinhadas vs. menos restritas, controlando tarefa, semente e backend.
3. Refinamento de Sinais de Segurança: Demonstração de que as taxas de recusa visíveis, por si só, não explicam o comportamento do agente em contextos de segurança. O estudo destaca o papel crítico da fundamentação de evidências, capacidade do modelo, proveniência do derivado e confiabilidade da interface da ferramenta.

Resultados

Os resultados revelam que o impacto do alinhamento de segurança é altamente dependente da família de modelos e da natureza específica do derivado "menos restrito":

• Pares Gemma (31B & 26B): Derivados menos restritos mostraram ganhos significativos no sucesso de tarefas de segurança e na fundamentação.
  • Gemma 31B: A taxa de sucesso aumentou de 0,7% (alinhado) para 14,0% (menos restrito). As pontuações de fundamentação melhoraram de 3,27 para 3,91. Notavelmente, o modelo alinhado mostrou 0,0% de taxas de recusa, ação suprimida ou ação insegura, indicando que a falha não foi devido à recusa, mas à falta de produção de artefato fundamentado.
  • Gemma 26B: A taxa de sucesso aumentou de 0,0% para 10,7%, com a fundamentação melhorando de 1,64 para 4,12. No entanto, o derivado menos restrito 26B exibiu uma taxa de 5,3% de ações inseguras.
• Qwen2.5-Coder 7B: O derivado menos restrito performou pior que o modelo alinhado (2,0% vs. 5,3% de sucesso) com diferenças de fundamentação negligenciáveis.
• Llama 3.1 8B: O derivado abliterado não seguiu efetivamente o protocolo da ferramenta, resultando em 0,0% de sucesso e uma pontuação de fundamentação próxima de zero (0,21), comparado a 3,3% de sucesso para o modelo alinhado.
• Tarefas Difíceis: Em todas as famílias, tarefas que exigiam prova de gatilho difícil e verificação de patch permaneceram sem solução (0% de sucesso).
• Controles: Os derivados menos restritos do Gemma também superaram seus pares alinhados em controles de codificação não relacionados à segurança, sugerindo que a lacuna de desempenho não é exclusiva de tarefas de segurança, mas reflete uma diferença mais ampla de capacidade/fundamentação.

Significado e Alegações

O artigo argumenta que os efeitos do alinhamento de segurança em agentes de segurança autônomos devem ser medidos no nível do sistema, em vez de depender exclusivamente de taxas de recusa no nível do transcripto.

• A recusa não é o único mecanismo: No caso do Gemma 31B, o modelo alinhado não se recusou; simplesmente falhou em produzir a evidência concreta e fundamentada exigida pela tarefa.
• A Proveniência do Derivado Importa: "Menos restrito" não é uma melhoria universal. Enquanto derivados descensurados do Gemma mostraram ganhos, derivados abliterados do Qwen e Llama mostraram confiabilidade degradada da ferramenta e menor sucesso.
• Avaliação de Limite do Sistema: A avaliação de segurança deve ocorrer no limite do sistema onde autorização, permissões de ferramentas, revisão de rastros e verificações de evidências são observáveis. Um modelo pode ser "seguro" em um contexto de chat, mas falhar em realizar trabalho defensivo autorizado, ou, inversamente, um modelo "menos restrito" pode ter sucesso em uma tarefa, mas introduzir ações inseguras.
• Contexto de Uso Duplo: Os autores enfatizam que esta é pesquisa de uso duplo. A avaliação utiliza tarefas locais com defeitos conhecidos e sem alvos de terceiros. As descobertas não argumentam pela remoção do alinhamento, mas sugerem que os controles de segurança devem ser avaliados com base em seu impacto na capacidade de todo o sistema de agente de produzir evidências defensivas válidas e fundamentadas.

O artigo conclui que o "objeto adequado de avaliação" é o sistema inteiro (modelo, ferramentas, autorização, evidência de rastro), e não apenas o comportamento de recusa.