Resumo Técnico: Além da Taxa de Sucesso: Avaliação Consciente de Custos de Agentes de Segurança Ofensiva e Defensiva

Declaração do Problema

As avaliações atuais de agentes de segurança predominam ao focar na capacidade ofensiva máxima sob orçamentos de inferência generosos, enfatizando métricas como descoberta de vulnerabilidades, desenvolvimento de exploits e conclusão de Capture The Flag (CTF). Embora essas medições rastreiem capacidades relevantes para atacantes, elas falham em refletir a realidade operacional. Em ambientes de segurança de produção, cada etapa de raciocínio, chamada de ferramenta, consulta de telemetria e solicitação de enriquecimento consome um orçamento finito. As avaliações existentes frequentemente colapsam os custos de inferência e os custos de ferramentas, ignorando os trade-offs econômicos inerentes aos fluxos de trabalho de um Centro de Operações de Segurança (SOC). Consequentemente, há uma falta de compreensão sobre como o desempenho do modelo escala com restrições de custo e se "mais computação" se traduz em melhores resultados operacionais tanto para tarefas ofensivas quanto defensivas.

Metodologia

Os autores avaliam agentes de segurança de modelos de linguagem através de uma lente de "custo-sucesso" usando um harness comum de avaliação de agentes (Inspect) através de duas famílias distintas de benchmarks:

1. Benchmark Ofensivo (Cybench): Um conjunto de 39 desafios de CTF em ambiente controlado abrangendo criptografia, exploração web, engenharia reversa e forense. Os agentes são fornecidos com ferramentas bash e Python. O sucesso é medido pela submissão de tokens de flags ocultas.
2. Benchmark Defensivo (Splunk BOTS v1): Um conjunto de dados público de investigação de incidentes envolvendo 31 perguntas pontuadas baseadas em telemetria do mundo real (defacement de site Po1s0n1vy e ransomware Cerber). Os agentes utilizam Splunk Search Processing Language (SPL), inspeção de eventos e ferramentas de enriquecimento externas (Brave Search, WhoisXMLAPI, VirusTotal). O sucesso é medido por pontos oficiais de competição, penalizados por dicas incorretas.

Design Experimental:

• Contabilidade de Custos: O estudo decompõe os custos em gastos de inferência (tokens do modelo) e gastos de ferramentas tarifadas (ex: $0,005 por Brave Search, $1,29 por compra na WhoisXMLAPI).
• Restrições de Orçamento: Em vez de relatar apenas o melhor caso de sucesso, os autores comparam modelos em níveis de custo fixos. Eles empregam limites de orçamento retrospectivos (reproduzindo traces concluídos com um limite de $0,80 por amostra) para isolar o valor marginal de computação adicional.
• Controles de Descontaminação: Dada a idade e a natureza pública do BOTS v1, os autores realizaram sondagens "sem ferramentas" (respondendo baseando-se apenas no texto da pergunta e conhecimento prévio) para avaliar a extensão do vazamento de dados e memorização do modelo.
• Tratamento de Recusas: As recusas são classificadas no nível de época da amostra. Em tarefas ofensivas, as recusas são tratadas como falhas; em tarefas defensivas, elas são rastreadas como contexto, mas não anulam automaticamente os pontos se uma tentativa subsequente for bem-sucedida.

Principais Contribuições

1. Comparação Custo-Sucesso: Uma avaliação unificada de pontos de operação do Cybench e BOTS v1, introduzindo métricas como custo por questão resolvida e custo por 1.000 pontos BOTS.
2. Análise de Margem de Orçamento: Uma análise pareada mostrando onde o gasto adicional por amostra altera as pontuações observadas, distinguindo modelos que escalam com o orçamento daqueles que não escalam.
3. Contabilidade Granular de Custos: Uma decomposição dos custos de investigação de SOC em tokens de modelo e ferramentas externas tarifadas, revelando a eficiência econômica de diferentes agentes.
4. Controles de Descontaminação: Demonstração de recuperação substancial de respostas diretas dependentes do modelo no BOTS v1 público sem ferramentas, argumentando pela necessidade de controles de descontaminação antes de interpretar pontuações absolutas como reivindicações de capacidade.

Resultados

Desempenho de CTF Ofensivo (Cybench)

• Escalabilidade com Orçamento: O desempenho ofensivo geralmente melhora com computação adicional em tempo de teste. Modelos como Claude Opus 4.8 e DeepSeek v4 Flash mostram ganhos significativos quando permitidos a exceder o limite de orçamento de $0,80 (ganhando +18,8 e +10,3 pontos percentuais, respectivamente).
• Eficiência do Modelo: GPT-5.5 alcançou a maior taxa de sucesso absoluta (94,1%) a um baixo custo ($1,16 por equivalente resolvido), resolvendo a maioria dos desafios abaixo do limite inferior de orçamento.
• Recusas de Política: Modelos de fronteira com salvaguardas estritas (ex: Claude Fable 5, GPT-5.6 Sol) exibiram altas taxas de recusa, limitando efetivamente suas pontuações ofensivas independentemente do orçamento. Por exemplo, o Fable 5 recusou 100% das amostras do Cybench, resultando em 0% de sucesso.
• Uso de Ferramentas: No ofensivo, volumes mais altos de chamadas de ferramentas (ex: DeepSeek v4 Flash realizando ~145 chamadas) correlacionaram-se com maiores taxas de sucesso, sugerindo que o volume de interação pode substituir a qualidade por chamada em CTFs.

Desempenho de SOC Defensivo (BOTS v1)

• Regime de Escala Distinto: A investigação defensiva não escala com o orçamento bruto da mesma forma que as tarefas ofensivas. Aumentar o orçamento para o DeepSeek v4 Flash de $2,10 para $4,20 rendeu um aumento de pontuação negligenciável (73,0% para 73,9%) apesar de um aumento massivo nas chamadas de ferramentas (4.450 para 4.938).
• Disciplina de Ferramentas: O sucesso em tarefas defensivas depende mais fortemente do uso disciplinado de ferramentas, navegação de telemetria e enriquecimento seletivo do que do orçamento bruto de raciocínio. O Claude Opus 4.8 alcançou a maior pontuação (93,9%) com o menor número de chamadas de ferramentas (603) e a melhor eficiência de custo ($2,98 por 1.000 pontos).
• Variância de Modelo: Embora o GPT-5.6 Terra e o Sol tenham se aproximado do desempenho do Opus 4.8, eles exigiram significativamente mais tokens e chamadas de ferramentas.
• Contaminação: Sondas "sem ferramentas" revelaram que modelos como GPT-5.6 Sol e Claude Opus 4.8 podem recuperar pontos significativos (até 77,2% e 74,8%, respectivamente) sem quaisquer ferramentas ou contexto, indicando que as pontuações públicas de benchmarks podem estar infladas por sobreposição de dados de treinamento.

Significância e Alegações

O artigo argumenta que os benchmarks de agentes de segurança devem evoluir além das taxas de sucesso de pico para medir a eficiência econômica e o ajuste operacional.

• Divergência Ofensiva vs. Defensiva: Os autores alegam que os CTFs ofensivos e as investigações de SOC defensivas representam regimes de escala fundamentalmente diferentes. Tarefas ofensivas se beneficiam do aumento de computação e volume de interação, enquanto tarefas defensivas exigem precisão, navegação de telemetria e enriquecimento consciente de custos.
• Relevância Operacional: Um orçamento fixo transforma a taxa de sucesso em uma questão operacional: "Quanto de capacidade um modelo compra por dólar?" Este enquadramento é crítico para sistemas de produção onde os recursos são finitos.
• Integridade do Benchmark: O estudo destaca que benchmarks públicos de SOC como o BOTS v1, embora valiosos para harnesses reprodutíveis e contabilidade de custos, não podem servir como leaderboards limpos para reivindicações de capacidade sem controles rigorosos de descontaminação, devido à alta recuperabilidade de respostas a partir dos dados de treinamento dos modelos.
• Utilidade Prática: Os resultados sugerem que modelos menores ou de pesos abertos (como o DeepSeek v4 Flash) podem ser competitivos em custo para tarefas ofensivas, enquanto tarefas defensivas atualmente favorecem modelos com padrões de uso de ferramentas disciplinados (como o Claude Opus 4.8) em vez daqueles que dependem de computação de força bruta.

Os autores concluem que "avaliações conscientes de custo e nativas de SOC fornecem uma imagem mais clara de quais modelos são praticamente úteis hoje e onde os agentes defensivos ainda precisam melhorar", instando uma mudança para avaliar agentes com base em sua capacidade de entregar respostas de nível de analista sob restrições de orçamento realistas.