The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
Este artigo apresenta o SRE-Bench, o primeiro benchmark realista e livre de contaminação para avaliar capacidades de engenharia reversa de agentes em código binário, revelando que mesmo os modelos de linguagem de fronteira mais fortes têm dificuldade em igualar o desempenho de nível humano devido aos desafios únicos de analisar binários não vistos e protegidos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um detetive tentando resolver um mistério. Normalmente, quando você investiga um crime, você consegue ler o diário do suspeito, suas notas manuscritas e seus e-mails. Isso é como ler o código-fonte: as instruções originais, legíveis por humanos, que dizem ao computador o que fazer. Mas no mundo real da cibersegurança, os vilões não deixam seus diários expostos. Eles lhe entregam uma caixa lacrada e trancada, sem instruções do lado de fora. Isso é um binário: um arquivo feito de bytes brutos de computador que parece um amontoado de símbolos sem sentido para os humanos. Para descobrir o que há dentro, você precisa realizar a engenharia reversa — desmontar a caixa, peça por peça, para adivinhar como a fechadura funciona e quais são o conteúdo.
Agora, imagine que construímos detetives de IA superinteligentes (chamados de agentes de IA) que são incríveis em ler esses diários. Eles conseguem detectar mentiras e encontrar pistas em textos mais rápido do que um humano. Mas será que esses detetives de IA conseguem abrir as caixas trancadas? Essa é a grande questão. Se a IA só consegue ler o diário, mas não consegue abrir a caixa, ela não é uma verdadeira heroína da cibersegurança. Precisamos saber se esses detetives digitais conseguem realmente fazer o trabalho pesado da engenharia reversa, ou se eles estão apenas dependendo de padrões de dados que viram em seu treinamento.
Este artigo apresenta um teste novo e superdifícil chamado SRE-Bench para descobrir isso. Os pesquisadores construíram 19 programas completamente novos e secretos do zero — como criar 19 jogos de vídeo e sistemas de segurança únicos e complexos que nenhuma IA jamais viu antes. Eles então trancaram esses programas com 44 tipos diferentes de seguranças de alta tecnologia (técnicas de ofuscação) para torná-los incrivelmente difíceis de decifrar. Eles testaram cinco dos modelos de IA mais inteligentes do mundo contra essas caixas trancadas, incluindo versões futuras como GPT-5.6-sol e Claude-Opus-5 de uma avaliação de 2026.
Os resultados foram um alerta. Mesmo a IA mais forte deste estudo, o GPT-5.6-sol, conseguiu resolver completamente apenas cerca de 31,5% dos casos (obtendo uma pontuação perfeita em 80 de 262 instâncias). As outras IAs tiveram um desempenho ainda pior, com algumas falhando em resolver sequer um único caso. O estudo descobriu que esses agentes de IA se comportam de forma muito diferente dos especialistas humanos. Enquanto os humanos têm dificuldade com coisas como otimização de código (que torna o código eficiente, mas bagunçado), as IAs mal notaram esses obstáculos. Em vez disso, as IAs dependiam fortemente de ver nomes e rótulos no código; quando os pesquisadores removeram esses nomes, o desempenho da IA desmoronou. Mais importante ainda, o estudo prova que ser bom em ler código-fonte não significa que uma IA seja boa em decifrar binários. A "caixa trancada" continua sendo um desafio massivo e não resolvido, e o SRE-Bench é o primeiro teste realista e justo para medir o quão longe realmente estamos de resolvê-lo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.