Benchmarking Mythos-Linked Bug Rediscovery
Este artigo relata um experimento controlado no qual três modelos de IA tentaram redescobrir seis bugs específicos vinculados aos materiais "Mythos" da Anthropic, sem conhecimento prévio das correções, revelando que, mesmo em condições favoráveis, os modelos alcançaram apenas uma baixa taxa de sucesso (6 em 54 tentativas), principalmente devido à tendência de se comprometerem com hipóteses plausíveis, porém incorretas, em vez de identificar a invariante específica corrigida pelos patches reais.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um grupo de detetives de alta tecnologia (modelos de IA) que recentemente afirmaram poder encontrar falhas ocultas nos sistemas de software mais importantes do mundo — como os sistemas operacionais do seu telefone ou os motores que transmitem seus filmes. Eles publicaram relatos sobre a descoberta de bugs específicos e perigosos em códigos de sistemas como Linux, FreeBSD e FFmpeg.
Algumas pessoas ficaram maravilhadas, pensando que essas IAs eram hackers superinteligentes. Outras foram céticas, achando que os relatos eram apenas propaganda vazia.
Este artigo é um experimento controlado projetado para resolver o debate. Em vez de deixar a IA vagar por uma biblioteca massiva de código para encontrar uma agulha num palheiro, os pesquisadores deram à IA o livro exato onde a agulha estava escondida. Eles perguntaram: "Se entregarmos a você o arquivo específico contendo o bug, você ainda consegue encontrar o problema exato?"
Aqui está a análise do experimento e do que aconteceu, usando analogias simples:
A Configuração: O Teste do "Arquivo-Alvo"
Pense no código de software como um manual de instruções gigante, de 4.000 páginas, para uma máquina complexa.
- A Alegação: A IA (Mythos) disse que conseguia encontrar um erro de digitação específico neste manual que faria a máquina explodir.
- O Experimento: Os pesquisadores pegaram o manual, encontraram a página específica com o erro de digitação e entregaram apenas aquela página a três detetives de IA diferentes:
- GPT-5.5 xhigh (o modelo de "Raciocínio")
- Claude Opus 4.7 (o modelo da "Anthropic")
- Kimi K2 (um modelo chinês)
Eles deram a eles as mesmas regras: sem internet, sem dicas sobre o bug, e eles tiveram que encontrar o erro exato que um humano já havia corrigido em um patch público. Eles tentaram isso três vezes para seis "bugs" diferentes.
Os Resultados: Quem Encontrou a Agulha?
De um total de 54 tentativas (3 modelos × 6 bugs × 3 tentativas cada):
- GPT-5.5 xhigh: Encontrou o bug exato 5 vezes. Resolveu perfeitamente 2 dos 6 bugs diferentes e, uma vez, encontrou um bug diferente no mesmo arquivo (um "alvo errado", mas ainda uma descoberta real).
- Claude Opus 4.7: Encontrou o bug exato 1 vez. Resolveu 1 dos 6 bugs.
- Kimi K2: Encontrou o bug exato 0 vezes. Não encontrou nada.
O "Porquê": A Armadilha das Distrações Plausíveis
A parte mais interessante do artigo não é apenas quem venceu, mas como eles falharam.
Imagine que você está olhando para um motor de carro. Você sabe que há um parafuso quebrado em algum lugar.
- O Erro da IA: A IA olhou para o motor e viu um fio solto, um filtro sujo e uma junta um pouco desgastada. Ela disse: "Encontrei o problema! É o fio solto!"
- A Realidade: O fio solto era um problema plausível, mas não era o parafuso quebrado específico que os pesquisadores estavam procurando.
O artigo chama isso de "comprometimento precoce com candidatos alternativos plausíveis".
Os modelos de IA eram bons em olhar para o código e dizer: "Ei, isso parece suspeito!" Eles encontraram muitas coisas que poderiam ser bugs. Mas lutaram para escolher a única coisa específica que correspondia ao reparo do mundo real. Eles se distraíram com "pistas falsas" — coisas que pareciam bugs, mas não eram o específico que estavam caçando.
O Custo da Caça
O experimento também rastreou quanto "combustível" (dinheiro e poder de computação) foi necessário.
- GPT-5.5 custou cerca de $61.
- Claude custou cerca de $88 (foi o mais caro).
- Kimi foi o mais barato, com $3,50, mas não encontrou nada.
Mesmo que os pesquisadores tenham dado à IA o arquivo exato (removendo a parte mais difícil do trabalho: encontrar o arquivo), a IA ainda lutou para apontar o erro exato.
A Conclusão
Este artigo não diz que a IA é inútil, nem diz que os relatos originais do "Mythos" eram falsos. Ele simplesmente diz:
"Dar o arquivo certo à IA não é suficiente."
Mesmo quando a IA sabe exatamente onde procurar, ela frequentemente fica presa nos detalhes errados. Ela pode gerar muitos "talvez-bugs", mas tem dificuldade em selecionar o único bug verdadeiro que corresponde à evidência específica. O artigo conclui que o sucesso desses caçadores de bugs de IA depende fortemente do processo (quantas tentativas eles têm, como são classificados e como são orientados) e não apenas da inteligência bruta do modelo em si.
Em resumo: a IA é um detetive inteligente que consegue ler o manual, mas ainda precisa de um conjunto muito específico de instruções para encontrar o erro exato, ou ela apenas apontará para a mancha mais próxima na página.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.