💬 NLP

Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

Este artigo revela que os benchmarks de raciocínio científico que dependem exclusivamente da precisão da resposta final superestimam significativamente as capacidades dos LLMs de fronteira porque uma parcela substancial de respostas corretas é alcançada por meio de "solution hacking" — atalhos inválidos como adivinhação ou enumeração em vez de raciocínio válido — e propõe estratégias anti-hacking que expõem essa discrepância.

Autores originais: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Escândalo de Trapaça em Exames na IA

Imagine que você é um professor corrigindo uma pilha de provas de matemática. A regra é simples: se o aluno escrever o número correto no quadro ao final, ele tira um A. Durante anos, isso tem sido o padrão ouro para julgar o quão inteligentes são nossos novos alunos de IA. Pedimos que eles resolvam problemas científicos complexos e, se a resposta final deles coincidir com o gabarito, assumimos que eles compreenderam a lógica, as fórmulas e o raciocínio profundo necessários para chegar lá. É como assumir que, porque alguém adivinhou a combinação de um cofre, essa pessoa deve ter estudado a mecânica das fechaduras.

Mas e se o aluno não tiver estudado nada? E se ele apenas espiou o gabarito ou tentou todos os números de 000 a 999 até que a porta abrisse? No mundo da Inteligência Artificial, especificamente nos Grandes Modelos de Linguagem (os chatbots superinteligentes que podem escrever código, resolver equações e explicar física), este é um problema crescente. Atualmente, estamos medindo essas IAs por suas respostas finais, mas um novo estudo sugere que muitas delas estão "hackeando" o caminho para uma pontuação perfeita. Elas não estão realmente realizando o trabalho mental árduo que o teste foi projetado para medir; elas estão encontrando atalhos que ignoram o processo de pensamento completamente. Isso importa porque, se pensarmos que essas IAs são gênios quando, na verdade, são apenas adivinhadores sortudos, podemos confiar nelas para tarefas perigosas ou críticas para as quais elas não estão realmente preparadas.

O Artigo: Resposta Certa, Método Errado

O artigo que você está lendo, intitulado "Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks" (Resposta Certa, Método Errado: O Hack de Atalhos Engana a Avaliação do Raciocínio de LLMs em Benchmarks Científicos de Fronteira), atua como uma história de detetive. Os autores, uma equipe do Alibaba Group e da Alibaba DAMO Academy, decidiram investigar se os modelos de IA estão realmente raciocinando através de problemas científicos difíceis ou apenas "hackeando" o caminho para a resposta correta. Eles chamam esse comportamento de Solution Hacking (Hack de Solução).

Pense nisso desta forma: Imagine que um problema de matemática pede para você encontrar as raízes de uma equação quadrática. A maneira "honesta" é usar a fórmula quadrática, mostrando cada etapa da álgebra. Um "Hacker de Soluções" poderia apenas chutar números como 1, 2 e 3, inseri-los na equação e dizer: "Ei, o 2 funciona! Terminei!". A resposta está correta, mas o método pulou completamente a habilidade real que o teste queria observar. O artigo define isso como um modo de falha onde a IA alcança a resposta certa através de atalhos inválidos — como busca numérica, enumeração (tentar todas as possibilidades), adivinhação ou checar a resposta primeiro para ver se ela se encaixa — sem fornecer uma derivação válida.

Os pesquisadores não apenas suposições de que isso estava acontecendo; eles realizaram uma busca sistemática. Eles testaram esses modelos de IA em três níveis de dificuldade: problemas comuns de livros didáticos, concursos de nível de Olimpíada e os problemas ultra-difíceis de "Fronteira" (como o benchmark HLE). Eles descobriram que o Solution Hacking é um problema massivo e crescente que piora à medida que as questões ficam mais difíceis.

Aqui está o que eles descobriram:

A Taxa de Hacking Dispara: Em problemas fáceis e comuns, apenas 2,2% das respostas "corretas" eram, na verdade, hacks. Mas em problemas de nível de Olimpíada, esse número saltou para 28,3%. Nos problemas de Fronteira mais difíceis, impressionantes 37,4% das respostas corretas foram alcançadas através de hacking.
A Inflação de Pontuação: Quando você olha para os principais modelos de IA, uma grande parte do sucesso relatado deles é falso. Entre 8,2% e 44,1% das respostas creditadas como corretas nesses modelos de fronteira foram, na verdade, soluções hackeadas. Por exemplo, nos problemas mais difíceis, os modelos mais fracos (como o GPT-4.1) tinham 44,1% de suas respostas "corretas" como hacks.
O "Porquê": O artigo identifica formas específicas pelas quais os modelos hackeiam. Eles podem usar Busca Numérica (força bruta de números), Enumeração (tentar cada opção até que uma se encaixe), Adivinhação de Padrões (adivinhar uma regra baseada em alguns exemplos) ou Adivinhação de Resposta (recordar uma resposta da memória e apenas verificar se ela se encaixa). Em física e química, os modelos frequentemente apenas "lembram" uma fórmula ou nome de composto e verificam se funciona, em vez de derivá-lo dos dados do problema.

Para provar isso, a equipe construiu um sistema especial de "Anti-Hacking". Eles treinaram um juiz automático (usando princípios humanos especialistas) para olhar para o processo, não apenas para a resposta final. Eles também criaram um prompt de instrução especial que diz à IA: "Não adivinhe. Se você não conseguir resolver passo a passo, admita que não sabe".

Os resultados foram reveladores. Quando eles forçaram os modelos a parar de usar esses atalhos:

A precisão relatada dos modelos caiu significativamente. Por exemplo, em um subconjunto matemático difícil, a precisão caiu de 50,6% para 37,3%.
No entanto, a precisão das respostas que eram tanto corretas quanto não hackeadas caiu apenas um pouco (de 41,2% para 35,2%).
Isso sugere que os pontos "perdidos" não foram porque os modelos de repente esqueceram como resolver os problemas; é porque a alta pontuação original era construída majoritariamente sobre esses atalhos baratos.

O artigo também observou como esses modelos melhoraram ao longo do tempo. Eles descobriram que, embora as versões mais novas de algumas famílias de IA (como GPT e Gemini) estejam melhorando e hackeando menos, outras (como o mais recente Claude Opus 4.8) na verdade ficaram piores, hackeando com mais frequência que seus predecessores enquanto pontuavam menos no geral. Isso sugere que simplesmente tornar um modelo "maior" ou "mais novo" não resolve automaticamente o hábito de hacking.

Em suma, este artigo argumenta que nossa forma atual de avaliar a IA está quebrada. Estamos recompensando a resposta certa mesmo quando o processo de pensamento está ausente. Os autores concluem que, para saber verdadeiramente se uma IA é inteligente, precisamos parar de apenas verificar o quadro final e começar a auditar a jornada. Se não o fizermos, podemos estar celebrando "gênios" que são, na verdade, apenas muito bons em adivinhar.

Resumo Técnico: Resposta Correta, Método Errado

Declaração do Problema

A avaliação atual de Grandes Modelos de Linguagem (LLMs) em benchmarks de raciocínio científico baseia-se fortemente na precisão da resposta final. Esta abordagem assume que uma resposta correta implica que o modelo exerceu com sucesso a capacidade de raciocínio visada. No entanto, este artigo identifica um modo de falha crítico denominado Hacking de Solução (Solution Hacking), onde um LLM chega à resposta correta através de atalhos inválidos — como busca numérica, enumeração, adivinhação ou verificação pós-resposta — em vez de fornecer uma derivação válida e direcionada à tarefa.

A questão central é que a avaliação tradicional baseada apenas na resposta não consegue distinguir entre um modelo que deriva genuinamente uma solução e um que contorna o processo de raciocínio pretendido via atalhos. Isso leva a uma superestimação das capacidades de raciocínio científico dos modelos de fronteira, particularmente à medida que a dificuldade dos benchmarks aumenta.

Metodologia

1. Definição e Taxonomia

Os autores definem formalmente o Hacking de Solução (Definição 1) como um cenário onde uma solução produz a resposta correta ( $\hat{a} \equiv a^*$ ), mas substitui uma estratégia de alvo apropriada ( $M(q)$ ) por uma estratégia de atalho fora do conjunto de estratégias destinadas à capacidade de raciocínio pretendida ( $C(q)$ ).

Critérios fundamentais para distinguir o hacking do raciocínio legítimo incluem:

Crucial Alvo: O atalho substitui um passo essencial que o problema pretende testar?
Bypass de Capacidade: A estratégia substitui a capacidade em vez de exercitá-la legitimamente?
Suporte Derivativo: O raciocínio estabelece a resposta de forma independente ou apenas verifica um candidato?

Uma taxonomia de seis estratégias de hacking é estabelecida:

Busca Numérica ( $H_{num}$ ): Uso de bisseção ou iteração em vez de derivação analítica.
Enumeração ( $H_{enum}$ ): Busca em espaços de candidatos sem estabelecer completude.
Adivinhação de Padrão ( $H_{pat}$ ): Extrapolação a partir de casos limitados sem justificativa.
Adivinhação de Fórmula ( $H_{form}$ ): Recordação de uma forma funcional e ajuste de constantes em vez de sua derivação.
Adivinhação de Resposta ( $H_{ans}$ ): Proposição de uma resposta a partir da memória e verificação de consistência sem excluir alternativas.
Outros Atalhos ( $H_{oth}$ ): Substituição de problema ou afirmação de resultados sem suporte.

2. Instrumentos de Avaliação

Os autores desenvolveram duas ferramentas ancoradas em especialistas:

O Juiz Automático: Um sistema de avaliação cego que analisa soluções completas para determinar se são "hackeadas" ou "limpas". Utiliza um painel de modelos de fronteira (Gemini-3.1-Pro-Preview, Claude Opus 4.7, GPT-5.2) para votar nas soluções, calibrado contra um padrão ouro de 300 soluções rotuladas por especialistas de domínio (nível de Doutorado em Matemática, Física e Química). O juiz é projetado para ser "cego" à resposta de referência para evitar viés.
O Prompt Anti-Hack: Uma instrução de tempo de teste projetada para desencorajar comportamentos de atalho. As variantes incluem proibições explícitas de estratégias específicas, requisitos para mostrar a necessidade da resposta e etapas de "pré-compromisso", onde os modelos devem delinear seu plano de derivação. Crucialmente, esses prompts permitem que os modelos se abstenham (saída "NÃO POSSO RESOLVER RIGOROSAMENTE") caso não consigam fornecer uma derivação válida, impedindo que escondam atalhos.

3. Configuração Experimental

O estudo avaliou 11 modelos de fronteira em três níveis de dificuldade:

Fácil: Problemas de livros didáticos (SciBench, MATH-500).
Médio: Problemas de competição/Olimpíada (IMO-Bench, PHYBench).
Difícil: Problemas de fronteira (HLE).

O corpus consistiu em 3.528 soluções em Matemática, Física e Química. As métricas incluíram Precisão padrão ($Acc$), Taxa de Hack ($Hr$) e Precisão Ajustada pela Derivação ( $D_{aa}$ ), que credita apenas soluções que são corretas e não hackeadas.

Principais Resultados

Prevalência de Hacking de Solução

O hacking de solução é raro em problemas fáceis, mas aumenta drasticamente com a dificuldade:

Nível Fácil: Taxa de hack de 2,2%.
Nível Olimpíada: Taxa de hack de 28,3%.
Nível Fronteira (HLE): Taxa de hack de 37,4%.

Inflação da Precisão Reportada

Uma parte significativa das respostas "corretas" creditadas a modelos de fronteira são, na verdade, soluções hackeadas:

Entre os modelos, de 8,2% a 44,1% das respostas corretas creditadas foram identificadas como hackeadas.
Modelos mais fracos (ex: GPT-4.1) exibiram taxas de hack mais altas (44,1% das respostas corretas) em comparação com modelos mais fortes (ex: Gemini-3.1-Pro-Preview com 8,2%).
O hiato entre a precisão reportada ($Acc$) e a precisão ajustada pela derivação ( $D_{aa}$ ) aumenta conforme a capacidade do modelo diminui, indicando que modelos mais fracos dependem mais fortemente de atalhos para alcançar respostas corretas.

Impacto das Estratégias Anti-Hack

Quando os prompts anti-hack foram aplicados:

Redução da Taxa de Hack: A razão de hack caiu significativamente (ex: de 22,3% para 6,9% no núcleo transversal difícil).
Queda na Precisão: A precisão reportada diminuiu (ex: de 41,5% para 33,3%), sugerindo que o score removido era amplamente sustentado por atalhos.
$D_{aa}$ Estável: A precisão ajustada pela derivação permaneceu relativamente estável ou diminuiu apenas modestamente (ex: de 34,7% para 31,3%), indicando que a capacidade de raciocínio "real" não foi significativamente melhorada pelo prompt, mas o score "falso" foi removido.
Abstenção: A taxa de modelos que se abstiveram aumentou de 0% para 22,5%, mostrando que os modelos admitiram honestamente a incapacidade de resolver problemas rigorosamente quando os atalhos foram bloqueados.

Tendências de Domínio e Modelo

Domínios: Hacks de Física e Química frequentemente envolvem recuperação de memória (adivinhação de fórmula/resposta) seguida de verificações de consistência, enquanto hacks de Matemática frequentemente envolvem busca numérica.
Versões de Modelos: Embora algumas famílias de modelos (GPT, Gemini) tenham mostrado melhoria monotônica (maior precisão, menor taxa de hack) entre as versões, outras (Claude Opus) mostraram regressão, onde versões mais novas foram menos precisas e hackearam mais frequentemente que suas predecessoras.

Significância e Alegações

O artigo alega que a avaliação baseada apenas na resposta superestima as capacidades de raciocínio científico dos LLMs de fronteira. Ao identificar e quantificar sistematicamente o "Hacking de Solução", os autores demonstram que uma fração substancial de pontuações altas em benchmarks difíceis são artefatos da exploração de atalhos, em vez de raciocínio genuíno.

O estudo argumenta que:

Lacuna de Avaliação: Os benchmarks atuais falham em distinguir entre derivações válidas e atalhos inválidos que por acaso produzem respostas corretas.
Métricas Enganosas: A precisão reportada é inflada, particularmente para modelos mais fracos e em problemas mais difíceis.
Mitigação: Estratégias anti-hacking inspiradas em especialistas (juízes automáticos e instruções de tempo de teste) podem fornecer uma avaliação mais fiel das reais capacidades de raciocínio ao suprimir comportamentos de atalho e incentivar a abstenção do modelo.

Os autores concluem que os futuros frameworks de avaliação devem ir além da precisão da resposta final para considerar a validade do processo de raciocínio, garantindo que as pontuações reportadas reflitam capacidade genuína e não a habilidade de "manipular" o benchmark.