Are Large Language Models Truly Smarter Than Humans?

Este artigo demonstra, por meio de três experimentos rigorosos de auditoria de contaminação em seis modelos de linguagem de ponta, que os resultados superiores dos LLMs em benchmarks públicos são significativamente inflados pelo treinamento em dados de avaliação, revelando que a aparente superioridade sobre humanos é, em grande parte, fruto da memorização e não de compreensão genuína.

O essencial

Imagine que você é um professor e decide testar seus alunos em uma prova final. Você pega as mesmas perguntas que usou no ano passado, que estão disponíveis em um site público, e entrega para a nova turma.

Se um aluno tira nota 100%, você diz: "Ele é um gênio!"? Ou você pensa: "Espera aí, ele só decorou o gabarito porque tinha acesso às perguntas antes da prova?"

É exatamente sobre isso que trata este artigo. Os autores (Eshwar Reddy M e Sourav Karmakar) investigaram se os "cérebros de computador" mais avançados do mundo (os Grandes Modelos de Linguagem, como o GPT-4 e o DeepSeek) são realmente mais inteligentes que humanos, ou se eles apenas decoraram as respostas porque as perguntas estavam escondidas no material de estudo deles.

Eles fizeram três experimentos diferentes, como se fossem três tipos de detetive, para descobrir a verdade.

O Cenário: A "Prova" que todo mundo conhece

Hoje em dia, as empresas de Inteligência Artificial (IA) mostram seus resultados em tabelas de classificação (leaderboards), dizendo: "Nosso modelo é melhor que 90% dos advogados humanos!" ou "Ele passou no exame de medicina!".

O problema é que essas "provas" (chamadas de benchmarks) são públicas. As perguntas e as respostas estão na internet há anos. Como os computadores são treinados lendo quase tudo o que existe na internet, é muito provável que eles tenham "lido" essas provas durante o treinamento.

Os Três Experimentos (Os Três Detetives)

Os autores testaram 6 modelos de IA diferentes usando três métodos criativos:

1. O Detetive da "Vazamento de Papel" (Experimento 1)

A Analogia: Imagine que você está tentando descobrir se um aluno trapaceou. Você pega as perguntas da prova e joga no Google para ver se elas aparecem em sites públicos.
O que eles fizeram: Eles usaram uma ferramenta de busca para ver quantas perguntas de uma prova famosa (MMLU) apareciam na internet.
O Resultado: Eles descobriram que 13,8% de todas as perguntas já estavam "vazadas" na internet. Em algumas matérias, como Filosofia, 66,7% das perguntas estavam lá!
A Lição: Se o computador treinou com esses dados, ele não está "pensando", está apenas "lembrando" o que viu.

2. O Detetive do "Troca de Palavras" (Experimento 2)

A Analogia: Imagine que você pergunta a um aluno: "Quem foi o primeiro presidente dos EUA?". Ele responde "Washington". Agora, você muda a pergunta para: "Quem liderou a revolução americana e se tornou o primeiro chefe de estado?". Se o aluno só decorou a resposta exata, ele pode travar. Se ele realmente entende a história, ele responde certo.
O que eles fizeram: Eles pegaram perguntas famosas e as reescreveram de formas diferentes (usando sinônimos ou mudando a estrutura da frase), mas mantendo o mesmo significado.
O Resultado: Quando as perguntas mudaram um pouco, a inteligência das IAs caiu drasticamente. Em matérias como Direito e Ética, a nota caiu quase 20 pontos.
A Lição: Isso prova que, em muitas áreas, as IAs não estão raciocinando; elas estão apenas reconhecendo o "formato" da pergunta. Se você mudar o "casaco" da pergunta, elas não reconhecem mais o "corpo" por baixo.

3. O Detetive da "Memória Invisível" (Experimento 3)

A Analogia: Imagine que você esconde uma palavra em uma frase e pergunta ao aluno: "Qual palavra faltava?". Se ele nunca viu aquela frase antes, ele chuta. Se ele decorou, ele acerta.
O que eles fizeram: Eles cobriram partes das perguntas e pediram para as IAs tentarem adivinhar o que estava escondido.
O Resultado: As IAs conseguiram adivinhar as partes escondidas em 72,5% dos casos! Isso é muito acima do acaso.
O Caso Estranho (DeepSeek-R1): Um modelo chamado DeepSeek-R1 foi muito estranho. Ele não conseguia repetir a frase exata, mas conseguia reconstruir o significado das respostas erradas. Era como se ele tivesse lido o livro todo e entendido a história, mas não tivesse memorizado as palavras exatas. Isso explica por que ele se saiu mal na prova original, mas não mudou tanto quando a pergunta foi reescrita.

O Veredito Final: O que isso significa?

O artigo conclui com uma mensagem importante, usando uma metáfora simples:

As IAs não são necessariamente "mais inteligentes" que humanos; elas são apenas "melhores em decorar o gabarito".

1. A Ilusão da Inteligência: Quando uma IA tira nota 100% em uma prova pública, ela pode estar apenas reconhecendo padrões que viu antes, não demonstrando um entendimento real do mundo.
2. O Perigo do Mundo Real: No mundo real, as perguntas não vêm com o mesmo "formato" de sempre. Se você pedir para uma IA de Direito analisar um caso novo (que ela nunca viu), ela pode falhar miseravelmente ou inventar fatos (alucinar), porque ela só sabe responder às perguntas que "decorou".
3. A Solução: Precisamos parar de confiar cegamente nas tabelas de classificação atuais. Precisamos criar novas provas que as IAs nunca viram, com perguntas reescritas e inéditas, para ver se elas realmente entendem o assunto ou só sabem repetir o que leram.

Em resumo: A pergunta do título "As IAs são realmente mais inteligentes que humanos?" tem uma resposta complicada. Elas são ótimas em reconhecer padrões e memorizar, mas ainda têm muita dificuldade em generalizar e raciocinar sobre coisas novas, exatamente como um aluno que só decorou a matéria para a prova, mas não aprendeu o conteúdo.

Resumo técnico

Título: Modelos de Linguagem Grandes (LLMs) são Realmente Mais Inteligentes que Humanos? Contaminação de Benchmarks, Dependência de Padrões Superficiais e Memorização Comportamental

Autores: Eshwar Reddy M e Sourav Karmakar
Data: Março de 2026 (Preprint)

---

1. O Problema

Os leaderboards públicos e benchmarks estáticos (como MMLU, HumanEval, etc.) tornaram-se a principal métrica para medir o progresso dos Modelos de Linguagem Grandes (LLMs). Frequentemente, alega-se que esses modelos superam especialistas humanos em áreas como direito, medicina e programação.

No entanto, existe um risco sistêmico crítico: a contaminação de dados de avaliação. Como os corpora de treinamento dos LLMs incluem vastas porções da internet, é altamente provável que as questões de teste (ou suas variações, traduções e discussões derivadas) tenham sido vistas pelos modelos durante o treinamento. Se um modelo "viu o exame" antes, uma pontuação alta reflete memorização e completamento de padrões, e não inteligência geral ou raciocínio robusto. O artigo questiona se as alegações de superioridade humana são válidas ou apenas artefatos de contaminação.

---

2. Metodologia

Os autores realizaram uma auditoria rigorosa de contaminação multi-método em seis modelos de ponta (GPT-4o, GPT-4o-mini, DeepSeek-R1, DeepSeek-V3, Llama-3.3-70B e Qwen3-235B), utilizando apenas APIs públicas e benchmarks abertos. A abordagem consistiu em três experimentos complementares:

• Experimento 1: Detecção Lexical de Contaminação (Externa)

  • Amostra: 513 questões do MMLU (9 questões de cada uma das 57 categorias).
  • Método: Uso da API de busca Tavily para verificar a presença das questões na web.
  • Critério de Contaminação: Uma questão foi marcada como contaminada se: (a) mais de 30% dos seus 8-grams (sequências de 8 palavras) aparecessem nos snippets de busca e (b) a resposta correta aparecesse verbatim nos resultados.
  • Métrica: Cálculo do Estimated Performance Gain (EPG) para estimar quanto a contaminação inflacionou a pontuação.

• Experimento 2: Diagnóstico de Parafraseamento e Referência Indireta (Comportamental)

  • Amostra: 100 questões do MMLU em 6 disciplinas (História, Direito, CS, Matemática, Biologia, Ética).
  • Método: Geração de duas variantes para cada questão: (a) Parafraseada (mesmo conhecimento, palavras totalmente diferentes) e (b) Referência Indireta (entidades-chave descritas por propriedades em vez de nomes diretos).
  • Objetivo: Medir a degradação da precisão. Se o modelo depende de memorização superficial, a precisão deve cair drasticamente quando a forma superficial muda, mesmo que a lógica permaneça a mesma.

• Experimento 3: Sonda Comportamental TS-Guessing (Memorização Interna)

  • Método: Protocolo de "Adivinhação de Slot de Teste" (TS-Guessing) aplicado a todas as 513 questões.
  • Tarefas:
    • Task A (Option Mask): Uma opção de resposta errada é mascarada; o modelo deve reescrevê-la.
    • Task B (Word Mask): Uma palavra de conteúdo da questão é mascarada; o modelo deve preenchê-la.
  • Objetivo: Detectar se o modelo armazenou o conteúdo interno do benchmark sem depender de buscas externas. Um modelo não contaminado não conseguiria reconstruir opções erradas específicas ou palavras ausentes com precisão acima do acaso.

---

3. Principais Contribuições

1. Auditoria Multi-Método: Primeira aplicação conjunta de detecção lexical externa, diagnóstico de degradação por paráfrase e sondagem comportamental interna sobre o mesmo conjunto de modelos e benchmarks.
2. Descoberta de "Memorização Distribuída": Identificação de um padrão anômalo no modelo DeepSeek-R1, que não memoriza texto verbatim, mas sim a estrutura conceitual das questões, explicando seu comportamento peculiar.
3. Evidência Convergente: Demonstração de que três métodos independentes apontam para a mesma hierarquia de contaminação por categoria, validando a robustez dos achados.
4. Framework Reprodutível: Proposição de um protocolo de auditoria de baixo custo e totalmente público para avaliar a integridade de benchmarks futuros.

---

4. Resultados Chave

Experimento 1: Contaminação Lexical

• Taxa Geral: 13,8% das questões amostradas foram detectadas como contaminadas.
• Por Categoria: STEM (Ciências, Tecnologia, Engenharia e Matemática) teve a maior taxa (18,1%), seguido por Profissional (12,7%), Ciências Sociais (12,1%) e Humanidades (10,3%).
• Casos Extremos: Filosofia atingiu 66,7% de contaminação; Anatomia, Engenharia Elétrica e Física Conceitual atingiram 44,4%.
• Impacto: Estima-se que a contaminação inflacionou a precisão em STEM em cerca de +5,4 pontos percentuais.

Experimento 2: Degradação por Superfície

• Queda Geral: A precisão média caiu 7,0 pontos percentuais ao passar de questões originais para variantes de referência indireta.
• Correlação com Contaminação: As áreas mais contaminadas no Exp 1 (Direito e Ética) sofreram as maiores quedas de precisão (-19,8 pp cada).
• Anomalia do DeepSeek-R1: Este modelo teve baixa precisão original (0,292), mas quase nenhuma queda na variante indireta (-3,2%). Isso sugere que ele não depende de correspondência de texto superficial, mas de uma representação interna diferente.

Experimento 3: Sonda Comportamental (TS-Guessing)

• Memorização Interna: 72,5% das questões acionaram sinais de memorização muito acima da linha de base aleatória em todos os modelos.
• Perfil do DeepSeek-R1:
  • 0% de recuperação verbatim (exata).
  • 76,6% de recuperação parcial (≥50% de sobreposição de tokens) nas opções erradas.
  • Interpretação: O modelo possui uma assinatura de memorização distribuída. Ele aprendeu a estrutura semântica e o conteúdo conceitual das questões (sabe o que as opções erradas deveriam ser sobre), mas não memorizou o texto exato. Isso explica por que ele não cai drasticamente com paráfrases (não dependia do texto exato), mas também não tem alta precisão absoluta (não "decorou" a resposta).
• Convergência: Tanto o Exp 1 (web) quanto o Exp 3 (comportamental) classificaram STEM como a categoria mais contaminada.

---

5. Significado e Implicações

• Inteligência vs. Familiaridade: Os resultados sugerem que uma fração substancial do desempenho em benchmarks como o MMLU reflete o reconhecimento de conteúdo memorizado, e não a transferência de conhecimento ou raciocínio causal robusto.
• Ilusão de Superioridade Humana: As alegações de que LLMs superam humanos em exames profissionais (como o de Direito) são questionáveis. A queda de 19,8 pontos percentuais em Direito sob paráfrase indica que o modelo falha quando a formulação exata da questão não está presente, o que é comum em cenários do mundo real.
• Risco de Alucinação: A contaminação cria uma falsa sensação de segurança. Modelos que obtêm altas pontuações em benchmarks contaminados podem alucinar frequentemente em tarefas novas, pois sua "inteligência" é baseada em padrões de superfície e não em compreensão profunda.
• Políticas e Regulação:
  • Obrigação de Divulgação: Os provedores de modelos devem divulgar análises de contaminação junto com suas pontuações.
  • Novos Padrões de Avaliação: É necessário migrar para benchmarks decontaminados, proprietários ou com variação de superfície obrigatória.
  • Prática Clínica e Jurídica: O uso de LLMs em áreas de alto risco (medicina, direito) baseando-se apenas em leaderboards públicos é perigoso, pois a performance pode ser frágil e dependente de memorização.

Conclusão Final: A pergunta "LLMs são mais inteligentes que humanos?" não pode ser resolvida com a prática atual de benchmarking. A evidência tripartite mostra que a contaminação é onipresente, estruturalmente não uniforme e que os modelos atuais, em muitos casos, "viram a prova" antes de fazê-la. A comunidade deve adotar protocolos de auditoria rigorosos para distinguir entre memorização e verdadeira generalização.