Paper Reconstruction Evaluation: Evaluating Presentation and Hallucination in AI-written Papers

Este artigo apresenta o framework PaperRecon e o benchmark PaperWrite-Bench para avaliar sistematicamente a qualidade e os riscos de artigos escritos por agentes de IA, revelando um compromisso entre a qualidade da apresentação e a alucinação de conteúdo em modelos como ClaudeCode e Codex.

O essencial

Imagine que você tem um receituário de bolo muito detalhado, escrito por um grande chef. Esse receituário contém a lista de ingredientes, o passo a passo da mistura, o tempo de forno e até fotos do bolo pronto.

Agora, imagine que você dá esse receituário para um robô cozinheiro (uma Inteligência Artificial) e pede: "Faça exatamente este bolo, mas usando apenas este resumo e algumas fotos".

O que acontece?

1. O robô pode fazer um bolo que parece lindo por fora (a casca é dourada, o formato é perfeito), mas que por dentro está cru ou tem ingredientes errados.
2. Ou o robô pode fazer um bolo que é seguro e correto, mas que parece um pouco "feio" ou desajeitado.

Este artigo de pesquisa é como um teste de cozinha para ver quão bons são esses robôs cozinheiros (as IAs) quando tentam escrever artigos científicos complexos.

Aqui está a explicação do que os pesquisadores descobriram, usando analogias simples:

1. O Grande Teste: "Reconstrução de Papel"

Os pesquisadores criaram um jogo chamado PaperRecon.

• O Jogo: Eles pegaram 51 artigos científicos reais e premiados (como se fossem receitas de chefs famosos).
• O Desafio: Eles esconderam o texto original e deram apenas um resumo curto (o "overview") e algumas fotos/tabelas para a IA.
• A Tarefa: A IA tinha que reescrever o artigo inteiro do zero, como se ela fosse o autor original.

Depois, eles compararam o "bolo" feito pela IA com o "bolo" original para ver duas coisas principais:

1. Apresentação: O bolo parece bonito? A escrita é fluida e organizada?
2. Alucinação (Hallucination): O bolo tem ingredientes que não existem? O robô inventou fatos que não estavam no receituário original?

2. O Confronto: "O Artista vs. O Cético"

Eles testaram dois tipos de robôs famosos: o Claude Code (da Anthropic) e o Codex (da OpenAI).

• O Claude Code (O Artista):

  • Pontos Fortes: Escreve de forma muito elegante. O texto flui bem, parece profissional e cobre todos os pontos importantes. É como um bolo que fica lindo na vitrine.
  • O Problema: Ele é um sonhador perigoso. Para deixar o texto bonito, ele inventa coisas. Em média, ele inventou mais de 10 mentiras (alucinações) por artigo. Ele pode dizer que um experimento deu um resultado que nunca aconteceu, só para o texto fazer sentido.
  • Analogia: É como um pintor que pinta um retrato perfeito, mas muda a cor dos olhos da pessoa para combinar com a paisagem, mesmo que a pessoa não tenha aqueles olhos.

• O Codex (O Cético):

  • Pontos Fortes: É muito fiel à verdade. Ele inventa muito pouco (cerca de 3 mentiras por artigo). Se o original não diz que o bolo ficou doce, ele não inventa que ficou doce.
  • O Problema: A escrita é mais "seca" e menos organizada. O texto parece menos polido.
  • Analogia: É como um cozinheiro que segue a receita à risca, mas o bolo fica meio torto e a apresentação é simples.

3. A Lição Principal: O "Dilema do Bolo"

A descoberta mais importante do artigo é que existe um trade-off (uma troca difícil):

• Quanto mais a IA tenta escrever de forma bonita e fluida, mais ela tende a inventar fatos.
• Quanto mais ela tenta ser segura e fiel, mais o texto fica menos atraente.

Isso é perigoso para a ciência. Imagine se um robô escrevesse um artigo médico dizendo que uma cura funciona (porque o texto é convincente), mas os dados inventados são falsos. Isso poderia enganar outros cientistas e até colocar vidas em risco.

4. O Que os Robôs Aprenderam?

Os pesquisadores também viram que, conforme os robôs ficam mais inteligentes (modelos mais novos), eles melhoram em ambos os lados, mas o problema das mentiras ainda persiste. O "Artista" continua sendo mais bonito, mas ainda mais mentiroso.

Resumo Final

Este artigo é um alerta. Ele nos diz que, embora as IAs estejam ficando incríveis em escrever textos que parecem científicos e profissionais, elas ainda são como crianças que adoram inventar histórias.

Se usarmos essas IAs para escrever pesquisas sem supervisão humana rigorosa, podemos acabar com uma "floresta de mentiras" que parecem verdadeiras. O artigo sugere que precisamos de novos métodos para checar não apenas se o texto está bem escrito, mas se ele está verdadeiro.

Em suma: A IA é ótima em fazer o "palco" parecer real, mas precisamos de um diretor humano para garantir que a "peça" que está sendo apresentada seja, de fato, a verdade.

Resumo técnico

1. Problema e Motivação

O avanço rápido de agentes de IA (especialmente agentes de codificação) levanta preocupações sobre a automação da escrita de artigos científicos e os riscos associados, como a geração de conteúdo plausível, mas factualmente incorreto (alucinações).

• O Desafio: Avaliar a qualidade de artigos escritos por IA é difícil. Métodos existentes, como o uso de revisores de IA, tendem a favorecer papéis com alucinações graves, atribuindo-lhes pontuações mais altas. Além disso, avaliações anteriores focaram apenas em erros superficiais (como citações erradas) ou casos isolados, sem uma avaliação sistemática.
• A Lacuna: Não existe um quadro de avaliação unificado que disente a qualidade de escrita (apresentação) da precisão factual (alucinações) em artigos científicos gerados por IA.

2. Metodologia: PaperRecon e PaperWrite-Bench

Os autores propõem um novo framework de avaliação chamado PaperRecon (Paper Reconstruction Evaluation) e um benchmark associado, o PaperWrite-Bench.

A. O Framework PaperRecon

O objetivo é isolar a capacidade de "escrita" dos agentes de IA, removendo a necessidade de eles realizarem experimentos ou descobertas científicas do zero.

1. Entrada Mínima: A partir de um artigo original (Ground Truth), extrai-se um resumo estruturado (research_overview.md), tabelas, figuras, código e referências.
2. Reconstrução: Um agente de codificação (LLM) recebe esses recursos mínimos e é instruído a reescrever o artigo completo em LaTeX, seguindo uma estrutura pré-definida.
3. Avaliação Dual: O artigo gerado é comparado com o original em duas dimensões ortogonais:
   • Apresentação (Presentation): Avalia se os elementos-chave do artigo original foram preservados na reescrita. Utiliza uma rubrica (lista de verificação detalhada gerada a partir do artigo original) e uma avaliação por LLM em escala de 1 a 5.
   • Alucinação (Hallucination): Detecta inconsistências factuais. Utiliza uma análise de dois estágios:
     • Estágio 1: Um LLM extrai afirmações do texto gerado e as classifica como Suportadas (deriváveis do original), Neutras (não contradizem, mas não estão no original) ou Contraditórias (erros factuais).
     • Estágio 2: Um agente de codificação verifica as afirmações marcadas como contraditórias contra os recursos originais (código, tabelas, LaTeX) para reduzir falsos positivos.

B. O Benchmark PaperWrite-Bench

• Composição: 51 artigos de conferências de topo (NeurIPS, ICLR, CVPR, ACL, etc.) publicados após 2025.
• Diversidade: Cobre áreas como Visão Computacional, NLP, Aprendizado de Máquina e Multimídia, incluindo artigos de métodos, benchmarks e híbridos.

3. Principais Contribuições

1. Framework de Avaliação (PaperRecon): A primeira estrutura sistemática para medir a capacidade de escrita científica de agentes de IA, separando explicitamente a qualidade da apresentação da precisão factual.
2. Benchmark (PaperWrite-Bench): Um conjunto de dados diversificado e recente para testar agentes em cenários realistas de reconstrução de artigos.
3. Análise Quantitativa de Trade-offs: Fornece evidências empíricas sobre como diferentes modelos e agentes equilibram qualidade de escrita e alucinações.

4. Resultados Experimentais

Os autores avaliaram agentes como Claude Code (Anthropic) e Codex (OpenAI) com diversos modelos base (GPT-5, GPT-5.4, Claude Sonnet 4, 4.6).

• Qualidade de Apresentação vs. Alucinação (Trade-off Crítico):
  • Claude Code: Alcançou maior qualidade de apresentação (pontuações mais altas na rubrica), capturando melhor a estrutura e os pontos-chave científicos. No entanto, cometeu um número alarmante de alucinações: mais de 10 por artigo em média (especialmente com o modelo Sonnet 4.6).
  • Codex: Produziu menos alucinações (cerca de 3 por artigo com GPT-5.4), mas teve uma qualidade de apresentação inferior, falhando em capturar nuances e elementos essenciais do artigo original.
• Progresso com Avanços de Modelos: A capacidade de escrita melhora consistentemente com versões mais recentes dos modelos (ex: de GPT-5 para GPT-5.4, e de Sonnet 4 para 4.6), indicando que o PaperRecon é uma métrica sensível para rastrear o progresso.
• Validação Humana: A avaliação baseada em rubricas mostrou uma forte correlação com julgamentos de revisores humanos ($\tau_b = 0.578$), validando a confiabilidade do método automatizado.
• Análise de Citações: O Codex teve menos citações alucinadas, enquanto o Claude Code, embora com melhor cobertura de citações (F1), introduziu mais citações inválidas.

5. Significado e Implicações

• Risco de Desinformação Científica: O estudo revela que os agentes de IA mais avançados (como Claude Code) podem gerar artigos que parecem academicamente sólidos e bem estruturados, mas que contêm dezenas de erros factuais graves. Isso representa um risco significativo para a integridade acadêmica, pois tais artigos poderiam enganar revisores humanos ou sistemas de revisão automatizados.
• Necessidade de Novas Métricas: A comunidade de pesquisa não pode depender apenas da "qualidade de leitura" ou da estrutura do artigo. É imperativo avaliar a precisão factual de forma rigorosa.
• Direção Futura: O trabalho sugere que, embora a IA esteja melhorando na "forma" (apresentação), a "substância" (fatos) ainda é um gargalo. O framework PaperRecon oferece uma ferramenta essencial para monitorar esse progresso e desenvolver salvaguardas contra a geração de conteúdo científico enganoso.

Em resumo, o artigo demonstra que, embora a IA esteja se tornando excelente em escrever como um cientista, ela ainda falha perigosamente em ser um cientista confiável, gerando textos persuasivos mas factualmente distorcidos.