Resumo Técnico: Das Nuances da Revisão por Pares às Melhores Práticas

Declaração do Problema

A pesquisa de revisão por pares está se expandindo rapidamente, mas os conjuntos de dados e configurações experimentais atuais frequentemente negligenciam nuances críticas inerentes ao processo de revisão. Especificamente, três dimensões são frequentemente ignoradas ou relatadas de forma inconsistente:

1. Versões do Artigo: Manuscritos existem em múltiplos estados (ex: rascunho inicial vs. versão final/camera-ready). Em muitos conjuntos de dados públicos (ex: do ICLR e NeurIPS), os rascunhos iniciais são sobrescritos por revisões posteriores, e as pontuações de revisão podem não estar alinhadas com a versão específica do artigo utilizada.
2. Versões da Pontuação: As pontuações de revisão mudam ao longo do tempo (ex: pontuação inicial vs. pontuação pós-rebatimento/rebuttal). O descompasso entre o texto da revisão pré-rebatimento e as pontuações pós-rebatimento cria inconsistências de dados que comprometem a validade experimental.
3. Formatos de Entrada: Os artigos são alimentados em modelos em vários formatos (texto, JSON, Markdown, imagem), mas o impacto desses formatos no desempenho do modelo é raramente padronizado ou relatado.

O artigo argumenta que negligenciar essas nuances compromete o rigor experimental, dificulta a reprodutibilidade e leva a conclusões enganosas sobre as capacidades dos modelos.

Metodologia

Os autores utilizam o conjunto de dados ARR (ACL Rolling Review), que preserva exclusivamente todas as versões de artigos e pontuações, ao contrário de outras grandes conferências onde os rascunhos iniciais são frequentemente perdidos. Eles conduzem uma análise abrangente utilizando o conjunto de dados EMNLP 25 (2.054 submissões, 3.006 revisões).

O estudo emprega um design experimental controlado para quantificar o impacto dessas nuances:

• Modelos: Os experimentos utilizam gpt-oss (20B, 120B) e Qwen3.5 (9B, 27B).
• Tarefa 1 (Versão do Artigo): Os autores medem a divergência de conteúdo entre os rascunhos iniciais e as versões finais usando a distância de edição normalizada por palavras (wNED). Eles então avaliam se os Modelos de Linguagem de Grande Escala (LLMs) atribuem pontuações de "Avaliação Geral" diferentes a essas versões. Para isolar o efeito do conteúdo do artigo do viés do autor, eles reavaliam as versões finais com as informações do autor removidas.
• Tarefa 2 (Versão da Pontuação): Os autores analisam a frequência e a magnitude das mudanças de pontuação após o rebatimento. Eles então testam o impacto downstream de dados "desemparelhados" treinando modelos para prever pontuações a partir do texto da revisão, comparando o desempenho quando a verdade fundamental (ground truth) é a pontuação inicial versus a pontuação pós-rebatimento.
• Tarefa 3 (Formato de Entrada): Os autores testam quatro formatos de entrada (texto, JSON, Markdown e imagem) para determinar se o formato em que um artigo é apresentado afeta a pontuação prevista pelo modelo.

Principais Resultados

1. Nuances da Versão do Artigo

• Magnitude da Revisão: Artigos com pontuações iniciais médias a baixas passam por revisões significativamente maiores (medidas pela mudança na contagem de palavras) do que artigos com pontuações altas.
• Mudanças Seccionais: Seções de "Substância" (Métodos, Resultados) apresentam as maiores taxas de revisão em comparação com seções de "Enquadramento" (Introdução, Conclusão) e "Contexto".
• O Efeito "Plano": Comparações ingênuas entre rascunhos iniciais e versões finais mostram quase nenhuma diferença nas pontuações previstas. No entanto, isso é um artefato de duas forças opostas:
  • Melhoria de Conteúdo: A remoção das informações do autor revela que as versões finais (que contêm conteúdo melhorado) recebem pontuações significativamente mais altas que os rascunhos iniciais por modelos maiores.
  • Autoridade do Autor: A presença de informações do autor nas versões finais frequentemente reduz as pontuações (um "efeito de autoridade" onde autores ou instituições conhecidos podem ser penalizados ou escrutinados de forma diferente).
  • Conclusão: Esses dois efeitos se compensam, mascarando o verdadeiro impacto da revisão de conteúdo.

2. Nuances da Versão da Pontuação

• Volatilidade da Pontuação: Quase 30% (29,7%) das revisões apresentam uma mudança na pontuação de avaliação geral após o rebatimento. A mudança mais comum é de 0,5 pontos, ocorrendo uma parte significativa em limites decisivos (ex: 2,5 ↔ 3,0).
• Impacto do Desemparelhamento: Parear o texto da revisão pré-rebatimento com as pontuações pós-rebatimento (um erro comum em conjuntos de dados onde apenas uma versão está disponível) infla artificialmente as métricas de desempenho do modelo.
  • Para três dos quatro modelos testados, o desemparelhamento levou à inflação de desempenho (ex: +12,50% na precisão dentro de 0,5 pontos para o gpt-oss-20b).
  • Crucialmente, o ranking do melhor modelo performante muda dependendo da versão da pontuação usada como verdade fundamental.

3. Nuances do Formato de Entrada

• Efeitos Mistos: O impacto do formato de entrada é dependente do modelo. Para o gpt-oss-120b, o formato JSON produz pontuações significativamente mais altas em comparação ao texto. Para outros modelos, o formato tem pouco efeito na avaliação geral prevista.
• Implicação: O formato de entrada não pode ser tratado como uma variável neutra; ele deve ser verificado para cada configuração específica de modelo.

Principais Contribuições

1. Caracterização Sistemática: O artigo fornece a primeira quantificação sistemática de como as versões dos artigos, versões das pontuações e formatos de entrada diferem e interagem nos dados de revisão por pares.
2. Superioridade do Conjunto de Dados: Destaca o valor único do conjunto de dados ARR em preservar o histórico completo de versões, contrastando com a cobertura incompleta dos dados do ICLR e NeurIPS.
3. Evidência Empírica de Viés: O estudo demonstra que "efeitos de autor" e "melhorias de conteúdo" podem se cancelar, levando pesquisadores a concluir falsamente que as versões dos artigos não importam.
4. Melhores Práticas: Os autores propõem diretrizes concretas para a comunidade:
   • Provedores de Dados: Devem preservar e liberar todas as versões de artigos e pontuações, documentando claramente quais versões estão incluídas.
   • Usuários de Dados: Devem verificar o alinhamento de versões (ex: garantir que o texto da revisão corresponda à versão da pontuação) e relatar explicitamente os formatos de entrada.

Significância e Alegações

O artigo alega que essas nuances não são meramente problemas de limpeza de dados, mas fatores fundamentais que determinam a validade da pesquisa de revisão por pares.

• Reprodutibilidade: Sem relatar versões e formatos, os estudos não podem ser reproduzidos.
• Avaliação de Modelos: O artigo argumenta que essas nuances servem como "sondas controladas" para entender os Modelos de Linguagem de Grande Escala (LLMs). Por exemplo, o efeito misto do formato de entrada revela como diferentes modelos processam dados estruturados vs. não estruturados.
• Chamado à Comunidade: Os autores instam a comunidade a ir além de tratar os dados de revisão por pares como texto estático e a considerar rigorosamente a natureza dinâmica e de múltiplas versões do processo de revisão científica. Eles enfatizam que falhar em fazer isso compromete a confiabilidade dos sistemas de revisão automatizados e a compreensão das capacidades dos LLMs em contextos científicos.