Resumo Técnico: A Revisão por Pares Está Realmente em Declínio? Analisando a Qualidade da Revisão entre Locais e Tempo

Declaração do Problema

A revisão por pares é a pedra angular da validação científica moderna, mas uma narrativa predominante sugere um declínio na qualidade da revisão impulsionado pelo aumento nos volumes de submissão, escassez de revisores e o uso irresponsável de Modelos de Linguagem de Grande Escala (LLMs). Apesar da preocupação generalizada, as evidências empíricas sobre a trajetória da qualidade da revisão são amplamente anedóticas. Os principais desafios no estudo desta tendência são:

1. Dificuldade de Mensuração: A qualidade da revisão é difícil de formalizar, e o julgamento humano é propenso a vieses e não escala.
2. Heterogeneidade de Dados: Formatos, diretrizes e estruturas de revisão variam significamente entre os locais (ex: ICLR, NeurIPS, ACL), tornando impossível a comparação cronológica consistente com os métodos existentes.
3. Falta de Estrutura: Não existe um framework holístico e computacional para a análise multidimensional da qualidade da revisão em escala.

Metodologia

Os autores propõem um novo framework para o estudo comparativo baseado em evidências da qualidade da revisão, aplicado às principais conferências de IA e aprendizado de máquina (ICLR, NeurIPS e *ACL/ARR). A metodologia consiste em três componentes principais:

1. Unificação de Revisões

Para abordar a diversidade estrutural, os autores introduzem um processo de unificação em duas etapas:

• Achatamento (Flattening): Todos os campos de texto e cabeçalhos de seção de um formulário de revisão são concatenados em uma string de texto contínua ($r_f$), descartando campos não textuais.
• Itemização: Uma abordagem inovadora baseada em LLM (usando GPT-5.2 em um cenário zero-shot) transforma o texto achatado em um conjunto de itens de tópicos auto-contidos ($r_i$). Esses itens são atribuídos a seções predefinidas: Resumo, Pontos Fortes, Pontos Fracos+ (agregando fraquezas, perguntas e sugestões) e Outros.
• Validação: O processo de itemização foi avaliado quanto à preservação de conteúdo (alucinação e omissão) e precisão de atribuição de seção, alcançando alta precisão (0,95) e recall (0,88) no alinhamento de sentenças, com revisores humanos confirmando a ausência de alucinações ou omissões.

2. Esquema de Qualidade Multidimensional

Os autores definem a qualidade da revisão com base na utilidade para editores e autores, operacionalizada através de três critérios e seis medições específicas (Tabela 1):

• Substantividade:
  • ITX (Contagem de Itens): A contagem de itens informacionais principais nas seções de Resumo, Pontos Fortes e Pontos Fracos+.
  • LEN (Comprimento): Contagem de caracteres da revisão achatada (proxy leve).
• Capacidade de Ação (Actionability):
  • ACT (Pontuação de Actionability): Uma pontuação baseada em LLM (1–5) que avalia o quão facilmente as sugestões podem ser traduzidas em ações específicas.
  • REQ (Contagem de Requisições): Uma contagem leve de sentenças de requisição explícitas (ex: "Por favor, adicione...") identificadas via um classificador de marcação pragmática.
• Fundamentação (Grounding):
  • GND (Pontuação de Grounding): Uma pontuação baseada em LLM (1–5) que mede a extensão em que os comentários estão ancorados em partes específicas do artigo.
  • EXL (Links Explícitos): Uma contagem leve de links explícitos da revisão para o artigo (ex: "Fig. 1", "Sec. 2").

3. Pontuação Agregada e Análise

• Normalização: Todas as métricas são normalizadas para [0, 1].
• Pontuação Composta ($Q$): Uma pontuação agregada de qualidade de revisão é calculada como a média não ponderada de todas as medições normalizadas.
• Escopo de Dados: O estudo analisa uma amostra aleatória de 1.000 revisões por campanha de ICLR (2018–2025), NeurIPS (2021–2025) e ARR (2022–2025), excluindo artigos rejeitados sumariamente (desk-rejected) e retirados.

Principais Contribuições

1. Framework Holístico: O primeiro framework computacional para o estudo de larga escala e multidimensional da qualidade da revisão entre diferentes locais e tempos.
2. Unificação de Revisão: Uma abordagem inovadora e preservadora de significado para padronizar diversas estruturas de revisão usando LLMs, permitindo a análise cronológica.
3. Esquema de Qualidade: Um esquema multidimensional combinando medições leves (eficientes) e baseadas em LLM (profundas) para Substantividade, Capacidade de Ação e Fundamentação.
4. Análise Empírica: O primeiro estudo de larga escala aplicando este esquema para analisar a evolução da qualidade da revisão nos principais congressos de Ciência da Computação.

Resultados

Correlação e Tipos de Medição

• Todas as medições estão positivamente correlacionadas, indicando dimensões de qualidade não contraditórias, porém não são perfeitamente correlacionadas, sugerindo que são complementares.
• Medições leves (LEN, REQ, EXL) mostram uma correlação moderadamente forte ($\rho \approx 0,6$) com as medições baseadas em LLM (ACT, GND) no agregado, sugerindo que proxies leves podem aproximar métricas intensivas em recursos em escala.

Tendências Temporais

• Sem Declínio Consistente: Contrariando a narrativa popular, a análise revela nenhum declínio consistente na mediana da qualidade da revisão entre os locais e anos.
• Flutuações: Embora existam algumas flutuações (ex: um aumento notável na mediana de $Q$ para ICLR-2021, ICLR-2025 e NeurIPS-2025), testes de bootstrap indicam que muitas diferenças ano a ano não são estatisticamente significativas ou são praticamente negligenciáveis.
• Aceitos vs. Rejeitados: No ICLR, onde os dados são totalmente abertos, a qualidade mediana para artigos aceitos (0,24) é apenas marginalmente superior à de artigos rejeitados (0,23).

Distribuição

A distribuição da pontuação agregada $Q$ é enviesada devido a outliers positivos em métricas de contagem, com um pequeno subconjunto de revisões com pontuação extremamente baixa (ex: placeholders ou recusas).

Significância e Alegações

O artigo afirma que a narrativa de "declínio na qualidade da revisão" não é sustentada por dados empíricos quando analisada através de um framework sistemático e multidimensional. Os autores postulam que a percepção de declínio pode advir de:

1. Artefatos Estatísticos (H5): À medida que o número total de revisões cresce, o número absoluto de revisões de baixa qualidade aumenta proporcionalmente, levando mais autores a experimentarem revisões ruins e amplificando o sentimento negativo nas redes sociais.
2. Mensuração Incompleta (H3): Métricas atuais podem perder dimensões específicas de qualidade, ou dados históricos (pré-2021) podem mostrar tendências diferentes que são atualmente inacessíveis.
3. Cenários de Pior Caso (H4): Embora a mediana seja estável, a qualidade das piores revisões pode ter degradado, embora isso exija investigação adicional com novas métricas.

Os autores enfatizam que seu framework é exploratório e destinado a facilitar estudos empíricos futuros, em vez de servir como uma ferramenta direta para design de políticas ou detecção automatizada de revisões. Eles pedem que a comunidade vá além das evidências anedóticas e utilize métricas padronizadas e escaláveis para entender e melhorar o ecossistema de revisão por pares.