Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review

Resumo Técnico: As Pontuações dos Revisores Não São Comparáveis Entre Áreas de Pesquisa em Revisão por Pares de ML

1. Declaração do Problema

O artigo identifica uma falha de design de medição nos processos de revisão por pares de grandes conferências de Aprendizado de Máquina (ML), focando especificamente na ICLR. À medida que o volume de submissões escalou de milhares para dezenas de milhares, a dependência de uma escala numérica fixa (1–10) para determinar a aceitação tornou-se estruturalmente falha.

O problema central é que as pontuações absoldas dos revisores são incomparáveis entre diferentes áreas de pesquisa. O contrato implícito do sistema de revisão — de que uma pontuação específica (ex: 6.0) carrega a mesma probabilidade de aceitação independentemente do tópico do artigo — é violado na prática. Os autores argumentam que os resultados de aceitação são moldados por forças além das pontuações dos revisores, impulsionadas por atribuições de revisores estruturalmente não uniformes. Isso força os Area Chairs (ACs) a substituir decisões baseadas em pontuações por priors de nível comunitário, levando a disparidades sistemáticas onde artigos em tópicos "tendentes" ou "quentes" enfrentam limiares de aceitação diferentes daqueles em tópicos "maduros" ou "frios", mesmo quando recebem pontuações de revisores idênticas.

2. Metodologia

O estudo é uma análise observacional baseada em dados da ICLR 2021–2026, cobrindo 50.289 artigos em 219 tópicos de pesquisa. Os autores utilizaram o repositório PaperCopilot e o BERTopic (derivado de texto de títulos e resumos) para construir uma taxonomia granular de tópicos de pesquisa, que oferece uma granularidade mais fina do que os rótulos oficiais de área primária.

A análise procede através de três níveis de evidência:

1. Análise Descritiva: Comparação de taxas de aceitação (AR) brutas entre tópicos com intervalos de confiança de Wilson de 95%.
2. Análise Estrutural: Ajuste de modelos de regressão logística ($P(\text{accept}) = \sigma(\beta_0 + \beta_1 \cdot \text{score})$) por tópico para estimar o limiar de aceitação ($\hat{\tau}$) onde um artigo tem 50% de chance de aceitação.
3. Análise Sem Modelo (Model-Free): Exame das taxas de aceitação dentro de bandas de pontuação fixas (ex: $s \in [4.875, 5.125]$) para isolar o efeito da identidade do tópico do próprio score.

Os autores descartaram rigorosamente quatro explicações alternativas:

• Cultura de Pontuação: A hipótese de que tópicos tendentes possuem simplesmente scores base mais altos.
• Padrões de Revisores Especialistas: A hipótese de que áreas de alto limiar possuem revisores mais confiantes e especialistas.
• Reponderação Racional de Area Chairs: A hipótese de que os ACs ajustam racionalmente os pesos para Contribuição vs. Solidez (Soundness) com base no campo.
• Diluição de Qualidade: A hipótese de que campos em crescimento sofrem com uma qualidade média de artigo inferior.

3. Principais Resultados

• Disparidades na Taxa de Aceitação: Existe uma dispersão de 27,8 pontos percentuais nas taxas de aceitação entre tópicos (de 18,3% para "reconhecimento" a 46,0% para "campos de radiação/radiance fields").
• Variação de Limiar: O limiar de aceitação (a pontuação necessária para uma chance de 50% de aceitação) varia significamente por tópico. Por exemplo, tópicos de "cadeia de pensamento/chain-of-thought" têm um limiar de 4.938, enquanto tópicos de "funções de ativação/relu" têm um limiar de 5.751.
• O Gap de 8× (Descoberta Central): Com pontuações de revisores idênticas, as probabilidades de aceitação variam drasticamente. Em uma pontuação de 5.0, artigos em tópicos de "otimização de política/raciocínio de LLM" têm uma taxa de aceitação de 52,6%, enquanto aqueles em tópicos de "CNN/robustez adversarial" têm apenas 6,6%. Isso representa uma diferença de 8× nas chances de aceitação para artigos que recebem exatamente a mesma avaliação do revisor.
• Rejeição de Alternativas:
  • Explicação de Qualidade: Áreas com taxas de aceitação mais altas consistentemente aceitam artigos com menores scores médios de revisores, contradizendo a ideia de que estão aceitando artigos "melhores".
  • Hipótese de Especialista: Não há correlação significativa entre o limiar de aceitação de um tópico e a confiança do revisor ($r = -0.102$). Áreas de alta AR são frequentemente atendidas por revisores entusiasmados, mas menos especialistas.
  • Reponderação Racional: A análise de sub-pontuações mostra que áreas de alto limiar exigem mais tanto em Solidez quanto em Contribuição simultaneamente, em vez de trocar um pelo outro.
  • Diluição de Qualidade: O crescimento de submissões em áreas específicas (ex: Datasets & Benchmarks cresceu +459%) não correlacionou com declínios mais acentuados nas taxas de aceitação.

4. Mecanismo de Causa Raiz

O artigo atribui essas disparidades à atribuição de revisores estruturalmente não uniforme, que cria três dimensões de incomparabilidade compostas:

1. Profundidade de Expertise: Áreas "quentes" atraem grandes grupos de revisores juniores com avaliações menos calibradas, enquanto áreas maduras atraem especialistas seniores.
2. Cultura de Pontuação: Diferentes comunidades interpretam a escala 1–10 de formas distintas (ex: métodos formais tratam 8 como quase perfeito; ML empírico trata 6 como um aceito sólido).
3. Linha de Base de Novidade: Revisores em áreas quentes calibram a novidade contra uma fronteira de alta novidade, elevando a barra, enquanto áreas maduras possuem fronteiras de movimento mais lento.

Consequentemente, os ACs devem confiar em priors comunitários para interpretar as pontuações, efetivamente substituindo o sinal de qualidade por um sinal de identidade de tópico. Isso é exacerbado pelos "ciclos de hype", onde tópicos emergentes desfrutam de um prêmio temporário de aceitação não relacionado à qualidade do artigo.

5. Significância e Alegações

O artigo afirma ser o primeiro estudo a identificar o desacoplamento entre tópico, pontuação e aceitação com identificação de mecanismo e a falsificação de explicações alternativas. Sua significância reside em deslocar a culpa do viés individual ou erro do revisor para uma falha sistêmica de design de medição.

As principais alegações incluem:

• Transparência como Pré-requisito: A opacidade atual de eventos como NeurIPS e ICML impede a detecção desses padrões. Os autores argumentam que a transparência é o pré-requisito para a responsabilidade e reforma.
• Viabilidade de Reforma: As soluções propostas não requerem um redesenho fundamental do processo de revisão, mas sim a adoção de sinais calibrados e transparência.
• Limitação Observacional: Os autores declaram explicitamente que sua análise é observacional e limitada à ICLR (o único evento com divulgação total de revisão). Eles não alegam identificar o efeito causal do tópico na atribuição de artigos individuais, mas documentam um padrão populacional sistemático que o próprio sinal de qualidade do sistema de revisão não consegue explicar.

6. Ações Propostas

O artigo pede três ações interconectadas:

1. Comitês de Programa: Publicar taxas de aceitação condicionadas ao score e estratificadas por área como uma métrica de equidade de primeira classe para permitir a responsabilidade.
2. Comunidades de Pesquisa: Desenvolver rubricas de revisão específicas de área para tornar explícitos os padrões implícitos da comunidade, reduzindo falhas de calibração entre revisores inexperientes.
3. Eventos (Venues): Suplementar as pontuações absolutas com sinais calibrados, como perfis de calibração de revisores, auto-ranqueamento de autores via Mecanismo Isotônico, e uma norma de priorizar revisões escritas sobre pontuações agregadas para decisões limítrofes.