How Closely Do LLM Reviews Align with Human Peer Review?

Resumo Técnico: Alinhamento de Revisões de LLM com Revisão por Pares Humana

Definição do Problema
Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implementados para gerar revisões científicas, mas as avaliações existentes frequentemente falham em determinar se diferentes provedores de modelos se alinham tanto com as decisões de aceitação de conferências quanto com as prioridades de revisão humana dentro de um único ambiente controlado. Existe uma lacuna crítica na compreensão de se a capacidade de um revisor automatizado de distinguir artigos aceitos de rejeitados implica alinhamento com julgamentos humanos mais granulares, como a distinção entre apresentações orais e de pôster, ou se compartilha as mesmas prioridades temáticas em relação às fraquezas dos artigos.

Metodologia
O estudo conduziu uma avaliação controlada e entre provedores utilizando 300 submissões com temas correspondentes da ICLR 2026. O conjunto de dados compreendeu 100 artigos orais, 100 de pôster e 100 rejeitados. Para garantir a consistência tópica, os artigos orais foram pareados com artigos de pôster e rejeitados tematicamente similares usando embeddings de texto (OpenAI text-embedding-3-small) e pareamento de similaridade um-para-um.

Três LLMs contemporâneos foram avaliados: OpenAI gpt-5.4, Google gemini-3.1-pro-preview e Anthropic claude-opus-4-6. Para mitigar o vazamento de dados, os modelos foram selecionados com base em cortes de treinamento anteriores ao período de submissão da ICLR 2026, e a busca externa foi desativada. Cada modelo revisou cada artigo usando instruções idênticas e uma escala de classificação padronizada (0–10) após a remoção das informações de decisão dos PDFs.

A análise focou em três dimensões:

1. Alinhamento de Resultado: Se os LLMs atribuem classificações sistematicamente diferentes a artigos aceitos (oral/pôster) versus artigos rejeitados, e se distinguem entre as categorias oral e pôster.
2. Uso de Escala: Comparação das distribuições de classificação e o uso específico da escala de recomendação entre provedores e contra bases humanas.
3. Concordância Temática: Análise das fraquezas escritas através de agrupamento temático baseado em embeddings (redução de dimensionalidade UMAP seguido de agrupamento k-means) para identificar temas de crítica priorizados.

A significância estatística foi avaliada usando testes Mann–Whitney U para diferenças de distribuição e testes Wilcoxon signed-rank pareados para comparações diretas entre avaliadores, com aplicação da correção de Holm para múltiplas comparações.

Resultos Principais

• Discriminação Ampla vs. Granular: Todos os três LLMs distinguiram com sucesso artigos aceitos de artigos rejeitados, atribuindo classificações significativamente mais altas aos primeiros. No entanto, nenhum dos modelos reproduziu a distinção entre artigos orais e de pôster observada nas classificações humanas. Os revisores humanos mostraram uma progressão clara da mediana de classificação (Rejeitado: 4.0 → Pôster: 5.33 → Oral: 6.5), enquanto os LLMs falharam em diferenciar entre as categorias de pôster e oral.
• Padrões de Pontuação Específicos por Provedor: Os comportamentos de pontuação variaram significativamente por provedor. O Google Gemini atribuiu classificações sistematicamente mais altas em todas as categorias, incluindo a atribuição de uma nota 8 para 16 artigos rejeitados. OpenAI e Claude foram mais próximos das classificações humanas para artigos rejeitados e de pôster, mas foram mais críticos (atribuíram classificações mais baixas) do que os humanos ao avaliar artigos orais.
• Uso de Escala: Os LLMs utilizaram uma parte mais estreita da escala de classificação em comparação aos humanos. Nenhum dos modelos atribuiu os extremos (0 ou 10), que foram utilizados pelos revisores humanos.
• Divergência Temática: Embora as revisões humanas e de LLM compartilhem os principais temas de fraqueza (ex: evidência experimental, análise teórica), sua ênfase diferiu. Os LLMs identificaram com mais frequência "comparações insuficientes com baselines" como uma fraqueza primária. Em contraste, os revisores humanos levantaram com mais frequência preocupações sobre "eficiência computacional e requisitos de recursos".

Contribuições
Este trabalho fornece três contribuições primárias:

1. Uma avaliação controlada entre provedores de pontuações de revisão por pares geradas por LLM, abrangendo tanto resultados amplos de aceitação quanto categorias de apresentação mais finas.
2. Evidência de que distinguir artigos aceitos de rejeitados não implica alinhamento com decisões de conferência mais refinadas ou uso equivalente da escala de recomendação.
3. Uma comparação de prioridades temáticas, demonstrando que o desacordo entre humanos e LLMs estende-se além das classificações numéricas para as fraquezas específicas consideradas salientes.

Significância e Alegações
O artigo conclui que, embora os LLMs possam servir como fontes de crítica suplementar — capazes de identificar fraquezas recorrentes e fornecer feedback de múltiplas perspectivas — suas pontuações e prioridades não devem ser tratadas como intercambiáveis com os julgamentos de revisão por pares humanos. Os achados sugerem que o alinhamento de decisão ampla não garante concordância com julgamentos humanos mais granulares. Consequentemente, sistemas de revisão automatizada futuros devem ser avaliados não meramente por sua fluência ou capacidade de separar artigos aceitos de rejeitados, mas também por sua estabilidade, uso de escala, fundamentação em evidências e alinhamento com a estrutura matizada da avaliação especializada. Os autores alertam contra a dependência de LLMs para a tomada de decisão final sem reconhecer essas divergências sistemáticas.