Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

Título: Impacto dos Grandes Modelos de Linguagem (LLMs) na Revisão por Pares: Opiniões de uma Perspectiva de Alta Granularidade

1. Problema e Contexto

O processo de revisão por pares, mecanismo fundamental para garantir a qualidade e a credibilidade da pesquisa acadêmica, enfrenta desafios crescentes devido ao aumento volumétrico de submissões e à escassez de revisores qualificados, especialmente em conferências de ponta de Inteligência Artificial (IA). Recentemente, o surgimento e a rápida adoção de Grandes Modelos de Linguagem (LLMs) introduziram uma nova variável: a possibilidade de que revisores estejam utilizando essas ferramentas para auxiliar na redação de seus relatórios.

Embora estudos preliminares indiquem que os LLMs estão influenciando as pontuações e as taxas de aceitação, permanece incerto como essa assistência está alterando as funções avaliativas centrais da revisão. Questões críticas incluem:

• Os LLMs estão mudando a complexidade linguística e o foco avaliativo dos relatórios?
• Há uma erosão na profundidade da crítica (ex: originalidade, replicabilidade) em favor de uma fluidez superficial?
• Como a assistência por LLM afeta a confiança do revisor e a relação entre os aspectos avaliados e as recomendações finais?

2. Metodologia

O estudo realiza uma análise de alta granularidade (palavra, frase e aspecto) de relatórios de revisão de duas conferências de topo em IA: ICLR (2017-2025) e NeurIPS (2016-2024), totalizando cerca de 188.000 revisões.

A abordagem metodológica divide-se em três pilares principais:

• Detecção de Revisões Assistidas por LLM:

  • Utilizou-se um modelo de Estimativa de Máxima Verossimilhança (MLE), baseado no trabalho de Liang et al., para estimar a proporção de texto gerado ou significativamente modificado por LLMs.
  • O modelo compara a distribuição de probabilidade de textos escritos por humanos (referência) e textos gerados por LLMs.
  • Um filtro inicial baseado em um léxico de termos frequentemente usados por LLMs (ex: "meticulously", "comprehensively", "underscores") foi aplicado para identificar candidatos a revisões assistidas antes da aplicação do modelo estatístico.

• Identificação de Aspectos Avaliativos (Aspect-Level):

  • Empregou-se um modelo de identificação de aspectos pré-treinado (baseado em BERT e regras heurísticas) para classificar cada frase da revisão em oito categorias: Summary (Resumo), Motivation, Originality, Soundness, Substance, Replicability, Meaningful Comparison e Clarity.
  • Cada menção foi anotada com polaridade de sentimento (positiva/negativa).

• Análise de Complexidade Linguística:

  • Complexidade Lexical: Medida através de ferramentas como TAALES, focando em frequência de palavras acadêmicas, bigramas e trigramas (riqueza de vocabulário).
  • Complexidade Sintática: Avaliada via TAASSC, analisando métricas como número de orações adverbiais, sujeitos nominais, conjunções subordinantes e verbos auxiliares por cláusula.

• Correlação Estatística:

  • Cálculo de coeficientes de correlação de Spearman para analisar a relação entre a frequência de menção de aspectos, as pontuações atribuídas (scores) e os níveis de confiança dos revisores (1-5).

3. Contribuições Principais

1. Análise de Alta Granularidade: Diferente de estudos anteriores que analisavam o texto como um bloco único, este trabalho decompõe a revisão em nível de palavras, frases e aspectos específicos, permitindo detectar mudanças sutis na estrutura e no foco do conteúdo.
2. Evidência Empírica de Mudanças Estruturais: Demonstra que a proliferação de LLMs está associada a um aumento no comprimento dos textos e na fluidez, mas com uma redução na complexidade lexical e na diversidade de estilos, especialmente entre revisores com baixa confiança.
3. Mapeamento de Viés Avaliativo: Identifica que revisões assistidas por LLM tendem a priorizar aspectos superficiais (como resumo e clareza) em detrimento de dimensões críticas profundas (como originalidade e replicabilidade).
4. Insights sobre Confiança e Competência: Revela que revisores com baixa confiança (score 1) utilizam LLMs para compensar lacunas de conhecimento, resultando em relatórios mais longos e focados em resumos, enquanto revisores de alta confiança mantêm avaliações mais concisas e diretas.

4. Resultados Chave

• Padrões Linguísticos:

  • Após o surgimento dos LLMs (pós-2022/2023), os textos de revisão tornaram-se mais longos e fluentes.
  • Houve um aumento significativo no uso de sujeitos nominais (ex: "O estudo demonstra" em vez de "Eu acho"), aumentando a objetividade aparente, mas reduzindo a voz pessoal.
  • A complexidade lexical diminuiu ligeiramente, sugerindo que os LLMs tendem a evitar terminologia excessivamente complexa em favor de clareza.

• Foco Avaliativo (Aspectos):

  • Aumento: A menção de Summary (Resumo) e Clarity (Clareza) aumentou significativamente nas revisões assistidas por LLM.
  • Diminuição: Houve uma queda notável na menção de Originality (Originalidade) e Replicability (Replicabilidade) nas revisões assistidas por LLM, especialmente no ICLR. Isso sugere que as ferramentas podem estar substituindo o julgamento crítico profundo por uma geração de texto mais genérica e estruturada.
  • A comparação entre revisões assistidas e não assistidas mostrou que as primeiras focam mais em Substance (Substância) e menos em Originality.

• Impacto na Pontuação e Confiança:

  • Correlação Fraca: A frequência de menção de aspectos específicos tem uma correlação muito fraca e, na maioria dos casos, estatisticamente insignificante com as pontuações finais atribuídas. Isso indica que o uso de LLMs não está distorcendo drasticamente as decisões de aceitação/rejeição baseadas apenas na estrutura do texto.
  • Confiança do Revisor: Revisores com baixa confiança (score 1) mostraram um aumento acentuado no comprimento das revisões após a adoção de LLMs, indicando que a ferramenta os ajudou a produzir conteúdo mais substantivo do que fariam sozinhos. No entanto, a correlação entre aspectos mencionados e a confiança do revisor permanece baixa.

5. Significado e Implicações

• Teórico: O estudo sugere que os LLMs estão reconfigurando a forma da revisão por pares (tornando-a mais fluida, padronizada e focada em resumos) sem necessariamente alterar o resultado final (pontuação) de forma drástica. No entanto, há um risco de "homogeneização" das avaliações, onde a profundidade crítica (originalidade) é sacrificada em favor da fluidez linguística.
• Prático:
  • As conferências e periódicos devem estabelecer diretrizes claras sobre o uso de LLMs, permitindo o uso para polimento e organização, mas desencorajando a dependência para julgamento crítico.
  • A detecção de revisões assistidas por LLM é viável e necessária para monitorar a qualidade da revisão.
  • O uso de LLMs pode ser uma ferramenta valiosa para reduzir a carga cognitiva de revisores menos experientes, permitindo que eles forneçam feedback mais estruturado, desde que supervisionado para garantir que aspectos críticos não sejam negligenciados.

Conclusão: A emergência dos LLMs está transformando a paisagem da revisão por pares, promovendo textos mais longos e fluentes, mas com um custo potencial na profundidade da avaliação crítica. A tecnologia atua mais como um facilitador de escrita do que como um substituto do julgamento especializado, exigindo novas políticas para equilibrar eficiência e rigor acadêmico.