Position on LLM-Assisted Peer Review: Addressing Reviewer Gap through Mentoring and Feedback

Resumo Técnico: Posição sobre a Revisão por Pares Assistida por LLM

Definição do Problema: O Hiato do Revisor (The Reviewer Gap)
O artigo identifica um descompasso estrutural crítico no ecossistema de pesquisa em IA, denominado "Hiato do Revisor", impulsionado pelo crescimento sem precedentes de submissões de IA (ex: aumentos anuais de 20–30% em conferências importantes) que superam o crescimento da infraestrutura de revisão. Este hiato manifesta-se em duas dimensões reforçadoras:

1. Hiato de Volume: O volume de submissões excede a capacidade de processamento, levando a atribuições excessivas de revisores, fadiga e avaliações superficiais e perfunctórias.
2. Hiato de Qualidade: O grupo de revisores está se expandindo para incluir pesquisadores juniores e autores com experiência limitada em revisão, criando um déficit de especialidade no domínio. Sem treinamento sistemático, isso leva ao enraizamento de normas de revisão de baixa qualidade.

Os autores criticam as abordagens atuais de Grandes Modelos de Linguagem (LLMs) que focam na geração automatizada de revisões. Eles argumentam que a geração direta por LLM corre o risco de alucinação, sumarização superficial e propagação de vieses, falhando em abordar a causa raiz: a falta de competência do revisor.

Metodologia: Um Framework de Sistema Duplo Centrado no Humano
O artigo propõe uma mudança de paradigma da automação para a aumentação, posicionando os LLMs como assistentes educacionais e ferramentas de feedback, em vez de revisores autônomos. Esta abordagem fundamenta-se em cinco princípios fundamentais de uma revisão por pares de alta qualidade: Fidelidade (precisão aos fatos), Clareza (linguagem inequívoca e baseada em evidências), Equidade (tom neutro e livre de vieses), Proporcionalidade (peso da crítica condizente com a contribuição) e Construtividade (sugestões acionáveis).

A solução proposta consiste em dois sistemas complementares:

1. Sistema de Mentoria de Revisor Assistido por LLM (Educação):

   • Objetivo: Cultivar sistematicamente as competências do revisor através de um ambiente de aprendizagem "seguro para falhar".
   • Estrutura: Um currículo pedagógico de três estágios:
     • Reconhecimento Guiado: Os aprendizes analisam exemplos de revisões de alta e baixa qualidade em relação aos cinco princípios para internalizar os critérios.
     • Prática de Refinamento de Revisão: Os aprendizes revisam rascunhos contendo falhas intencionais, recebendo feedback direcionado para identificar deficiências.
     • Simulação Completa: Os aprendizes escrevem revisões completas, as quais o LLM analisa para gerar um relatório de mentoria abrangente, destacando sucessos e falhas específicas em relação aos princípios.
   • Resultado: Ao concluir, os revisores recebem uma "Certificação de Revisor" voluntária, sinalizando o aumento da expertise sem tornar a participação obrigatória.

2. Sistema de Feedback de Revisor Assistido por LLM (Verificação):

   • Objetivo: Preencher a lacuna entre o treinamento e a execução, apoiando os revisores durante o processo de revisão real.
   • Fluxo de Trabalho:
     • Detecção e Verificação Cruzada: Um "agente crítico" de LLM varre os rascunhos de revisões submetidos em busca de violações dos cinco princípios (ex: erros fatuais, conteúdo negligenciado, afirmações definitivas).
     • Geração de Feedback Baseado em Evidências: O sistema extrai evidências específicas do artigo para ajudar os revisores a justificar críticas (ex: esclarecer afirmações vagas sobre insuficiência de dataset referenciando benchmarks específicos usados no artigo).
     • Teste de Confiabilidade: Antes da entrega, o feedback passa por uma verificação para garantir o tom apropriado, evitar linguagem de revisor para autor e prevenir elogios não informativos.
     • Refinamento Opcional: O feedback é compartilhado privadamente com revisores e Editores de Área (Area Chairs). A revisão é não obrigatória, preservando a autonomia do revisor enquanto permite a autocorreção.

Principais Contribuições

• Reenquadramento Conceitual: O artigo argumenta contra a substituição do julgamento humano por LLMs, propondo uma arquitetura de sistema duplo onde os LLMs servem como mentores (construção de habilidade a longo prazo) e mecanismos de feedback (garantia de qualidade em tempo real).
• Rubrica de Avaliação Padronizada: Define um conjunto unificado de cinco princípios centrais (Fidelidade, Clareza, Equidade, Proporcionalidade, Construtividade) para servir como base objetiva para a mentoria e o feedback baseados em LLM.
• Design Arquitetônico: A proposta delineia um fluxo de trabalho específico que integra simulação educacional com verificação pós-rascunho, garantindo que os princípios aprendidos sejam aplicados em cenários reais sem impor encargos adicionais aos revisores.
• Loop de Melhoria Colaborativa: O framework inclui um mecanismo para que especialistas humanos (ex: Editores de Área) forneçam meta-feedback sobre as sugestões do LLM, criando um loop fechado para o refinamento contínuo do sistema e mitigação de vieses.

Resultados e Alegações
Como um artigo de posição, este trabalho não apresenta resultados experimentais empíricos ou métricas quantitativas de um sistema implantado. Em vez disso, os "resultados" são teóricos e estruturais:

• O artigo alega que a mudança da geração automatizada para a mentoria e feedback assistidos por LLM aborda tanto as dimensões quantitativas (capacidade) quanto qualitativas (especialidade) do Hiato do Revisor.
• Postula que esta abordagem centrada no humano mitiga os riscos de viés de automação e perda de habilidades (deskilling) ao manter os revisores humanos no controle como os principais tomadores de decisão, com os LLMs atuando como ferramentas de suporte para detecção de erros e reforço de habilidades.
• Os autores afirmam que o sistema respeita a autonomia do revisor através de sua estrutura de refinamento opcional, evitando a homogeneização das revisões enquanto garante a adesão aos padrões profissionais.

Significância
O artigo afirma que sua significância reside em oferecer um caminho sustentável para o ecossistema acadêmico. Ao focar no cultivo da expertise do revisor em vez de apenas gerar texto, o framework proposto visa:

1. Quebrar o ciclo vicioso de revisões de baixa qualidade e estagnação da pesquisa.
2. Estabelecer um ciclo virtuoso onde revisões melhores levam a pesquisas mais rigorosas, que por sua vez avançam as tecnologias de IA que fortalecem ainda mais o ecossistema de revisão.
3. Fornecer uma solução escalável e de custo-benefício para o Hiato do Revisor que não dependa da tarefa impossível de expandir rapidamente o grupo de revisores humanos especialistas, mas sim de capacitar sistematicamente a comunidade existente.

Em última análise, o artigo vislumbra um futuro onde o sistema de revisão por pares não é apenas um gargalo a ser automatizado, mas um componente robusto e de autoaperfeiçoamento do progresso científico, apoiado por IA que potencializa, em vez de substituir, a expertise humana.