Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review

Com base no texto fornecido, aqui está um resumo técnico detalhado do artigo "Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review":

Problema
O artigo aborda o desafio crítico de escalar a revisão por pares em conferências de aprendizado de máquina, onde uma explosão de submissões levou à sobrecarga dos revisores, julgamentos inconsistentes e avaliações superficiais. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial para automatizar a revisão por pares, o impacto específico do design das diretrizes do revisor na qualidade e no alinhamento das revisões automatizadas permanece subinvestigado. Os autores buscam determinar quais tipos de diretrizes — políticas oficiais de conferências versus aquelas geradas por imitação de revisores humanos — melhor orientam os LLMs para produzir pontuações e justificativas consistentes com os julgamentos humanos.

Metodologia
O estudo emprega um framework experimental sistemático usando três LLMs de pesos abertos (Qwen3-30B-A3B, DeepSeek-R1-32B e Qwen3-32B) em um conjunto de dados de 1.500 submissões e revisões do ICLR 2024. A métrica de avaliação é o Erro Quadrático Médio (RMSE) entre as pontuações geradas pelo LLM e a média das pontuações das revisões humanas.

Os autores comparam diversas condições de diretrizes:

1. Sem Diretrizes (No-Guideline): Um baseline zero-shot onde o modelo avalia o artigo sem instruções específicas.
2. Diretrizes Oficiais da Conferência: Uso direto das diretrizes da NeurIPS, ICLR e ACL Rolling Review (ARR). Estas foram testadas em seu formato de texto original e como prompts de "estilo instrução" (reescritos pelo ChatGPT em pontos imperativos).
3. Diretrizes de Imitação de Revisor (Reviewer-Imitating Guidelines): Diretrizes geradas por um LLM (Gemini 2.5 Pro) baseadas em revisões humanas de alta qualidade ("Good"), qualidade média ("Middle") e baixa qualidade ("Bad"). Estas revisões foram filtradas usando proxies programáticos (comprimento, data de submissão, qualidade de citações e consistência de pontuação).
4. Rubrica vs. Não-Rubrica: Para as diretrizes de imitação de revisor, os autores testaram dois modos de pontuação:
   • Não-rubrica: Avaliação de forma livre baseada no checklist gerado.
   • Rubrica: Um sistema de pontuação aditivo estrito onde o modelo atribui +1 ou -1 pontos para itens específicos do checklist, que são então normalizados para uma escala de 1 a 10.

Principais Contribuições

1. Superioridade das Diretrizes Oficiais: O estudo demonstra que fornecer diretrizes melhora significativamente o desempenho da revisão automatizada em comparação com um baseline sem diretrizes. Crucialmente, as diretrizes oficiais de conferências (particularmente as da NeurIPS e ICLR) produziram consistentemente o menor RMSE, superando as diretrizes geradas por imitação de revisores. Isso sugere que critérios de avaliação refinados ao longo do tempo pela comunidade de pesquisa servem como uma base mais eficaz para a automação do que padrões destilados de revisões individuais.
2. Ineficácia das Diretrizes de Imitação de Revisor: As diretrizes geradas por imitação de revisores humanos geralmente tiveram um desempenho pior do que as diretrizes oficiais. Em alguns casos (por exemplo, com o modelo Qwen3-30B-A3B), o uso dessas diretrizes geradas na verdade degradou o desempenho em comparação com o baseline sem diretrizes.
3. Prejuízo das Rubricas Estritas: O estudo descobre que impor sistemas de pontuação de estilo rubrica aditivos e estritos (calculando pontuações pela soma de alocações de pontos para itens de checklist) degrada consistentemente o desempenho. Os modelos performam melhor quando são permitidos determinar pontuações subjetiva e holisticamente com base nas diretrizes, em vez de seguir uma lógica de pontuação mecânica e rígida.
4. Impacto da Apresentação: O formato das diretrizes importa. Converter o texto de política oficial em prompts de "estilo instrução" alterou o comportamento do modelo, às vezes invertendo o ranking relativo de qual conferência teve as diretrizes mais eficazes.

Resultados

• Redução de RMSE: Em todos os modelos, o fornecimento de diretrizes reduziu o RMSE. Por exemplo, o DeepSeek-R1-32B mostrou uma redução substancial de erro em todos os locais ao usar diretrizes oficiais em comparação com o baseline sem diretrizes.
• Desempenho por Local (Venue): Com diretrizes oficiais, as diretrizes da NeurIPS geralmente produziram o melhor alinhamento (menor RMSE), seguidas pela ICLR e ARR. No entanto, esse ranking mudou quando as diretrizes foram convertidas para o estilo instrução, indicando que o estilo de apresentação interage com a arquitetura do modelo.
• Falha da Rubrica: Nos experimentos de imitação de revisor, a configuração "Non-Rubric" consistentemente superou a configuração "Rubric". Por exemplo, com o Qwen3-30B-A3B, o RMSE para o grupo "Good" foi de 3,22 (não-rubrica) versus 4,42 (rubrica), indicando que sistemas rígidos de alocação de pontos aumentam significativamente o desvio em relação aos julgamentos humanos.

Significância
O artigo afirma que o design de prompts para revisão por pares automatizada não é meramente um detalhe administrativo, mas um determinante crítico da qualidade da revisão. As descobertas sugerem que:

• Sistemas automatizados devem priorizar diretrizes oficiais e refinadas pela comunidade em vez de diretrizes sintéticas derivadas de padrões de revisão humana.
• A natureza holística e subjetiva da avaliação humana é difícil de replicar com rubricas rígidas; permitir que os LLMs interpretem as diretrizes de forma flexível gera um melhor alinhamento com o julgamento humano.
• O estudo fornece um framework de pesos abertos e reproduzível para avaliar a revisão automatizada, enfatizando a necessidade de transparência e privacidade (evitando o upload de manuscritos não publicados para APIs comerciais não seguras).

Os autores concluem que, embora os LLMs possam auxiliar na revisão por pares, sua eficácia depende fortemente da qualidade e do formato da orientação fornecida, sendo que as políticas estabelecidas das conferências oferecem o caminho mais confiável a seguir.