GraphReview: Scientific Paper Evaluation via LLM-Based Graph Message Passing

Problema
A avaliação de artigos científicos exige avaliar um manuscrito não apenas pela sua qualidade intrínseca, mas também situando-o na competição contemporânea e no cenário em evolução do conhecimento do domínio. Os métodos existentes baseados em Modelos de Linguagem de Grande Escala (LLMs) tipicamente modelam esses sinais de forma isolada: alguns focam exclusivamente no conteúdo textual (qualidade intrínseca), outros em comparações dentro do mesmo ciclo de revisão (ligações sincrônicas) e outros em relações com a literatura anterior (ligações diacrônicas). Essas abordagens carecem de um mecanismo unificado para propagar evidências de revisão entre artigos. Além disso, as arquiteturas atuais frequentemente tratam artigos adicionais como contexto não estruturado, em vez de evidência comparativa explícita, falhando em capturar as forças complementares de sinais de múltiplas fontes necessárias para uma revisão por pares holística.

Metodologia
Os autores propõem o GraphReview, um framework baseado em grafos e LLM que formula a avaliação de artigos como a passagem de mensagens de sinal de revisão sobre um grafo semântico de artigos. O framework integra três fontes distintas de informação:

1. Qualidade Intrínseca: Propriedades no nível do manuscrito, como originalidade, clareza e significância.
2. Ligação Sincrônica: Relações entre submissões contemporâneas, capturando a qualidade comparativa dentro do mesmo ciclo de revisão.
3. Ligação Diacrônica: Ligações intelectuais ao longo do tempo, caracterizando como um artigo estende, diverge ou se sobrepõe à literatura recente.

A metodologia opera através de um processo de passagem de mensagens consistindo em três etapas:

• Geração de Mensagens: Um LLM realiza comparações par a par entre artigos conectados para gerar evidência comparativa no nível das arestas. Ele também atribui priores de qualidade no nível dos nós com base no próprio manuscrito.
• Construção do Grafo: Para gerenciar custos computacionais mantendo a eficiência, os autores introduzem o Emparelhamento Sequencial de 2 Fatores (S2FM). Este algoritmo constrói uma matriz de adjacência de atenção rígida esparsa adicionando iterativamente arestas de alta similaridade, garantindo que o grafo permaneça esparso (complexidade $O(TN)$) em vez de totalmente conectado.
• Agregação e Atualização: Em vez de treinar um preditor de grafo de ponta a ponta, o GraphReview utiliza o PageRank Personalizado (PPR) para agregar sinais globais de revisão. O PPR propaga a importância dos nós com base tanto em priores pontuais quanto em preferências agregadas par a par, gerando uma classificação global. Um pipeline paralelo de consolidação de texto funde explicações de nós e arestas para gerar textos de revisão coerentes.

Estratégia de Treinamento
O framework emprega um processo de treinamento em duas etapas para os backbones de LLM:

1. Inicialização Fria e Otimização de Prompt: O modelo passa por ajuste fino supervisionado (SFT) usando dados gerados por um procedimento iterativo de auto-otimização que refina prompts para cobrir as principais dimensões de avaliação.
2. Máxima Verossimilhança Induzida por Recompensa (RIML): Para abordar as limitações da aprendizagem por reforço com recompensas verificáveis neste domínio, os autores propõem o RIML. Este método converte recompensas baseadas na discrepância entre previsões e verdade fundamental em distribuições-alvo sobre classes de tokens de sinal de revisão. Ele utiliza distribuições-alvo suaves para pontuações no nível dos nós (preservando a proximidade das pontuações) e rótulos one-hot ponderados para comparações no nível das arestas (enfatizando pares com maiores lacunas de pontuação).

Resultados
Experimentos conduzidos em artigos do ICLR 2025, com dados auxiliares do ICLR, ICML e NeurIPS (2023–2024), demonstram que o GraphReview supera consistentemente bases fortes, incluindo GNNs clássicos, LLMs ingênuos, agentes de revisão e sistemas comparativos.

• Decisão e Classificação: O método alcança uma melhoria relativa média de 29,7% sobre a base mais forte (NAIPv2). Ganhos específicos incluem um aumento de 23,7% na Precisão e um aumento de 57,6% no $\rho$ de Spearman.
• Qualidade da Revisão: Em avaliações alinhadas com humanos, o GraphReview alcança taxas de vitória superiores a 50% contra todas as bases em profundidade técnica, fundamentação de evidências, rigor científico e utilidade de revisão.
• Generalização: O modelo demonstra generalização robusta entre diferentes períodos (ICLR 2026) e eventos (ICML 2025), distinguindo de forma confiável entre artigos rejeitados, para pôster e orais.

Significado e Alegações
O artigo alega que o GraphReview representa um passo significativo em direção à avaliação automatizada de artigos científicos, fornecendo um framework holístico e orientado por dados que aproveita evidências de revisão estruturadas em grafos. Os autores argumentam que sua abordagem vai além de simplesmente imitar procedimentos de revisão humana; em vez disso, ela explora a capacidade da máquina de processar grandes volumes de dados e realizar comparações granulares em uma ampla gama de evidências, o que é frequentemente inviável para revisores humanos devido a restrições de tempo.

O trabalho posiciona a revisão de artigos baseada em grafos e LLM não apenas como um método específico, mas como um paradigma geral que unifica a estimativa pontual (intrínseca) e par a par (comparativa). Ao modelar explicitamente sinais de múltiplas fontes conscientes do contexto e propagar evidências avaliativas, o GraphReview visa complementar as capacidades humanas, oferecendo um sistema que é abrangente, intensivo em dados e orientado para sistemas. Os autores enfatizam que o sistema é projetado como uma ferramenta assistiva para apoiar, e não substituir, revisores humanos, e reconhecem limitações relacionadas ao escopo dos dados (atualmente limitado à ciência da computação), potenciais vieses herdados de dados de treinamento gerados por humanos e a necessidade de maior exploração em outros domínios e com modelos maiores.