From Isolated Scoring to Collaborative Ranking: A Comparison-Native Framework for LLM-Based Paper Evaluation

1. O Problema

A avaliação de artigos científicos por pares (peer review) enfrenta desafios crescentes devido ao volume de submissões, resultando em avaliações inconsistentes e vieses inerentes. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido aplicados para auxiliar nesse processo, a abordagem atual predominante baseia-se em pontuação isolada (isolated scoring), onde o modelo atribui uma nota absoluta a cada artigo independentemente.

O artigo identifica limitações críticas nessa abordagem:

• Falta de Generalização: As escalas de pontuação variam entre conferências, períodos e critérios. Modelos treinados para prever notas absolutas tendem a aprender regras específicas do contexto (overfitting) em vez de desenvolver julgamento acadêmico robusto.
• Alucinação e Viés: LLMs, sendo sistemas de conhecimento fechado, têm dificuldade em realizar o raciocínio complexo necessário para inovações científicas de ponta, sendo propensos a alucinações e vieses de recuperação.
• Ineficiência na Ordenação: Métodos que ainda utilizam pontuação absoluta, mesmo que treinem com comparações parciais, falham em gerar rankings globais confiáveis e consistentes para um conjunto de artigos.

2. Metodologia: Framework CNPE

Os autores propõem o CNPE (Comparison-Native framework for Paper Evaluation), que reformula a avaliação de artigos de uma tarefa de pontuação isolada para um problema de classificação colaborativa (ranking baseado em comparações). O framework integra a comparação tanto na construção de dados quanto no aprendizado do modelo.

O processo é dividido em três etapas principais:

A. Amostragem de Pares (Pair Sampling)

Para garantir comparações informativas e discriminativas, o CNPE não utiliza amostragem aleatória. Em vez disso, emprega um algoritmo de Ranking Baseado em Grafos com Recuperação Bidirecional (GBR-BR):

• Constrói um grafo esparsamente ponderado onde os nós são artigos e as arestas representam pares candidatos.
• Usa um modelo de embedding para recuperar candidatos semanticamente relevantes e um modelo de reranking para ordená-los.
• Integra as classificações bidirecionalmente para mitigar assimetrias e atribuir pesos às arestas baseados na similaridade semântica.
• Estratégia de Amostragem: Combina duas abordagens:
  1. Baseada em Similaridade: Seleciona pares de domínios de pesquisa relacionados para aprendizado fino de qualidade.
  2. Aleatória: Gera pares de domínios diferentes para melhorar a generalização do modelo.

B. Treinamento do Modelo

O modelo é otimizado para realizar julgamentos de preferência relativos:

• Filtragem de Dados: Os pares de treinamento são filtrados por duas restrições: (1) Diferença de pontuação mínima (para evitar ruído de pares muito similares) e (2) Contagem de ocorrência máxima (para garantir diversidade e evitar viés de repetição).
• Cold-Start SFT (Supervised Fine-Tuning): O modelo é inicialmente ajustado com cadeias de raciocínio (reasoning chains) geradas por um LLM instrucional, focando em títulos e resumos.
• Reinforcement Learning with Verifiable Rewards (RLVR): Utiliza um algoritmo melhorado (GRPO) onde a recompensa não é baseada em notas numéricas, mas na precisão da comparação. O modelo recebe recompensa apenas se sua preferência (ex: Artigo A > Artigo B) corresponder à verdade fundamental baseada nas médias de pontuação humana reais.

C. Inferência e Agregação

Durante a inferência, o modelo compara pares de artigos amostrados e gera sinais de preferência.

• Esses sinais são agregados em um ranking global utilizando o Modelo de Bradley-Terry, que estima uma pontuação de qualidade latente para cada artigo com base nas probabilidades de preferência observadas.
• A decisão de aceitação/rejeição é tomada com base nesse ranking global.

3. Principais Contribuições

1. Mudança de Paradigma: Propõe o primeiro framework nativo de comparação para avaliação de artigos, onde o treinamento e a inferência são inteiramente baseados em preferências relativas, eliminando a dependência de escalas de pontuação absolutas.
2. Algoritmo de Amostragem GBR-BR: Desenvolveu um método baseado em grafos para identificar pares de artigos mais informativos e discriminativos, superando a limitação de classificações unidirecionais.
3. Estratégia de Treinamento Híbrida: Combina Supervised Fine-Tuning (SFT) com Reinforcement Learning (RL) usando recompensas verificáveis baseadas em comparações, demonstrando que essa combinação é superior ao uso isolado de cada técnica.
4. Eficiência e Generalização: O modelo, com apenas 7 bilhões de parâmetros, supera modelos maiores (como o DeepReview-14B) e demonstra forte generalização em conjuntos de dados não vistos de conferências de topo (ICML, NeurIPS, ACL, etc.).

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados da ICLR-2025 e testados em generalização para outras conferências de 2025.

• Desempenho Geral: O CNPE-7B alcançou uma melhoria relativa média de 21,8% sobre o forte baseline DeepReview-14B em todas as métricas.
• Métricas de Decisão: Alcançou um F1-score de 0,6732 e AUC de 0,7408 para prever a aceitação de artigos.
• Métricas de Ranking: Demonstrou superioridade significativa na ordenação, com MAP@20 de 0,7076 e NDCG@20 de 0,8153. O ganho no MAP@20 foi de 52,6% em relação ao segundo melhor modelo.
• Generalização: O modelo manteve alta performance em dados não vistos de ICML, NeurIPS, ACL, EMNLP e NAACL, conseguindo distinguir finamente entre níveis de qualidade (ex: Rejeitado vs. Oral/Spotlight).
• Eficiência Computacional: Apesar de usar mais tokens que métodos pontuais devido às comparações, o custo computacional real foi drasticamente menor (0,074x do DeepReview) devido ao uso de contextos curtos (apenas título e resumo) e inferência eficiente.

5. Significância e Implicações

O trabalho demonstra que a avaliação de artigos científicos é inerentemente um problema de relatividade e não de absolutismo. Ao focar em comparações colaborativas, o framework CNPE:

• Mitiga Vieses de Escala: Não depende de padrões de pontuação inconsistentes entre diferentes conferências ou anos.
• Aproveita o Raciocínio do LLM: Transforma a tarefa complexa de julgamento em uma série de comparações binárias, onde os LLMs são naturalmente mais fortes.
• Viabilidade Prática: Funciona apenas com metadados (título e resumo), reduzindo custos computacionais e permitindo aplicação em cenários onde o texto completo não está disponível ou é confidencial.
• Papel Assistivo: Os autores enfatizam que o sistema não substitui a revisão humana, mas serve como uma ferramenta robusta de suporte para aumentar a consistência, eficiência e justiça no processo de peer review.

Em suma, o CNPE estabelece um novo estado da arte ao provar que modelos menores, treinados nativamente para comparação e generalização, superam modelos maiores treinados para pontuação isolada na tarefa de avaliação de pesquisa científica.