REM-CTX: Automated Peer Review via Reinforcement Learning with Auxiliary Context

1. O Problema

A maioria dos sistemas atuais de revisão por pares automatizada depende exclusivamente do conteúdo textual do manuscrito, subutilizando elementos visuais (como figuras e tabelas) e sinais acadêmicos externos (como avaliações de novidade baseadas em literatura prévia). Essa limitação resulta frequentemente em:

• Avaliações de novidade imprecisas.
• Falta de fundamentação na literatura anterior.
• Discussões incompletas sobre elementos visuais.
  Embora modelos multimodais existam, eles ainda possuem cobertura incompleta de modalidades (ex: falta suporte a gráficos de citação). Alternativamente, aumentar um modelo de linguagem baseado em texto com contexto auxiliar requer mecanismos específicos para garantir que o modelo utilize essas informações de forma coerente e não apenas as repita passivamente.

2. Metodologia: REM-CTX

O REM-CTX (Reinforcement learning Multi-objective review generation with auxiliary ConTeXt) é um sistema que integra contexto auxiliar na geração de revisões através de otimização por Aprendizado por Reforço (RL).

• Arquitetura e Modelo Base: O sistema utiliza um modelo de linguagem de 8 bilhões de parâmetros (Qwen3-8B) otimizado com GRPO (Group Relative Policy Optimization), um algoritmo de RL que melhora a estabilidade e eficiência ao otimizar políticas em relação a grupos de sequências em vez de recompensas escalares absolutas.
• Contexto Auxiliar: O sistema recebe como entrada, além do manuscrito, dois tipos de contexto auxiliar gerados por modelos comerciais:
  1. Detalhes de Figuras: Descrições detalhadas das figuras do manuscrito.
  2. Avaliação de Novidade: Análise da originalidade do trabalho baseada em dados de bases de dados acadêmicas externas (via Semantic Scholar).
• Funções de Recompensa: O objetivo de treinamento combina quatro componentes:
  1. Recompensa de Qualidade Multi-Aspecto: Baseada em nove dimensões (crítica, exemplos, importância, métodos, elogios, apresentação, resultados, sugestões e relevância do manuscrito), avaliada por classificadores finamente ajustados.
  2. Função de Recompensa de Correspondência de Figuras (FCRF): Mede se as sentenças da revisão gerada são relevantes e consistentes com os detalhes das figuras fornecidos.
  3. Função de Recompensa de Correspondência de Novidade (NCRF): Mede a relevância e consistência das sentenças com a avaliação de novidade externa.
  4. Recompensa de Formatação: Incentiva a geração de "trilhas de raciocínio" (thinking traces) antes da revisão final.
• Mecanismo de Correspondência: Para calcular as recompensas de correspondência, um classificador (baseado em ModernBERT) analisa pares de (sentença da revisão, contexto auxiliar) para determinar se a sentença é Relevante (discute o contexto) e Consistente (não entra em conflito com o contexto). A recompensa é a razão de sentenças consistentes entre as sentenças relevantes.

3. Contribuições Principais

1. Funções de Recompensa de Correspondência: Propõe um mecanismo geral para incentivar modelos de linguagem treinados por RL a incorporar informações contextuais auxiliares, instanciado aqui para detalhes de figuras e avaliações de novidade.
2. Novos Conjuntos de Dados:
   • PeerRTEx: Um conjunto de dados multi-domínio de revisões por pares (Ciência da Computação, Biológicas e Físicas) com 234 manuscritos.
   • FCRDat: Conjunto de dados de correspondência de figuras em nível de sentença.
   • NCRDat: Conjunto de dados de correspondência de novidade em nível de sentença.
3. Validação Empírica: Demonstra que o REM-CTX supera seis baselines (incluindo modelos comerciais grandes e outros sistemas de RL) na qualidade geral da revisão, provando que as recompensas de correspondência são complementares e não degradam as dimensões de qualidade.

4. Resultados

• Qualidade Geral: O REM-CTX alcançou a maior qualidade geral de revisão entre seis sistemas baselina, superando modelos comerciais significativamente maiores e o próximo melhor baseline baseado em RL (REMOR).
• Correspondência e Qualidade: As recompensas de correspondência funcionam de forma complementar. O modelo completo supera todas as variantes parciais (apenas figuras, apenas novidade ou nenhuma).
• Análise de Trade-offs:
  • Foi observada uma correlação negativa entre a dimensão de "Crítica" e a "Correspondência de Novidade". Isso sugere que, ao forçar o modelo a alinhar-se estritamente com avaliações de novidade externas, a capacidade de gerar críticas independentes pode ser reduzida.
  • O modelo base (Qwen3-8B) com prompting simples teve alta correspondência, mas baixa crítica, tendendo a apenas reiterar o contexto fornecido. O REM-CTX, por outro lado, gera revisões mais críticas e concisas (semelhantes a revisores humanos), mesmo que isso resulte em um alinhamento ligeiramente menor com as avaliações de novidade externas quando isoladas.
• Domínios: O desempenho foi superior em manuscritos de Ciência da Computação (devido ao viés nos dados de treinamento), com desempenho intermediário e maior variância em Ciências Físicas (devido ao tamanho menor da amostra).

5. Significância e Conclusão

O REM-CTX representa um avanço significativo na automação de revisão por pares ao demonstrar que é possível integrar efetivamente contextos multimodais e externos em modelos de linguagem puramente textuais através de mecanismos de recompensa inteligentes.

• Inovação: A introdução de funções de recompensa que avaliam a "correspondência" (relevância e consistência) permite que o modelo aprenda a usar informações externas sem apenas copiá-las.
• Implicações Futuras: O estudo revela que a otimização multi-objetivo em geração de texto requer cuidado, pois dimensões como "crítica" e "alinhamento contextual" podem entrar em conflito. Sugere-se que futuras pesquisas agrupem recompensas multidimensionais para mitigar esses trade-offs.
• Ética: O sistema é projetado como uma ferramenta de apoio para revisores humanos, não para substituí-los, reconhecendo a necessidade de supervisão humana para mitigar vieses e garantir a qualidade final.

Em resumo, o trabalho estabelece um novo paradigma onde a qualidade da revisão automatizada é maximizada não apenas pela fluência do texto, mas pela sua fundamentação rigorosa em evidências visuais e contextos acadêmicos externos.