Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

O artigo apresenta o Re², o maior conjunto de dados de revisão por pares e réplicas com consistência garantida, que inclui submissões iniciais, comentários de revisores e réplicas de múltiplas conferências para superar as limitações de diversidade e qualidade dos dados existentes e apoiar tanto tarefas estáticas quanto assistentes interativos de IA.

O essencial

Imagine que o mundo da ciência é como uma gigantesca festa de aniversário onde todos os pesquisadores trazem seus melhores trabalhos (os "bolos") para serem provados e julgados por convidados especiais (os "revisores").

O problema é que, ultimamente, a festa ficou tão cheia que os convidados não dão conta de provar todos os bolos. Eles estão cansados, estressados e, às vezes, a qualidade da avaliação cai porque há muitos bolos ruins sendo trazidos repetidamente. Os autores muitas vezes não sabem o que está errado no seu bolo antes de levá-lo à festa, então eles trazem, são rejeitados, tentam consertar e trazem de novo, sobrecarregando ainda mais os convidados.

Aqui entra a Re2, a nova "ferramenta mágica" apresentada neste artigo. Vamos explicar como ela funciona usando analogias simples:

1. O Problema: A Cozinha Bagunçada

Antes da Re2, existiam outros livros de receitas (conjuntos de dados) que ajudavam a treinar robôs (Inteligência Artificial) a julgar esses bolos. Mas esses livros tinham três defeitos graves:

• Eram pequenos: Tinham pouca variedade de receitas.
• Estavam desatualizados: Muitas vezes, mostravam a receita do bolo depois que ele já tinha sido consertado, e não como ele era quando foi entregue pela primeira vez. Isso confundia o robô: "Será que o robô deve julgar o bolo original ou o bolo consertado?"
• Eram estáticos: Eles só mostravam o momento em que o bolo foi entregue e o comentário inicial. Não mostravam a conversa que acontecia depois, quando o autor tentava explicar ou defender seu bolo.

2. A Solução: O "Grande Livro de Histórias" (Re2)

Os pesquisadores criaram o Re2, que é como um arquivo gigante e perfeitamente organizado de toda a história de uma festa de aniversário que durou anos.

• Tudo Começa do Zero (Consistência): O Re2 garante que, para cada história, eles pegaram a receita exatamente como ela foi entregue pela primeira vez, antes de qualquer conserto. Isso é crucial para que a IA aprenda a julgar o trabalho real, e não a versão polida depois do fato.
• O Diálogo Completo (Multi-turn): A grande inovação é que o Re2 não para no primeiro comentário. Ele inclui a conversa completa. Imagine que o revisor diz: "Este bolo está muito salgado". O autor responde: "Ah, foi um erro, vou diminuir o sal". O revisor diz: "Ok, mas e a textura?". O Re2 guarda todo esse bate-papo como se fosse um chat de WhatsApp entre o autor e o revisor.
• Tamanho Gigante: É o maior livro do mundo sobre esse assunto, com quase 20.000 histórias de bolos, mais de 70.000 comentários e quase 54.000 respostas, vindos de muitas festas diferentes (conferências) ao redor do mundo.

3. Para que serve essa "Ferramenta Mágica"?

Com esse livro gigante e organizado, os cientistas podem treinar Assistentes de IA que fazem duas coisas incríveis:

1. O "Chef de Cozinha" (Para os Autores): Antes de você levar seu bolo para a festa, você pode pedir para a IA: "Ei, leia minha receita e me diga o que está errado". A IA, treinada no Re2, age como um crítico experiente que te ajuda a consertar o bolo antes de você enviá-lo. Isso evita que você perca tempo levando um bolo ruim e alivia a pressão dos revisores.
2. O "Juiz Virtual" (Para os Revisores): A IA pode ajudar os revisores humanos a escreverem comentários mais claros e úteis, ou até simular conversas para treinar novos revisores.

Resumo em uma Frase

O Re2 é como ter um espelho mágico que mostra exatamente como os trabalhos científicos eram quando foram entregues e como as conversas de defesa aconteceram depois. Isso permite criar robôs inteligentes que ajudam os autores a escreverem melhores trabalhos antes de enviá-los, tornando a "festa da ciência" menos caótica e mais justa para todos.

Resumo técnico

Resumo Técnico: Re2 Dataset

1. Problema e Motivação

O processo de revisão por pares é fundamental para o progresso científico, especialmente em áreas como Inteligência Artificial (IA) e Ciência da Computação. No entanto, o aumento explosivo no volume de submissões tem sobrecarregado o sistema, resultando em escassez de revisores e queda na qualidade das revisões. Um fator agravante é a re-submissão frequente de manuscritos que não atendem aos padrões de qualidade, devido à falta de ferramentas eficazes para autoavaliação dos autores antes da submissão.

Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem potencial para auxiliar autores e revisores, seu desempenho é limitado pela qualidade dos dados de treinamento existentes. Os conjuntos de dados atuais de revisão por pares apresentam três limitações críticas:

1. Baixa Diversidade: A maioria dos dados provém de poucas conferências (principalmente ICLR), limitando a generalização.
2. Inconsistência de Dados: Muitos conjuntos utilizam versões revisadas dos artigos em vez das submissões iniciais. Isso cria uma desconexão entre o conteúdo do artigo e os comentários dos revisores, prejudicando o treinamento de modelos para tarefas de avaliação realista.
3. Falta de Suporte a Interações: Os dados existentes focam em revisões estáticas, ignorando a fase de rebuttal (réplica) e discussão, que constitui uma tarefa de conversação multi-turno essencial para a melhoria de trabalhos.

2. Metodologia

Os autores propõem o Re2, o maior conjunto de dados de revisão por pares e réplica do mundo, garantindo consistência e abrangência total das etapas do processo.

• Coleta e Processamento de Dados:

  • Fonte: Dados extraídos da plataforma OpenReview, cobrindo 24 conferências e 21 workshops entre 2017 e 2025.
  • Garantia de Consistência: Para resolver o problema de versões, a equipe utilizou técnicas de web scraping para extrair estritamente a versão final do manuscrito antes da data limite de submissão (submissão inicial), garantindo que o conteúdo do texto corresponda exatamente ao que os revisores avaliaram.
  • Formato: Conversão de PDFs para texto puro (LaTeX e Markdown) usando a ferramenta Doc2X para alta precisão, especialmente em fórmulas matemáticas.
  • Estruturação Multi-turno: A fase de réplica e discussão foi transformada em diálogos estruturados. O processo envolveu:
    • Concatenação de múltiplas respostas consecutivas do mesmo papel (autor ou revisor) em um único turno.
    • Remoção de mensagens de "lembrete" ou urgência que não continham conteúdo substantivo.
    • Integração inteligente de "Respostas Globais" (respostas unificadas dos autores a preocupações comuns de vários revisores) como contexto de referência dentro do diálogo, mantendo a coerência lógica.

• Composição do Dataset:

  • Re2-Review: 19.926 submissões iniciais e 70.668 comentários de revisores.
  • Re2-Rebuttal: 14.830 submissões pareadas com 53.818 interações de réplica e discussão, formatadas como conversas.
  • Metadados Completos: Inclui notas, scores de aspectos (solidez, apresentação, contribuição), mudanças de score pós-réplica, meta-revisões e decisões finais.

3. Contribuições Principais

1. Maior e Mais Consistente Dataset: O Re2 é o maior conjunto de dados realista de revisão por pares até a data, com a cobertura mais ampla de conferências e a garantia de que todos os textos são submissões iniciais não revisadas.
2. Paradigma de Conversa Multi-turno: É o primeiro dataset a estruturar dados de réplica e discussão como uma tarefa de conversação interativa, permitindo o treinamento de assistentes LLM dinâmicos que podem simular o diálogo autor-revisor.
3. Análise e Validação Experimental: Realização de uma análise estatística detalhada e demonstração experimental da eficácia do dataset em quatro tarefas: previsão de aceitação, previsão de score, geração de revisão e conversação de réplica.

4. Resultados Experimentais

Os autores avaliaram o desempenho de vários LLMs (incluindo LLaMA-3.1-8B e Qwen2.5-7B) com e sem fine-tuning no dataset Re2.

• Previsão de Aceitação e Score: Modelos zero-shot tendiam a ser excessivamente otimistas (aceitando tudo). Após o fine-tuning no Re2, houve uma melhoria significativa na precisão e redução nos erros (MAE e MSE) na previsão de scores, demonstrando que o modelo aprendeu os padrões de julgamento humano.
• Geração de Revisão: O modelo LLaMA-3.1-8B ajustado (fine-tuned) superou todos os baselines em métricas de similaridade lexical (BLEU, ROUGE-L) e semântica (BERTScore, EmbedCos), gerando revisões que se alinham melhor com a estrutura e o tom das revisões reais.
• Conversação de Réplica: Nos testes de diálogo multi-turno, os modelos ajustados no Re2 superaram consistentemente suas versões zero-shot em métricas de similaridade e em avaliações realizadas por um "julgador LLM" (LLM-as-a-judge) em dimensões como qualidade, construtividade e clareza.

5. Significado e Impacto

O dataset Re2 representa um avanço fundamental para a pesquisa em revisão automatizada de artigos:

• Para Autores: Oferece a base para criar ferramentas de autoavaliação pré-submissão que podem identificar fraquezas e melhorar a qualidade dos manuscritos antes do envio formal, reduzindo as taxas de re-submissão.
• Para Revisores: Permite o desenvolvimento de assistentes de IA que podem gerar feedback mais específico e construtivo, aliviando a carga de trabalho dos revisores humanos.
• Para a Comunidade Científica: Estabelece um novo padrão de qualidade de dados (consistência de versão e formato conversacional), permitindo o treinamento de modelos mais robustos e realistas para simular todo o ciclo de vida da revisão por pares, desde a submissão inicial até a decisão final.

Em suma, o Re2 não apenas resolve problemas de consistência e escala em dados existentes, mas também expande o escopo de pesquisa para incluir a dinâmica interativa da revisão acadêmica, facilitando a adoção de LLMs como parceiros eficazes no processo científico.