Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

Ce papier présente Re², le plus grand jeu de données garantissant la cohérence pour l'évaluation par les pairs et les répliques, qui rassemble des soumissions initiales, des commentaires de relecteurs et des répliques multi-tours provenant de nombreuses conférences afin de soutenir le développement d'assistants LLM capables d'aider les auteurs et d'alléger la charge de travail des relecteurs.

L'essentiel

Imaginez que le monde de la recherche scientifique, surtout en intelligence artificielle, ressemble à un immense festival de musique. Chaque année, des milliers d'artistes (les chercheurs) envoient leurs nouvelles chansons (les articles scientifiques) pour qu'elles soient jugées par un jury (les réviseurs).

Le problème ? Le festival devient trop populaire. Il y a trop de chansons, mais pas assez de juges. Résultat : les juges sont épuisés, la qualité des critiques baisse, et certains artistes envoient la même chanson imparfaite plusieurs fois, espérant qu'un jour elle passera, juste parce qu'ils n'ont pas d'outil pour s'auto-évaluer avant de se produire.

C'est ici qu'intervient l'étude que vous avez partagée, qui propose une solution géniale appelée Re2.

Voici l'explication de ce projet, imagée et simple :

1. Le Problème : Une Bibliothèque de "Fausses" Critiques

Jusqu'à présent, les chercheurs qui voulaient entraîner des intelligences artificielles (IA) pour aider à juger ces chansons utilisaient de vieilles bibliothèques de données. Mais ces bibliothèques avaient trois gros défauts :

• Elles étaient trop petites et répétitives : Comme si on n'avait que des critiques de jazz, alors qu'il faut aussi du rock, du classique et du rap.
• Elles étaient incohérentes : C'est le problème le plus grave. Souvent, les données montraient la chanson après que l'artiste l'ait corrigée, mélangée à la critique initiale. C'est comme si un critique disait : "Ta chanson était nulle, mais tu l'as corrigée, donc maintenant c'est bien." Pour entraîner une IA, il faut voir la chanson brute et la critique immédiate, pas le résultat final.
• Elles ignoraient le débat : Les données s'arrêtaient à la critique. Elles ne racontaient pas la conversation suivante où l'artiste répond : "Ah, vous avez raison sur ce point, voici ma nouvelle version !"

2. La Solution : Le "Grand Livre d'Or" Re2

L'équipe de l'Université de Zhejiang a créé Re2, qui est comme la plus grande et la plus précise bibliothèque de critiques jamais construite.

• La taille : C'est un océan de données ! Ils ont collecté près de 20 000 chansons (articles), 70 000 critiques et 53 000 réponses (rébuts) provenant de 45 festivals différents (conférences) entre 2017 et 2025.
• La pureté (La garantie de cohérence) : C'est leur plus grande fierté. Ils ont fait un travail de détective incroyable pour s'assurer que chaque chanson dans leur bibliothèque est bien la version originale, envoyée le jour de la deadline, avant toute modification. C'est la seule bibliothèque au monde qui garantit cela.
• La conversation (Le débat en direct) : Au lieu de juste lire une critique, Re2 transforme tout en une conversation. Imaginez un chat WhatsApp entre l'artiste et le juge. L'IA apprend non seulement à écrire une critique, mais aussi à comprendre la réponse de l'artiste, à poser de nouvelles questions, et à avoir un débat constructif sur plusieurs tours.

3. Comment ça marche ? (L'Analogie du Chef Cuisinier)

Imaginez un chef cuisinier (l'IA) qui veut apprendre à critiquer des plats.

• Avant (avec les anciennes données) : Le chef voyait un plat moche, puis voyait une photo du même plat devenu magnifique après avoir été retouché par Photoshop, et lisait une critique qui parlait du plat retouché. Le chef ne comprenait rien !
• Avec Re2 : Le chef voit le plat tel quel, avec ses défauts. Il lit la critique du juge. Ensuite, il voit le chef cuisinier (l'auteur) répondre : "J'ai mis trop de sel, voici comment je l'ai corrigé." Et le juge répond : "Ah, d'accord, c'est mieux."
• Le résultat : Grâce à cette méthode, l'IA apprend à être un assistant de cuisine ultra-puissant. Elle peut dire à un auteur : "Avant d'envoyer ton article, attention, ce paragraphe est confus, voici comment le reformuler." Cela évite que l'auteur envoie un article raté, ce qui soulage la pression sur les juges humains.

4. Pourquoi c'est important ?

Ce projet ne sert pas juste à créer des robots qui écrivent des critiques. Il sert à :

1. Aider les auteurs à s'améliorer avant d'envoyer leur travail (comme un coach personnel).
2. Aider les juges à gagner du temps en ayant des assistants IA qui comprennent le contexte et le débat, pas juste le texte brut.
3. Réduire le stress dans le monde scientifique, en évitant les allers-retours inutiles d'articles de mauvaise qualité.

En résumé, Re2 est comme un immense manuel d'apprentissage pour les intelligences artificielles, écrit avec la vérité absolue (les versions originales) et la dynamique réelle (les conversations), pour qu'elles deviennent de véritables partenaires dans le processus scientifique, plutôt que de simples machines à lire.

Résumé technique

1. Problématique

Le processus de révision par les pairs (peer review) dans des domaines comme l'IA et l'informatique est confronté à une crise de capacité due à l'explosion du volume de soumissions. Cela entraîne une pénurie de réviseurs et une baisse de la qualité des évaluations. Un facteur aggravant est la résubmission fréquente de manuscrits de qualité insuffisante, faute d'outils d'auto-évaluation efficaces pour les auteurs avant la soumission.

Bien que les Modèles de Langage (LLM) offrent un potentiel pour assister auteurs et réviseurs, leur performance est limitée par la qualité des données d'entraînement. Les jeux de données existants souffrent de trois limitations majeures :

1. Diversité limitée : La plupart se concentrent sur une seule conférence (souvent ICLR), manquant de représentativité.
2. Incohérence des données : De nombreux jeux de données utilisent des versions révisées des papiers plutôt que les soumissions initiales, ce qui brise la cohérence entre le texte soumis et les commentaires des réviseurs.
3. Insuffisance des tâches interactives : Ils négligent les étapes de rébuttal (réponse des auteurs) et de discussion, qui sont pourtant cruciales pour simuler un assistant de révision dynamique et multi-tours.

2. Méthodologie : Le Jeu de Données Re2

Les auteurs proposent Re2, le plus grand jeu de données de révision par les pairs garantissant la cohérence, extrait de la plateforme OpenReview. Il couvre 24 conférences et 21 ateliers entre 2017 et 2025.

Le dataset est divisé en deux sous-ensembles principaux :

A. Re2-Review (Tâches statiques)

• Contenu : 19 926 soumissions initiales et 70 668 commentaires de révision.
• Garantie de cohérence : Une étape critique de traitement consiste à extraire la version initiale du manuscrit (avant toute révision par l'auteur) en se basant sur les dates limites de soumission et l'historique des révisions. Cela assure que le texte analysé correspond exactement à celui évalué par les réviseurs.
• Prétraitement : Conversion des PDF en formats LaTeX et Markdown (via l'outil Doc2X) pour une meilleure lisibilité des formules mathématiques.

B. Re2-Rebuttal (Tâches conversationnelles)

• Contenu : 14 830 soumissions initiales associées à 53 818 échanges de rébuttal et de discussion.
• Paradigme Multi-tours : Les données brutes d'OpenReview (souvent fragmentées en plusieurs messages courts ou "reminders") sont restructurées en conversations cohérentes.
  • Fusion des réponses : Les réponses consécutives d'un même rôle (auteur ou réviseur) sont concaténées en un seul tour de parole.
  • Gestion des réponses globales : Les réponses globales (Global Responses) adressées à plusieurs réviseurs sont intégrées au dialogue comme contexte de référence plutôt que comme des réponses directes, pour préserver la logique de la conversation.
  • Nettoyage : Suppression des messages de rappel ou d'urgence qui n'apportent pas de contenu sémantique pertinent.

3. Contributions Clés

1. Le plus grand dataset cohérent : Re2 est le plus grand jeu de données réel garantissant que le contenu du papier correspond à la version initiale soumise, éliminant le bruit introduit par les révisions.
2. Couverture complète du cycle de vie : Il inclut toutes les étapes : soumission initiale, commentaires, scores (globaux et par aspect), rébuttal, discussion, changements de scores, méta-revues et décisions finales.
3. Paradigme conversationnel dynamique : Pour la première fois, les données de rébuttal sont formatées comme des conversations multi-tours structurées, permettant l'entraînement d'assistants LLM interactifs capables de dialoguer avec les auteurs.
4. Analyse statistique et benchmarks : Le dataset est accompagné d'une analyse détaillée (distribution des longueurs, scores, sujets) et de résultats d'évaluation sur quatre tâches.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles (LLaMA-3.1-8B, Qwen2.5-7B) et des modèles de base spécialisés sur quatre tâches :

• Prédiction d'acceptation et de score :
  • Les modèles LLM (LLaMA, Qwen) en mode zero-shot tendent à accepter tous les papiers (biais de complaisance).
  • Après fine-tuning sur Re2, les performances s'améliorent considérablement (réduction du MAE et MSE pour les scores, amélioration du F1-score pour l'acceptation), démontrant que le dataset permet aux modèles de mieux capturer les critères humains.
• Génération de revues :
  • Les modèles fine-tunés surpassent largement leurs versions zero-shot et les modèles de base (comme DeepReviewer) sur les métriques de similarité lexicale (BLEU, ROUGE) et sémantique (BERTScore, EmbedCos).
  • Cela indique que Re2 aide les modèles à adopter le style et la structure des revues académiques réelles.
• Conversation de Rébuttal-Discussion :
  • Sur les métriques de similarité et les évaluations par un juge LLM (LLM-as-a-Judge) sur 5 dimensions (qualité, constructivité, précision, complétude, clarté), les modèles fine-tunés sur Re2 obtiennent les meilleurs résultats.
  • Cela prouve la capacité du dataset à entraîner des agents capables de gérer des dialogues complexes et contextuels entre auteurs et réviseurs.

5. Signification et Impact

Le dataset Re2 représente une avancée majeure pour la recherche sur l'automatisation de la révision scientifique :

• Fiabilité : En garantissant la cohérence entre le manuscrit et les commentaires, il fournit une base d'entraînement robuste pour des modèles de haute fidélité.
• Évolution des tâches : Il fait passer la recherche de la génération statique de texte vers des assistants conversationnels interactifs, capables de simuler le processus complet de révision, y compris la négociation et l'argumentation.
• Réduction de la charge de travail : À long terme, ces outils peuvent aider les auteurs à auto-évaluer et améliorer leurs manuscrits avant soumission, réduisant ainsi le nombre de soumissions de mauvaise qualité et allégeant la charge des réviseurs humains.

Limites mentionnées : L'étude actuelle se concentre sur le contenu textuel et tabulaire, excluant les éléments visuels (figures, graphiques), bien que le dataset les contienne. L'intégration future de modèles vision-langage est envisagée.