💬 NLP

Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision

Cet article présente Re3, un cadre holistique et le jeu de données Re3-Sci qui l'accompagne, composé de révisions de articles scientifiques, de critiques et de résumés de modifications annotés, afin de permettre la modélisation de la révision collaborative de documents et d'évaluer les capacités des grands modèles de langage à automatiser l'analyse de modifications et à faciliter la collaboration textuelle.

Auteurs originaux : Qian Ruan, Ilia Kuznetsov, Iryna Gurevych

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qian Ruan, Ilia Kuznetsov, Iryna Gurevych

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un groupe d'amis essayer d'écrire une histoire ensemble. Une personne rédige un paragraphe, une autre le lit et dit : « Cette partie est confuse, et ce fait est faux. » La première personne réécrit ensuite le paragraphe, et une troisième personne écrit une note expliquant pourquoi elle a fait ces changements.

Ce document, intitulé Re3, traite de la création d'une carte pour comprendre exactement comment ce processus complexe de va-et-vient fonctionne. Les auteurs ont réalisé que, bien que les ordinateurs deviennent doués pour lire du texte, ils sont très mauvais pour comprendre la conversation qui se cache derrière les modifications. Ils ont voulu créer un système qui connecte trois éléments :

La Revue : Le retour (ex. : « Corrige la grammaire »).
La Révision : Les changements réels apportés au texte.
La Réponse : L'explication de l'auteur sur ce qu'il a fait.

Le Problème : Manquer la Vue d'Ensemble

Avant ce document, les chercheurs étudiaient ces éléments séparément. Ils analysaient comment les phrases changeaient, ou comment les critiques étaient rédigées, mais ils n'avaient pas de moyen de voir l'image globale à la fois. C'est comme essayer de comprendre un film en ne regardant que les bandes-annales, le script et les notes du réalisateur séparément, sans jamais voir le film lui-même.

Les auteurs soutiennent que pour vraiment comprendre comment les humains collaborent, il faut voir le document entier et comment chaque changement s'insère dans l'histoire globale.

La Solution : Re3 et le jeu de données « Re3-Sci »

Pour remédier à cela, l'équipe a créé Re3, un nouveau cadre (un ensemble de règles et de catégories) pour analyser ces documents. Ils ont ensuite construit un immense jeu de données appelé Re3-Sci pour tester ce cadre.

Considérez Re3-Sci comme une immense bibliothèque organisée de 314 articles scientifiques ayant suivi le processus de révision par les pairs. Pour chaque article, ils possèdent :

Le brouillon original.
La version finale.
Les commentaires des réviseurs.
Les réponses des auteurs.

Mais ils ne se sont pas contentés de collecter les fichiers ; ils ont agi comme des super-détectives. Ils ont manuellement étiqueté 11 600 changements spécifiques (éditions) dans ces articles. Pour chaque changement, ils ont demandé :

Qu'ont-ils fait ? (Ont-ils ajouté une phrase ? Supprimé un paragraphe ? Fusionné deux idées ?)
Pourquoi l'ont-ils fait ? (Était-ce pour corriger une faute de frappe ? Pour ajouter un nouveau fait ? Pour changer une affirmation scientifique ?)
Où cela s'est-il produit ? (Était-ce un minuscule changement de mot ou une réécriture de section entière ?)

Ce qu'ils ont découvert (Les enseignements « Humains »)

En examinant toutes ces données, les auteurs ont trouvé des schémas intéressants sur la façon dont les humains éditent :

L'effet des « extrémités » : Les gens ont tendance à faire le plus d'éditions au tout début (Introduction) et à la toute fin (Conclusion) d'un article. Le milieu est généralement plus stable.
Fait vs Fluidité : Au début du processus, les gens corrigent principalement la grammaire et la clarté (pour que les phrases soient plus fluides). Plus tard, ils se concentrent davantage sur le changement des faits et des affirmations scientifiques.
Les réviseurs sont spécifiques : Lorsqu'un réviseur donne une instruction spécifique et claire (ex. : « Ajoutez une citation ici »), les auteurs la suivent généralement. Mais si le réviseur dit simplement « Cette section est faible », les auteurs sont moins susceptibles d'apporter un changement spécifique.
Tout ne change pas : Même dans les articles qui subissent des « révisions lourdes », la majeure partie du texte reste la même. Seules environ 18 % des phrases sont réellement modifiées, et encore moins sont modifiées pour des raisons scientifiques profondes.

Les ordinateurs peuvent-ils faire cela ? (L'expérience de l'IA)

Les auteurs ont également demandé : « Les modèles d'IA modernes (Grands Modèles de Langage) comprennent-ils ce processus ? »

Ils ont testé l'IA sur quatre tâches :

Deviner l'intention : L'IA peut-elle regarder un changement et deviner s'il s'agissait de grammaire ou d'un nouveau fait ?
- Résultat : L'IA a raison environ 70 % du temps. Elle est plutôt bonne, mais elle a encore du mal à faire la distinction entre un changement de « fait » et un changement d'« affirmation ».
Résumer les changements : L'IA peut-elle lire tous les changements et écrire un court résumé pour que l'auteur l'envoie aux réviseurs ?
- Résultat : L'IA pouvait écrire un résumé, mais elle omettait parfois des détails ou se trompait légèrement sur les faits. Elle avait tendance à regrouper les changements par « ce qui a été fait » (ex. : « Nous avons supprimé 5 choses ») plutôt que par « où cela s'est passé » (ex. : « Dans l'introduction, nous avons changé... »).
Associer les revues aux changements : L'IA peut-elle lier un commentaire de réviseur à la phrase spécifique que l'auteur a modifiée ?
- Résultat : L'IA était très bonne à cela, presque parfaite.
Identifier les demandes de révision : L'IA peut-elle repérer quelles phrases d'une revue sont réellement des instructions pour l'auteur ?
- Résultat : L'IA était très bonne pour repérer ces instructions.

L'essentiel

Ce document ne prétend pas que l'IA est prête à remplacer les éditeurs humains ou qu'elle peut écrire des articles scientifiques pour nous pour l'instant. Au lieu de cela, il fournit la première carte complète de la façon dont la rédaction collaborative se déroule réellement.

Ils ont construit les outils, les données et les règles pour aider les ordinateurs à apprendre le « langage » de la collaboration. C'est comme donner à un ordinateur un dictionnaire et un livre de grammaire pour la danse complexe de l'écriture, de la révision et de la réédition, afin qu'à l'avenir, l'IA puisse réellement aider les humains à mieux travailler ensemble, plutôt que de simplement deviner ce qu'ils font.

Résumé Technique : Re3 : Un cadre holistique et un ensemble de données pour la modélisation de la révision collaborative de documents

Énoncé du problème

La revue et la révision collaboratives de documents textuels sont centrales dans le travail de connaissance, impliquant des cycles itératifs de rédaction, de commentaires (revues), d'exécution de révisions et de réponses de l'auteur. Malgré le potentiel du Traitement du Langage Naturel (NLP) pour assister ce domaine, un cadre holistique capable de modéliser les relations complexes entre les revues, les révisions et les réponses de l'auteur fait défaut.

La recherche antérieure en NLP s'est largement concentrée sur des composants isolés : les relations entre les documents originaux et révisés, les revues et les documents originaux, ou les revues et les réponses. Les ensembles de données existants négligent souvent le contexte documentaire global, se concentrant plutôt sur les éditions au niveau de la phrase, ou ne parviennent pas à capturer l'intention sous-jacente des révisions. De plus, il existe une lacune dans les méthodologies et les ensembles de données pour une modélisation à « portée complète » (full-scope), qui englobe les éditions à différents niveaux de granularité (des sous-phrases aux sections) et inclut des étiquettes qualitatives pour l'action (le comment) et l'intention (le pourquoi) de la révision. Cette limitation entrave le développement d'applications de NLP capables d'automatiser efficacement l'analyse des éditions ou de faciliter la collaboration textuelle.

Méthodologie

Le cadre Re3

Les auteurs introduisent Re3, un cadre holistique qui conceptualise la procédure de revue-révision-réponse comme un ensemble d'interactions entre quatre types de documents : le document original ( $D_t$ ), le document révisé ( $D_{t+1}$ ), la revue ( $C$ ) et la réponse de l'auteur ( $A$ ).

Représentation par graphe : Les documents sont représentés sous forme de graphes préservant la structure et la granularité. Les éléments textuels vont de la sous-phrase à la section. Les relations inter-documents (par exemple, une demande de révision entraînant une édition spécifique) sont traitées comme des arêtes entre ces graphes de documents.
Alignement d'édition : Le cadre lie les éléments des nouvelles et anciennes versions ( $e_{ij}$ $e_{ij}$ ), associant chaque alignement à une Étiquette d'Édition ( $EL_{ij}$ $E L_{ij}$ ) comprenant trois dimensions :
1. Granularité : La portée de l'élément textuel (sous-phrase, phrase, paragraphe, section).
2. Action : La méthode de révision (Ajout, Suppression, Modification, Fusion, Division, Jonction).
3. Intention : Le but sous-jacent (Grammaire, Clarté, Fait/Preuve, Affirmation, Autre).

Construction de l'ensemble de données : Re3-Sci

Pour instancier ce cadre, les auteurs ont créé Re3-Sci, un corpus à grande échelle annoté par des humains dans le domaine scientifique.

Source de données : 314 paires de documents (articles scientifiques révisés) et leurs revues par les pairs correspondantes ont été sélectionnés aléatoirement à partir des ensembles de données F1000RD et NLPeer.
Processus d'annotation :
- Pré-alignement : Un algorithme léger utilisant la forme et la similitude sémantique (Levenshtein, correspondance floue, SBERT) pré-identifie les candidats d'alignement de phrases, atteignant une précision de 0,95 avant la validation humaine.
- Environnement : Un environnement d'annotation inter-documents a été construit à l'aide d'INCEpTION pour permettre aux annotateurs de visualiser le contexte documentaire complet, crucial pour l'étiquetage précis de l'intention.
- Annotateurs : Six étudiants de niveau master avec une maîtrise de l'anglais de niveau C1 ont effectué l'annotation.
- Contrôle qualité : Un processus de gestion de la qualité itératif impliquant des formations, des études pilotes et des réunions intermédiaires a amélioré l'accord inter-annotateurs (IAA).
Statistiques : L'ensemble de données contient 11 648 éditions au niveau de la phrase, 5 064 éditions au niveau du paragraphe et 2 008 éditions au niveau de la section. Il comprend également 560 demandes de révision extraites et 1 364 liens entre les révisions et les résumés de réponse des auteurs.
Fiabilité : L'ensemble de données a atteint un IAA substantiel de 0,78 (Krippendorff's $\alpha$ ) pour l'étiquetage et un IAA parfait de 1,0 pour l'alignement.

Évaluation expérimentale

Les auteurs ont utilisé Re3-Sci pour évaluer les capacités des modèles de langage de grande taille (LLM) de pointe, spécifiquement Llama2-70B et GPT-4, sur quatre tâches :

Classification de l'intention d'édition : Prédire l'étiquette d'intention pour une édition de phrase.
Résumé d'édition de document : Générer un résumé cohérent de toutes les éditions d'un document.
Alignement de révision : Déterminer si deux phrases de différentes versions constituent une paire de révision.
Extraction de demande de révision : Identifier les phrases de revue qui incitent à des révisions.

Les expériences ont utilisé l'apprentissage en contexte (ICL) avec diverses méthodes de sélection de démonstration (dynamique vs statique) et des stratégies de prompting par chaîne de pensée (CoT).

Résultats clés

Insights de l'analyse de l'ensemble de données

L'analyse de Re3-Sci a révélé plusieurs modèles dans la révision collaborative humaine :

Corrélation Action/Intention : Les ajouts et les suppressions sont principalement dictés par des changements de contenu factuel ou d'affirmations, tandis que les modifications sont principalement utilisées pour l'amélioration de la grammaire et de la clarté.
Distribution : Les révisions sont concentrées dans les parties initiales et finales des articles. Le début voit plus de modifications, tandis que la fin voit plus d'ajouts/suppressions.
Regroupement (Clustering) : Les éditions ne sont pas réparties uniformément ; elles se regroupent significativement au sein de paragraphes spécifiques (facteur de crête moyen de 3,79).
Impact de la revue : Les suggestions d'édition explicites des examinateurs sont mises en œuvre plus fréquemment (plus de 50 %) que les suggestions implicites ou les commentaires généraux sur les faiblesses.

Performance des LLM

Classification de l'intention d'édition : Llama2-70B a atteint un score F1 moyen macro de 0,69 sur l'ensemble du jeu de test. La meilleure performance a été obtenue en combinant des démonstrations dynamiques (sélectionnées via une similitude basée sur la différence) et des exemples statiques avec un raisonnement CoT. Le modèle a eu des difficultés à distinguer les changements de "Fait/Preuve" et d' "Affirmation".
Alignement de révision : Llama2-70B a atteint 0,97 de précision, améliorant considérablement le rappel de l'algorithme de pré-alignement pour l'alignement (0,92 vs 0,99) et la précision pour la non-alignement (0,89 vs 0,99).
Résumé d'édition de document : GPT-4 a généré des résumés cohérents mais a présenté des problèmes de facticité (4 % des phrases contenaient des erreurs factuelles) et de exhaustivité (ne traitant pas 21 % des éditions). Les humains ont surpassé GPT-4 en termes de facticité et de spécificité, tandis que GPT-4 produisait des résumés légèrement plus compacts.
Extraction de demande de révision : Le modèle a obtenu un rappel élevé (0,98) pour les échantillons positifs mais une précision plus faible (0,74), indiquant une difficulté à distinguer les demandes exploitables des commentaires généraux.

Signification et contributions

L'article revendique quatre contributions primaires :

Un cadre holistique : Re3 fournit le premier cadre formel pour modéliser conjointement les revues, les révisions et les réponses, avec une taxonomie d'étiquettes et une méthodologie d'annotation robuste.
Un ensemble de données de haute qualité : Re3-Sci est le premier corpus à grande échelle avec des annotations de portée complète des alignements d'éditions, des actions et des intentions à travers plusieurs niveaux de granularité dans l'écriture académique.
Insights empiriques : L'étude fournit la première analyse à grande échelle du comportement d'édition humain lors de la revue par les pairs, révélant les relations entre les actions d'édition, les intentions et la structure du document.
Baselines d'automatisation : Ce travail établit des bases de référence pour quatre tâches de NLP, démontant que bien que les LLM soient prometteurs (particulièrement pour l'alignement et le résumé), des défis importants subsistent pour comprendre les intentions d'édition complexes et garantir l'exactitude factuelle dans les résumés générés.

Les auteurs concluent que leur travail trace la voie pour une étude systématique et à portée complète de la collaboration textuelle en NLP, offrant une fondation pour de futures recherches sur l'assistance à la révision automatisée, la génération d'éditions et l'ancrage des éditions aux demandes de révision. Ils notent explicitement des limitations, incluant l'accent mis sur les publications scientifiques en langue anglaise et l'utilisation de résumés générés par des humains plutôt que des réponses d'auteurs en raison de la disponibilité des données.