💬 NLP

Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision

Dit artikel introduceert Re3, een holistisch framework en de bijbehorende Re3-Sci dataset van geannoteerde revisies, reviews en bewerkingssamenvattingen van wetenschappelijke artikelen, om het modelleren van collaboratieve documentrevisie mogelijk te maken en om de capaciteiten van grote taalmodellen te evalueren in het automatiseren van bewerkingsanalyse en het faciliteren van tekstgebaseerde samenwerking.

Oorspronkelijke auteurs: Qian Ruan, Ilia Kuznetsov, Iryna Gurevych

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qian Ruan, Ilia Kuznetsov, Iryna Gurevych

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een groep vrienden kijkt die proberen samen een verhaal te schrijven. De een schrijft een paragraaf, de ander leest het en zegt: "Dit deel is verwarrend, en dat feit klopt niet." De eerste persoon herschrijft vervolgens de paragraaf, en een derde persoon schrijft een notitie waarin wordt uitgelegd waarom die wijzigingen zijn doorgevoerd.

Dit artikel, getiteld Re3, gaat over het bouwen van een kaart om precies te begrijpen hoe dit rommelige, heen-en-weer proces werkt. De auteurs realiseerden zich dat hoewel computers goed worden in het lezen van tekst, ze verschrikkelijk zijn in het begrijpen van de conversatie achter de wijzigingen. Ze wilden een systeem creëren dat drie dingen met elkaar verbindt:

De Review: De feedback (bijv. "Verbeter deze grammatica").
De Revisie: De daadwerkelijke wijzigingen in de tekst.
De Respons: De uitleg van de auteur over wat hij of zij heeft gedaan.

Het Probleem: Het Grote Plaatje Missen

Vóór dit artikel bestudeerden onderzoekers deze onderdelen afzonderlijk. Ze keken naar hoe zinnen veranderen, of hoe reviews worden geschreven, maar ze hadden geen manier om het hele plaatje in één keer te zien. Het is alsof je een film probeert te begrijpen door alleen de trailers, het script en de regienotities apart te bekijken, zonder ooit de film zelf te zien.

De auteurs stellen dat je, om echt te begrijpen hoe mensen samenwerken, het volledige document moet zien en hoe elke individuele wijziging in het grotere verhaal past.

De Oplossing: Re3 en de "Re3-Sci" Dataset

Om dit op te lossen, creëerde het team Re3, een nieuw framework (een set regels en categorieën) voor het analyseren van deze documenten. Vervolgens bouwden ze een enorme dataset genaamd Re3-Sci om dit te testen.

Beschouw Re3-Sci als een gigantische, georganiseerde bibliotheek van 314 wetenschappelijke artikelen die het peer-reviewproces hebben doorlopen. Voor elk artikel hebben ze:

Het oorspronkelijke concept.
De definitieve versie.
De opmerkingen van de reviewers.
De antwoorden van de auteurs.

Maar ze hebben de bestanden niet alleen verzameld; ze handelden als superdetectives. Ze hebben handmatig 11.600 specifieke wijzigingen (edits) in deze artikelen gelabeld. Voor elke wijziging vroegen ze zich af:

Wat hebben ze gedaan? (Hebben ze een zin toegevoegd? Een paragraaf verwijderd? Twee ideeën samengevoegd?)
Waarom hebben ze het gedaan? (Was het om een typefout te herstellen? Om een nieuw feit toe te voegen? Om een wetenschappelijke bewering te veranderen?)
Waar gebeurde het? (Was het een kleine woordwijziging of een volledige herschrijving van een sectie?)

Wat Ze Ontdekten (De "Menselijke" Inzichten)

Door naar al deze data te kijken, vonden de auteurs enkele interessante patronen in hoe mensen bewerken:

Het "Bookends"-effect: Mensen doen de meeste bewerkingen aan het begin (Inleiding) en aan het eind (Conclusie) van een artikel. Het midden is meestal stabieler.
Feit versus Flow: In het begin van het proces passen mensen vooral de grammatica en de helderheid aan (zorgen dat zinnen beter stromen). Later richten ze zich meer op het veranderen van feiten en wetenschappelijke claims.
Reviewers zijn Specifiek: Wanneer een reviewer een specifieke, duidelijke instructie geeft (bijv. "Voeg hier een citatie toe"), volgen auteurs die meestal op. Maar als de reviewer alleen zegt "Deze sectie is zwak", zijn auteurs minder geneigd om een specifieke wijziging aan te brengen.
Niet Alles Verandert: Zelfs in artikelen die "grondig zijn herzien", blijft het grootste deel van de tekst hetzelfde. Slechts ongeveer 18% van de zinnen wordt daadwerkelijk gewijzigd, en nog minder worden gewijzigd om diepe wetenschappelijke redenen.

Kunnen Computers Dit? (Het AI-Experiment)

De auteurs vroegen ook: "Kan moderne AI (Large Language Models) dit proces begrijpen?"

Ze testten de AI op vier taken:

De Intentie Raden: Kan de AI naar een wijziging kijken en raden of deze was voor grammatica of voor een nieuw feit?
- Resultaat: De AI had het ongeveer 70% bij het rechte eind. Het is best goed, maar het heeft nog steeds moeite om het verschil te zien tussen een "feit"-wijziging en een "claim"-wijziging.
Wijzigingen Samenvatten: Kan de AI alle wijzigingen lezen en een korte samenvatting schrijven voor de auteur om naar de reviewers te sturen?
- Resultaat: De AI kon een samenvatting schrijven, maar miste soms details of kreeg de feiten er net naast. De AI had de neiging om wijzigingen te groeperen op basis van "wat er is gedaan" (bijv. "We hebben 5 dingen verwijderd") in plaats van "waar het gebeurde" (bijv. "In de Inleiding hebben we... veranderd").
Reviews Koppelen aan Wijzigingen: Kan de AI een opmerking van een reviewer koppelen aan de specifieke zin die de auteur heeft gewijzigd?
- Resultaat: De AI was hier erg goed in, bijna perfect.
Reviewverzoeken Opsporen: Kan de AI ontdekken welke zinnen in een review eigenlijk instructies zijn voor de auteur?
- Resultaat: De AI was erg goed in het opsporen van deze instructies.

De Kernboodschap

Dit artikel beweert niet dat AI klaar is om menselijke redacteurs te vervangen of dat het wetenschappelijke artikelen voor ons kan schrijven. In plaats daarvan biedt het de eerste complete kaart van hoe collaboratief schrijven daadwerkelijk plaatsvindt.

Ze hebben de tools, de data en de regels gebouwd om computers te helpen de "taal" van samenwerking te leren. Het is alsof je een computer een woordenboek en een grammaticaboek geeft voor de complexe dans van schrijven, beoordelen en herzien, zodat AI in de toekomst echt kan helpen om mensen beter samen te laten werken, in plaats van alleen maar te gokken wat ze aan het doen zijn.

Technische Samenvatting: Re3: Een Holistisch Framework en Dataset voor het Modelleren van Collaboratieve Documentrevisie

Probleemstelling

Collaboratieve beoordeling en revisie van tekstuele documenten staan centraal in kenniswerk en omvat iteratieve cycli van conceptvorming, feedback (beoordelingen), uitvoering van revisies en reacties van de auteur. Ondanks het potentieel van Natural Language Processing (NLP) om dit domein te ondersteunen, ontbreeft een holistisch framework dat in staat is de complexe relaties tussen beoordelingen (reviews), revisies en reacties van de auteur (responses) te modelleren.

Eerdere NLP-onderzoeken hebben zich grotendeels gericht op geïsoleerde componenten: relaties tussen originele en gereviseerde documenten, beoordelingen en originele documenten, of beoordelingen en reacties. Bestaande datasets verwaarlozen vaak de bredere documentcontext, waarbij de focus ligt op zinsniveau-bewerkingen, of falen om de onderliggende intentie van revisies vast te leggen. Bovendien is er een tekort aan methodologieën en datasets voor "full-scope" modellering, wat bewerkingen over verschillende granulariteitsniveaus omvat (van subzinnen tot secties) en kwalitatieve labels bevat voor zowel de actie (hoe) als de intentie (waarom) van de revisie. Deze beperking belemmert de ontwikkeling van NLP-applicaties die effectief edit-analyse kunnen automatiseren of tekstgebaseerde samenwerking kunnen faciliteren.

Methodologie

Het Re3-framework

De auteurs introduceren Re3, een holistisch framework dat de review-revisie-respons procedure conceptualiseert als een reeks interacties tussen vier typen documenten: het originele document ( $D_t$ ), het gereviseerde document ( $D_{t+1}$ ), de beoordeling ( $C$ ) en de reactie van de auteur ( $A$ ).

Grafische Representatie: Documenten worden gerepresenteerd als grafen die structuur en granulariteit behouden. Tekstelementen variëren van subzinnen tot secties. Cross-document relaties (bijv. een verzoek tot revisie dat een specifieke bewerking uitlokt) worden behandeld als randen (edges) tussen deze documentgrafen.
Edit Alignment: Het framework koppelt elementen van de nieuwe en oude versies ( $e_{ij}$ $e_{ij}$ ) en associeert elke uitlijning met een Edit Label ( $EL_{ij}$ $E L_{ij}$ ) bestaande uit drie dimensies:
1. Granulariteit: De reikwijdte van het tekstelement (subzin, zin, paragraaf, sectie).
2. Actie: De methode van revisie (Toevoegen, Verwijderen, Wijzigen, Samenvoegen, Splitsen, Fusie).
3. Intentie: Het onderliggende doel (Grammatica, Helderheid, Feit/Bewijs, Claim, Overig).

Dataset Constructie: Re3-Sci

Om dit framework te instantiëren, hebben de auteurs Re3-Sci gecreëerd, een grootschalige, door mensen geannoteerde corpus in het wetenschappelijke domein.

Databron: 314 documentparen (gereviseerde wetenschappelijke artikelen) en de bijbehorende peer reviews werden willekeurig geselecteerd uit de F1000RD en NLPeer datasets.
Annotatieproces:
- Pre-alignment: Een lichtgewicht algoritme dat gebruikmaakt van vorm en semantische gelijkenis (Levenshtein, fuzzy matching, SBERT) identificeert vooraf kandidaten voor zinsuitlijning, waarbij een nauwkeurigheid van 0,95 wordt bereikt vóór menselijke validatie.
- Omgeving: Een cross-document annotatie-omgeving werd gebouwd met behulp van INCEpTION om annotatoren de volledige documentcontext te laten zien, wat cruciaal is voor nauwkeurige intentie-labeling.
- Annotatoren: Zes masterstudenten met een Engels taalniveau van C1 voerden de annotatie uit.
- Kwaliteitscontrole: Een iteratief kwaliteitsbeheersingsproces bestaande uit training, pilotstudies en tussenliggende vergaderingen verbeterde de Inter-Annotator Agreement (IAA).
Statistieken: De dataset bevat 11.648 zinsniveau-bewerkingen, 5.064 paragraafniveau-bewerkingen en 2.008 sectieniveau-bewerkingen. Het bevat ook 560 geëxtraheerde reviewverzoeken en 1.364 koppelingen tussen revisies en samenvattingen van auteurreacties.
Betrouwbaarheid: De dataset bereikte een substantiële IAA van 0,78 (Krippendorff's $\alpha$ ) voor het labelen en een perfecte IAA van 1,0 voor de uitlijning (alignment).

Experimentele Evaluatie

De auteurs gebruikten Re3-Sci om de capaciteiten van state-of-the-art Large Language Models (LLMs), specifiek Llama2-70B en GPT-4, te beoordelen op vier taken:

Edit Intent Classificatie: Het voorspellen van het intentie-label voor een zinsbewerking.
Document Edit Summarization: Het genereren van een coherente samenvatting van alle bewerkingen in een document.
Revision Alignment: Bepalen of twee zinnen uit verschillende versies een revisiepaar vormen.
Review Request Extractie: Het identificeren van review-zinnen die revisies aansturen.

De experimenten maakten gebruik van In-Context Learning (ICL) met diverse methoden voor demonstratie-selectie (dynamisch versus statisch) en Chain-of-Thought (CoT) prompting strategieën.

Belangrijkste Resultaten

Inzichten uit Dataset Analyse

Analyse van Re3-Sci onthulde verschillende patronen in menselijke collaboratieve revisie:

Correlatie tussen Actie/Intentie: Toevoegingen en verwijderingen worden primair gedreven door veranderingen in feitelijke inhoud of claims, terwijl wijzigingen (modifications) voornamelijk worden gebruikt voor verbeteringen in grammatica en helderheid.
Distributie: Revisies zijn geconcentreerd in de begin- en laatste delen van papers. Het begin ziet meer wijzigingen, terwijl het einde meer toevoegingen/verwijderingen ziet.
Clustering: Bewerkingen zijn niet gelijkmatig verdeeld; ze clusteren significant binnen specifieke paragrafen (gemiddelde Crest Factor van 3,79).
Impact van Review: Expliciete suggesties van reviewers worden vaker geïmplementeerd (meer dan 50%) dan impliciete suggesties of algemene kritiek op zwaktes.

Prestaties van LLM's

Edit Intent Classificatie: Llama2-70B behaalde een macro-gemiddelde F1-score van 0,69 op de volledige testset. De beste prestatie werd behaald met een combinatie van dynamische demonstraties (geselecteerd via verschil-gebaseerde gelijkenis) en statische voorbeelden met CoT-ratio. Het model had moeite met het onderscheiden tussen "Feit/Bewijs" en "Claim" wijzigingen.
Revision Alignment: Llama2-70B behaalde 0,97 nauwkeurigheid, wat de pre-alignment algoritme aanzienlijk verbeterde qua recall voor alignment (0,92 vs. 0,99) en precisie voor non-alignment (0,89 vs. 0,99).
Document Edit Summarization: GPT-4 genereerde coherente samenvattingen maar vertoonde problemen met feitelijkheid (4% van de zinnen bevatten feitelijke fouten) en volledigheid (het niet adresseren van 21% van de bewerkingen). Mensen presteerden beter dan GPT-4 op het gebied van feitelijkheid en specificiteit, terwijl GPT-4 iets compactere samenvattingen produceerde.
Review Request Extractie: Het model behaalde een hoge recall (0,98) voor positieve samples maar een lagere precisie (0,74), wat duidt op moeilijkheden bij het onderscheiden van actiegerichte verzoeken van algemene opmerkingen.

Betekenis en Bijdragen

Het artikel claimt vier primaire bijdragen:

Een Holistisch Framework: Re3 biedt het eerste formele framework voor het gezamenlijk modelleren van reviews, revisies en reacties, inclusief een label-taxonomie en een robuuste annotatiemethodologie.
Een Hoogwaardige Dataset: Re3-Sci is de eerste grootschalige corpus met full-scope annotaties van edit-alignments, acties en intenties over meerdere granulariteitsniveaus in academisch schrijven.
Empirische Inzichten: De studie biedt de eerste grootschalige analyse van menselijk bewerkingsgedrag in wetenschappelijke peer review, waarbij relaties tussen edit-acties, intenties en documentstructuur worden onthuld.
Automatisering Baselines: Het werk stelt baselines vast voor vier NLP-taken, waarbij wordt aangetoond dat hoewel LLM's veelbelovend zijn (met name in alignment en summarization), er nog steeds aanzienlijke uitdagingen zijn in het begrijpen van complexe edit-intenties en het waarborgen van de feitelijke nauwkeurigheid in gegenereerde samenvattingen.

De auteurs concluderen dat hun werk de weg vrijmaakt voor systematische, full-scope studie van tekstgebaseerde samenwerking in NLP, en een fundament biedt voor toekomstig onderzoek naar geautomatiseerde revisie-assistentie, edit-generatie en het verankeren van bewerkingen aan review-verzoeken. Zij merken expliciet beperkingen op, waaronder de focus op Engelstalige wetenschappelijke publicaties en het gebruik van door mensen gegenereerde samenvattingen in plaats van auteurreacties vanwege de beschikbaarheid van data.