Technische Samenvatting: SCHOLAWRITE: Een Dataset van het End-to-End Wetenschappelijke Schrijfproces

Probleem

Wetenschappelijk schrijven is een cognitief veeleisend, niet-lineair proces dat wordt gekenmerkt door recursieve cycli van planning, conceptie en revisie. Ondanks de integratie van Large Language Models (LLM's) in onderzoeksworkflows, werken huidige schrijfassistenten grotendeels autoregressief, waarbij ze tekst lineair genereren zonder begrip van de onderliggende cognitieve verschuivingen van de schrijver. Bestaande datasets leggen meestal alleen de definitieve manuscriptversies of kortetermijn-revisielogs vast, waardoor ze niet in staat zijn de longitudinale, intentie-gestuurde aard van wetenschappelijk schrijven te representeren. Bijgevolg is er een gebrek aan empirische data om te modelleren hoe menselijke wetenschappers daadwerkelijk schrijven, wat de ontwikkeling van AI-assistenten beperkt die echt kunnen aansluiten bij en ondersteuning kunnen bieden aan het menselijke cognitieve schrijfproces.

Methodologie

Om dit gat te dichten, presenteren de auteurs SCHOLAWRITE, de eerste dataset die het end-to-end wetenschappelijke schrijfproces vastlegt, van initiële concepten tot definitieve manuscripten.

Datacollectie

• Deelnemers: Tien promovendi in computerwetenschappen aan een Amerikaanse R1-universiteit.
• Duur: Vier maanden (november 2023 – februari 2024).
• Tooling: Er is een aangepaste Chrome-extensie ontwikkeld om onopvallend realtime toetsaanslagen vanuit de Overleaf LaTeX-editor vast te leggen. Het systeem legt elke toetsaanslag vast, vergelijkt tekstversies met behulp van een diff-algoritme en logt metadata (tijdstempel, bestandsnaam, auteur-ID), terwijl niet-geautoriseerde projecten worden gefilterd om de privacy te waarborgen.
• Omvang: De dataset beslaat vijf Overleaf-projecten die resulteren in arXiv-preprints, met ongeveer 62.000 op toetsaanslagen gebaseerde schrijfacties en meer dan 118.000 toegevoegde of verwijderde woorden.

Annotatie en Taxonomie

• Proces: Twee annotatoren (promovendi met expertise in NLP) hebben de toetsaanslagdata beoordeeld met behulp van een gespecialiseerde interactieve interface. Zij pasten een cognitieve taxonomie toe die geworteld is in de schrijfproces-theorie (Flower & Hayes, 1981) en eerdere empirische studies.
• Taxonomie: Er is een taxonomie van 15 categorieën voor schrijfintenties ontwikkeld, gegroepeerd in drie hooggelegen categorieën:
  1. Planning: Idee-generatie, Idee-organisatie, Sectieplanning.
  2. Implementatie: Tekstproductie, Object-insertie, Citatie-integratie, Kruisverwijzing, Macro-insertie.
  3. Revisie: Vloeiendheid, Coherentie, Helderheid, Structureel, Linguïstische stijl, Wetenschappelijke nauwkeurigheid, Visuele formattering.
• Betrouwbaarheid: Het annotatieproces bereikte een gewogen F1-inter-annotatorovereenkomst van 0,71 op een subset van 1.000 toetsaanslagen.

Analyse en Evaluatie

De auteurs hebben SCHOLAWRITE voor drie primaire doeleinden gebruikt:

1. Gedragsanalyse: Het onderzoeken van de distributie, duur en transities van schrijfintenties om het niet-lineaire karakter van wetenschappelijk schrijven te karakteriseren.
2. Benchmarking: Het evalueren van state-of-the-art LLM's (GPT-5, Qwen2.5-14B) op taken van volgende-intentie-voorspelling en output-alignment.
3. Modeltraining: Het fine-tunen van modellen (BERT, RoBERTa, Llama-3.1-8B) op de dataset om de verbeteringen in de afstemming op menselijke schrijfworkflows te beoordelen.

Belangrijkste Bijdragen

1. De SCHOLAWRITE-dataset: Een publiek beschikbare, fijnmazige corpus die elke toetsaanslag koppelt aan een cognitieve schrijfintentie, de volledige levenscyclus van vijf wetenschappelijke manuscripten besleutend.
2. Empirische inzichten in schrijfgedrag:
   • Wetenschappelijk schrijven is zeer niet-lineair en multi-intentioneel; meer dan 57% van de schrijfsessies bevat drie of meer verschillende intenties.
   • Schrijven wordt gedomineerd door Tekstproductie (57,4%) en Revisie (specifiek Helderheid en Coherentie), terwijl Planning-activiteiten een kleiner deel van de tijd innemen maar vaak langere, meer gefocuste sessies omvatten.
   • Schrijfpatronen verschuiven door de fasen heen: vroege stadia richten zich op structuur en idee-generatie, terwijl latere stadia worden gedomineerd door revisie en formattering.
3. Benchmarking en Trainingsresultaten:
   • Beperkingen van huidige LLM's: Zero-shot modellen worstelen met het voorspellen van volgende intenties (gewogen F1 < 0,5) en falen in het handhaven van cognitief complexe revisies, met name bij Planning en Implementatie.
   • Impact van Fine-tuning: Modellen die zijn gefinetuned op SCHOLAWRITE (bijv. BERT, RoBERTa, Llama-8B) vertoonden significante verbeteringen in de voorspelling van de volgende intentie en output-alignment.
   • Iteratief Schrijven: Gefinetunede modellen namen meer menselijke iteratieve patronen aan, waarbij ze frequent afwisselden tussen Planning, Implementatie en Revisie, terwijl baseline-modellen de neiging hadden om in één enkele fase te blijven.

Resultaten

• Gedragsanalyse: De data onthult dat "snelle, iteratieve conceptie" en "langere, gefocuste planning/visuele compositie" complementaire cognitieve modi zijn. Transities tussen intenties zijn dicht en bidirectioneel, waarbij Revisie-intenties (Helderheid, Vloeiendheid, Coherentie) sterke recursieve lussen vormen.
• Voorspellingsprestaties: Gefinetunede BERT en RoBERTa bereikten gewogen F1-scores van 0,64 voor volgende-intentie-voorspelling, een substantiële verbetering ten opzichte van de basismodellen (0,04–0,12).
• Alignment: Gefinetunede Llama-8B modellen vertoonden een hogere semantische gelijkenis (BERTScore-F1) en operationele gelijkenis (Levenshtein-afstand) met menselijke bewerkingen vergeleken met zero-shot baselines.
• Iteratieve Generatie: In 100-iteratie zelfschrijftaken dekten gefinetunede modellen een breder scala aan schrijfintenties en produceerden ze meer lexicaal diverse en onderwerp-consistente outputs dan baselines, hoewel ze nog steeds achterliepen op het gebied van oppervlakkige vloeiendheid en logische coherentie.

Betekenis

Het artikel betoogt dat het vastleggen van de cognitieve dynamiek van het schrijven essentieel is voor het bouwen van schrijfassistenten die de menselijke cognitie ondersteunen in plaats van vervangen. SCHOLAWRITE biedt een fundamentele bron voor:

• Het bestuderen van de fijnmazige cognitieve patronen van wetenschappelijk schrijven.
• Het evalueren van de afstemming van LLM's met menselijke schrijfintenties en workflows.
• Het trainen van modellen die kunnen adapteren aan evoluerende, multi-intentie schrijfgedragingen.

De auteurs concluderen dat hoewel huidige modellen nog steeds uitdagingen kennen op het gebied van tekstkwaliteit, blootstelling aan procesmatige supervisie via SCHOLAWRITE modellen in staat stelt om het proces van menselijk wetenschappelijk schrijven beter te emuleren. Zij erkennen beperkingen, waaronder de focus van de dataset op het computerwetenschapsdomein (LaTeX), de kleine steekproefomvang vanwege privacyzorgen, en de uitsluiting van pre-writing ideatie buiten de editor, wat suggereert dat toekomstig werk zich naar bredere disciplines en multimodale samenwerking moet uitbreiden.