What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience

Technische Samenvatting: Wat doen GLLM's met wetenschappelijke communicatie?

Probleemstelling
De snelle integratie van Large Language Models (LLM's) in wetenschappelijk schrijven roept kritische vragen op over de evolutie van schrijfgewoonten en hun daaropvolgende impact op de leeservaring. Waar eerder onderzoek zich richtte op het onderscheiden van volledig door mensen geschreven tekst van volledig door AI gegenereerde tekst, vereenvoudigt deze binaire onderscheiding de realiteit van wetenschappelijke communicatie, waarin LLM's voornamelijk worden gebruikt om door mensen geschreven concepten te verfijnen, te polijsten of te verbeteren. Bovendien ontbreekt het in bestaande studies vaak aan systematische meting van hoe deze stijlveranderingen de subjectieve perceptie van menselijke lezers beïnvloeden op het gebied van helderheid, betrouwbaarheid en betrokkenheid. Dit artikel adresseert het gat in het begrip van de genuanceerde, collaboratieve aard van mens-LLM-schrijven en zijn meetbare effecten op de linguïstische stijl en leeservaring binnen het domein van Natural Language Processing (NLP).

Methodologie
Het onderzoek maakt gebruik van een tweeledige data-aanpak om zowel naturalistische trends als gecontroleerde stijlvariaties te vangen:

1. Naturalistisch Corpus (ACL Anthology): De auteurs hebben het ACL-OCL-corpus bijgewerkt tot 99,2k papers, waarbij twee distincte tijdsperiodes worden gedefinieerd: $t_1$ (jan 2020–dec 2022, pre-ChatGPT) en $t_2$ (jul 2023–dec 2024, post-ChatGPT). Dit subcorpus bevat meer dan 37.000 papers. De auteurs hebben vergelijkbaarheid van onderwerpen gewaarborgd via BERTopic-analyse, waarmee werd bevestigd dat hoewel specifieke onderzoekstrends verschoven (bijvoorbeeld naar LLM's), de algemene verdeling van onderwerpen breed vergelijkbaar bleef.
2. Synthetische Dataset (LLM-ondersteunde parafrases): Om de effecten van LLM-interventie te isoleren, hebben de auteurs 3.000 alinea's uit $t_1$-papers geselecteerd en LLM-verbeterde versies gegenereerd met GPT-3.5-turbo, gebruikmakend van 10 distincte prompts die veelvoorkomende taken voor verfijning van wetenschappelijk schrijven weerspiegelen (bijvoorbeeld "verbeter coherentie", "polijst grammatica"). Dit resulteerde in 6.000 gepaarde alinea's (mens versus door LLM gemodificeerd).

Analyseframework
Het onderzoek adresseert drie onderzoeksvragen (RQ's) via een meerlagige analyse:

• RQ1 (Lexicale Keuzes): De auteurs voerden diachrone lexicaal analyses uit waarbij $t_1$ en $t_2$ met elkaar werden vergeleken. Dit omvatte:
  • Frequentieanalyse: Berekening van log-likelihood-scores om woorden te identificeren met significante veranderingen in gebruiksfrequentie.
  • Type-niveau Embeddings: Training van Word2Vec-modellen om "buurtdichtheid" te meten (semantische specialisatie versus generalisatie).
  • Token-niveau Embeddings: Gebruik van ModernBERT om contextuele gebruiken van specifieke doelwoorden te clusteren, waardoor verschuivingen in de verdeling van semantische betekenissen werden geïdentificeerd.
• RQ2 (Stijlkenmerken): Een logistische regressiemodel met elastic net-regulering werd toegepast op 145 linguïstische kenmerken (geëxtraheerd via elfen en LFTK) die oppervlakte-, syntactische, psycholinguïstische en sentimentdimensies bestrijken. Stabiliteitsselectie werd gebruikt om robuuste voorspellers te identificeren die $t_1$ onderscheiden van $t_2$ en menselijke tekst van door LLM gemodificeerde tekst.
• RQ3 (Leeservaring): Een pilot-annotatiestudie werd uitgevoerd met 20 NLP-domeinexperts. Deelnemers voerden paarwijze vergelijkingen uit tussen door mensen geschreven tekst en door LLM verbeterde tekst, en beoordeelden deze op vier dimensies: Helderheid, Authenticiteit, Betrouwbaarheid en Opwinding, gebruikmakend van een 4-punts Likert-schaal.

Belangrijkste Resultaten

• Lexicale Verschuivingen: Er werden significante veranderingen waargenomen in woordfrequentie en gebruikskontexten.
  • Specialisatie versus Generalisatie: Sommige termen (bijvoorbeeld ensure) vertoonden een toegenomen buurtdichtheid, wat wijst op semantische specialisatie (verfijning tot specifieke transitieve contexten zoals "garanderen van kwaliteit"). Anderen (bijvoorbeeld utilize) vertoonden een afgenomen dichtheid, wat wijst op semantische generalisatie (verbreding tot de betekenis "gebruik maken van").
  • Stijlvervanging: Algemene taaluitdrukkingen (bijvoorbeeld use, good) namen af ten gunste van formelere of gespecialiseerdere termen (bijvoorbeeld utilize, comprehensive). Deze trend was consistent in zowel het naturalistische corpus als de synthetische LLM-dataset, wat suggereert dat LLM's deze stijlveranderingen aandrijven.
• Stijlkenmerken van door LLM gemodificeerde tekst: Regressieanalyse onthulde dat door LLM gemodificeerde teksten worden gekenmerkt door:
  • Complexiteit: Langere woorden, een hogere gemiddelde leeftijd van verwerving en complexere syntactische constructies (bijvoorbeeld bijwoordelijke bijzinnen, ontkenningen).
  • Dichtheid: Lagere lexicaal diversiteit (Simpson's D) en verminderde variabiliteit in werkwoorden, maar wel een hogere semantische dichtheid (minder stopwoorden).
  • Structuur: Een voorkeur voor eigennamen en specifieke leestekenspatronen (meer komma's/streepjes, minder haakjes).
  • Sentiment: Toegenomen gebruik van sensorimotorische woorden (bijvoorbeeld enhance, highlight) en woede-gerelateerde woorden, hoewel woorden gerelateerd aan vertrouwen in sommige contexten minder frequent waren.
• Leeservaring: De annotatiestudie onthulde een subjectieve voorkeur voor door LLM verbeterde teksten:
  • Positieve Beoordelingen: Experts beoordeelden door LLM gemodificeerde teksten significant hoger op Helderheid en Opwinding.
  • Gemengde/Negatieve Beoordelingen: Hoewel Betrouwbaarheid en Authenticiteit kleinere effectgroottes vertoonden, gaf een opmerkelijk deel van de beoordelaars de oorspronkelijke menselijke teksten de voorkeur voor deze dimensies.
  • Subjectiviteit: Kwalitatieve feedback gaf aan dat experts de taak uitdagend vonden en over het algemeen negatieve attitudes koesterden tegenover LLM-schrijven, ondanks de positieve kwantitatieve beoordelingen voor helderheid. Dit benadrukt een disconnectie tussen waargenomen leesbaarheid en vertrouwen/authenticiteit.

Betekenis en Bijdragen
Het artikel claimt vier primaire bijdragen:

1. Empirisch Bewijs van Stijlverschuiving: Het toont aan dat post-ChatGPT wetenschappelijke papers distincte lexicaal en stijlpatronen vertonen (bijvoorbeeld lagere lexicaal diversiteit, hogere woordcomplexiteit) die toe te schrijven zijn aan LLM-gebruik, gevalideerd door het vergelijken van naturalistische data met gecontroleerde synthetische experimenten.
2. Link naar Leeservaring: Het legt een verband tussen deze objectieve stijlveranderingen en subjectieve leeservaringen, waarbij wordt gevonden dat door LLM verbeterde teksten worden waargenomen als helderder en opwindender, hoewel niet noodzakelijkerwijs authentieker of betrouwbaarder.
3. Publicatie van Middelen: De auteurs publiceren een bijgewerkt ACL-OCL-corpus (99,3k papers) met een script voor toekomstige invoer, en een nieuwe dataset van 3.000 mens-LLM tekstparen met expertannotaties voor 200 paren.
4. Methodologisch Framework: Het onderzoek biedt een uitgebreid framework voor het analyseren van door mens en LLM co-geschreven tekst, waarbij het verder gaat dan binaire detectie om de specifieke linguïstische vingerafdrukken van door AI ondersteund schrijven en hun impact op de wetenschappelijke gemeenschap te karakteriseren.

De auteurs concluderen dat hoewel LLM's lijken bij te dragen aan de waargenomen helderheid en betrokkenheid van wetenschappelijke teksten, ze tegelijkertijd een meer homogene en complexe schrijfstijl introduceren, waarvan de langetermijnimplicaties verder onderzoek vereisen.