Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

Technische Samenvatting: Mens–LLM-samenwerking transformeert complexiteitsmetrieken in wetenschappelijke teksten

Probleemstelling
Large Language Models (LLM's), met name sinds hun brede adoptie in het begin van 2023, worden integrale bijdragers aan het mens–AI-linguïstische ecosysteem. Hoewel LLM's zijn getraind op menselijke taal, roept hun integratie in de wetenschappelijke communicatie vragen op over hoe zij de emergente eigenschappen van taal veranderen. Er zijn concurrerende theoretische perspectieven: de ene suggereert dat LLM's de lexicale complexiteit kunnen verminderen door vereenvoudiging en het recyclen van trainingsdata (wat potentieel kan leiden tot "model collapse" als toekomstige modellen trainen op door AI gegenereerde outputs), terwijl een andere suggereert dat gemengde mens–AI-populaties nieuwe emergente dynamiek kunnen genereren door collectieve biases en feedbackloops. Het kernprobleem dat wordt geadresseerd is of de instroom van door LLM gegenereerde of door LLM herziene tekst in de wetenschappelijke literatuur (specifiek arXiv-abstracts) detecteerbare verschuivingen produceert in de statistische wetten die de lexicale complexiteit beheersen, zoals de wet van Zipf, de wet van Heaps en woordomloopsnelheden (word turnover rates).

Methodologie
De auteurs behandelen de snelle adoptie van generatieve AI-tools in 2023 als een "natuurlijk experiment". Zij analyseren een corpus van meer dan 2,7 miljoen arXiv-abstracts van januari 2010 tot september 2025, waarbij de focus ligt op eerste-versie (v1) inzendingen.

1. Constructie van de LLM-stijlindex: Om de aanwezigheid van LLM-invloed te kwantificeren, hebben de auteurs een samengestelde "LLM-geassocieerde stijlindex" geconstrueerd. Deze index aggregeert de gestandaardiseerde maandelijkse frequenties van specifieke stilistische markers die toenemen bij LLM-gebruik: het gebruik van streepjes (en-dashes, em-dashes, koppeltekens) en specifieke lexicale markers ("significant", "cruciaal", "showcase").
2. Complexiteitsmetrieken: De studie volgt drie primaire maten van de lexicale structuur:
   • Vocabulaire omvang: Het aantal unieke woordtypen.
   • Heaps' exponent ($b$): Beschrijft de relatie tussen de corpusgrootte en de groei van de vocabulaire ($V(N) = aN^b$).
   • Zipf's exponent ($\alpha$): Beschrijft de rang-frequentieverdeling van woorden ($P(r) \propto r^{-\alpha}$).
   • Top-$y$ omloop (Turnover): Het fractie van nieuwe woorden die de top-$y$ gerangschikte lijst van inhoudswoorden jaar-op-jaar betreden, dienend als een diagnostisch middel voor transmissiebias (conformiteit versus nieuwheid).
3. Statistische Analyse:
   • Benchmarking: Menselijke tekst werd vergeleken met door LLM gegenereerde tekst (GPT-3.5) met behulp van de HC3-corpus om baselines te vestigen.
   • Temporele Trends: Maandelijkse statistieken werden berekend voor de arXiv-corpus van 2014 tot 2025.
   • Regressiemodellering: Multivariate modellen werden ingezet om lexicale complexiteitsmetrieken te voorspellen met behulp van het publicatiejaar, de LLM-stijlindex, een post-2023 indicator en hun interactietermen. Deze aanpak isoleert het effect van de LLM-stijl van algemene seculaire trends.
   • Early Warning Signals (EWS): Rollende lag-1 autocorrelatie, scheefheid (skewness) en variantie werden geanalyseerd om kritieke vertraging (critical slowing down) of instabiliteit in de tijdreeks te detecteren.

Belangrijkste Resultaten

• Baseline Verschillen: In de HC3-corpus vertoonde door LLM gegenereerde tekst een iets lagere Heaps-exponent ($b=0,522$) en een iets hogere Zipf-exponent ($\alpha=1,741$) vergeleken met menselijke tekst ($b=0,539$, $\alpha=1,681$), wat wijst op marginaal lagere lexicale diversiteit en een hogere concentratie in de output van de LLM, hoewel de distributies vergelijkbaar blijven.
• Temporele Verschuivingen in arXiv:
  • Stijlindex: Een scherpe stijging in de LLM-geassocieerde stijlindex werd waargenomen vanaf 2023, samenvallend met de brede adoptie van tools zoals ChatGPT.
  • Lexicale Metrieken: Veranderingen in de exponenten van de wetten van Zipf en Heaps waren subtiel. Echter, de vocabulaire omvang en de Heaps-exponent vertoonden een licht versnelde groei post-2023.
  • Interactie-effecten: Cruciaal is dat de relatie tussen de LLM-stijlindex en de lexicale complexiteitsmetrieken veranderde na 2022. De positieve correlatie tussen de stijlindex en de vocabulaire omvang, de Heaps-exponent en de Zipf-exponent werd in de post-2023 periode vlakker. Regressiemodellen bevestigden dat de groei van de vocabulaire na 2023 de verwachte groei op basis van eerdere temporele trends alleen oversteeg, wat duidt op een duidelijke verschuiving in de dynamiek.
  • Omloop (Turnover): De meest significante structurele verandering was een scherpe toename in de omloop van top-gerangschikte woorden vanaf 2023. De schaling van de omloop tegen de lijstgrootte verschoof van licht concave-up ($b=1,15$) pre-2023 naar licht concave-down ($b=0,969$) post-2023, wat wijst op een hogere snelheid waarmee nieuwe woorden de toprangen betreden.
• EWS Diagnostiek: Standaard early warning signal diagnostics (autocorrelatie, variantie) vertoonden slechts bescheiden veranderingen, wat suggereert dat het systeem geen kritiek kantelpunt van instabiliteit heeft bereikt, ondanks de structurele verschuivingen in de omloop.

Betekenis en Claims
Het artikel claimt dat de integratie van LLM's in het wetenschappelijk schrijven de emergente eigenschappen van het linguïstische ecosysteem verandert op manieren die subtiel maar meetbaar zijn. In tegenstelling tot hypothesen dat LLM's de lexicale diversiteit uniform zouden verminderen, vinden de auteurs dat de huidige bijdragen van LLM's geassocieerd worden met een toegenomen vocabulaire rijkdom en een versnelde omloop van hoogfrequente termen.

Het afvlakken van de relatie tussen de LLM-stijl en de complexiteitsmetrieken suggereert dat de dynamiek van een gemengde mens–AI populatie onderscheidend is van zuivere menselijke of zuivere AI-generatie. De toegenomen omloop impliceert een verschuiving in de "transmissiebias" van het systeem, wat potentieel meer nieuwheid injecteert of de conformiteitsdynamiek van het wetenschappelijke discours verandert.

De auteurs concluderen dat deze verschuivingen wijzen op een mogelijke spanning tussen korte termijn efficiëntie en lange termijn informatieve diversiteit. Zij waarschuwen dat als de diversiteit in menselijk gegenereerde en hybride taal in de loop van de tijd afneemt, dit de robuustheid van toekomstige AI-systemen die op dergelijke data getraind zijn, zou kunnen beïnvloeden. De studie frameert LLM's niet louter als tools, maar als een nieuw feedbackmechanisme in de culturele evolutie, vergelijkbaar in consequentie met de opkomst van het schrift of markten, wat voortdurende monitoring vereist van hoe mens–AI-samenwerking de complexiteit van wetenschappelijke kennis vormgeeft.