Did LLMs colonize scientific titles? Fifty years of titular colonicity
Deze studie analyseert vijftig jaar aan wetenschappelijke titelgegevens om aan te tonen dat hoewel het gebruik van dubbelpunten een langdurige conventie is die in prevalentie toeneemt, grote taalmodellen titels genereren met significant hogere frequenties van dubbelpunten dan menselijke auteurs, een patroon dat prompt-gevoelig is en de prestaties van retrieval-ranking beïnvloedt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschappelijke artikelen worden vaak beoordeeld op hun titels, die korte zinnen die het zware werk moeten doen om een lezer te vertellen waar een studie over gaat voordat deze zelfs maar op een link klikt. Al decennia merken onderzoekers een specifiek patroon op in deze titels: het gebruik van een dubbele punt, dat kleine leesteken bestaande uit twee stippen. Een titel kan luiden als "Klimaatverandering: Een nieuw perspectief", waarbij de dubbele punt wordt gebruikt om een breed onderwerp te scheiden van een specifieke focus. Deze gewoonte, bekend in academische kringen als "titulaire coloniciteit", is sinds de jaren 1980 geobserveerd. Het is een standaardinstrument voor het organiseren van informatie, maar onlangs is er een nieuwe kracht de kamer binnengekomen: grote taalmodellen. Dit zijn kunstmatige intelligentiesystemen die zijn getraind op enorme hoeveelheden tekst en die nu samenvattingen kunnen schrijven, vragen kunnen beantwoorden en zelfs wetenschappelijke titels kunnen opstellen. Nu deze tools algemeen worden in het onderzoek, rijst een natuurlijke vraag: veranderen ze de manier waarop we schrijven? Specifiek, overgebruiken deze machines de dubbele punt, waardoor het misschien een kenmerk van hun output wordt, en helpt of schaadt dit leesteken eigenlijk wanneer een computer een artikel probeert te vinden in een database?
Om dit te beantwoorden, voerde een team van onderzoekers van Interactive Crafts in Polen een massaal onderzoek uit dat de vijftig jaar wetenschappelijke geschiedenis beslaat. Ze gokten niet alleen; ze bekeken bijna vijfentallen miljoen wetenschappelijke artikelen die tussen 1976 en 2025 zijn gepubliceerd, een collectie afkomstig uit een wereldwijde database genaamd OpenAlex. Hun eerste taak was het in kaart brengen van de geschiedenis van de dubbele punt. Ze ontdekten dat het gebruik ervan nooit een rechte lijn omhoog of omlaag was. In plaats daarvan heeft het decennialang gewogen, schommelend rond de 16 procent in de late jaren 1970, stijgend en dalend, en vervolgens weer klimmend in de recente jaren. In 2022 bevatte ongeveer 25 procent van de Engelstalige titels een dubbele punt. In 2024 was dat aantal gestegen naar bijna 29 procent, en een voorlopige blik op 2025 suggereerde dat het 34 procent zou kunnen bereiken. Hoewel deze recente stijging opvallend is, merkten de onderzoekers er voorzichtig bij op dat deze trend begon voordat kunstmatige intelligentie een dominant instrument voor het schrijven werd, wat betekent dat de toename deel uitmaakt van een langer, complex verhaal over hoe wetenschappers schrijven, en niet noodzakelijkerwijs een plotselinge verschuiving is veroorzaakt door machines.
Het team richtte vervolgens zijn aandacht op de machines zelf. Ze namen bijna 1.700 wetenschappelijke abstracts — samenvattingen van onderzoeksartikelen — en vroegen drie verschillende open-source taalmodellen om nieuwe titels voor hen te genereren. Ze gaven de modellen twee soorten instructies: de ene was neutraal, waarbij simpelweg om een titel werd gevraagd, en de andere vroeg de modellen om de specifieke conventies van het wetenschappelijke vakgebied te volgen, zoals biologie of techniek. De resultaten waren opmerkelijk. Wanneer de modellen titels schreven, gebruikten ze veel vaker dubbele punten dan menselijke auteurs in gepubliceerde artikelen. Voor het primaire geteste model bevatten 41 procent van de neutrale titels een dubbele punt, vergeleken met slechts 27 procent van de werkelijke gepubliceerde titels. Wanneer de modellen werden verteld om de veldconventies te volgen, steeg het percentage dubbele punten nog hoger, tot 60 procent. Dit suggereert dat hoewel mensen dubbele punten matig gebruiken, deze kunstmatige intelligentiesystemen een sterke neiging hebben om ze te overmatig te gebruiken, vooral wanneer ze worden geprompt om specifieke academische stijlen na te bootsen. De onderzoekers ontdekten ook dat de modellen inconsistent waren; soms produceerden ze een titel met een dubbele punt, en op andere momenten niet, zelfs wanneer ze naar hetzelfde abstract keken, wat aangeeft dat dit gedrag gevoelig is voor hoe de vraag wordt gesteld.
Ten slotte wilden de onderzoekers weten of deze interpunctie er eigenlijk toe deed wanneer een computer een artikel probeert te vinden. Ze zetten een gecontroleerd experiment op waarbij ze titels die een enkele dubbele punt hadden, vervingen door die dubbele punt te vervangen door een spatie, waarbij elk ander woord exact hetzelfde bleef. Ze vroegen vervolgens een zoeksysteem om het originele artikel te vinden met de gewijzigde titel. Verrassend genoeg maakte het verwijderen van de dubbele punt de zoekopdracht iets effectiever. Het systeem vond het juiste artikel vaker en plaatste het hoger in de lijst met resultaten wanneer de dubbele punt weg was. Dit betekent niet dat dubbele punten slecht zijn voor menselijke lezers, maar het laat wel zien dat voor de specifieke zoektechnologie die in deze test werd gebruikt, de dubbele punt een lichte hindernis vormde. De onderzoekers merkten op dat dit effect niet universeel was; voor veel titels maakte de verandering geen verschil, maar voor een aanzienlijk deel werkte de spatie beter dan de twee stippen.
De studie concludeert dat hoewel grote taalmodellen de wetenschappelijke titels inderdaad koloniseren met een frequentie die de menselijke normen overtreft, dit niet betekent dat zij de enige oorzaak zijn van de recente stijging in het gebruik van de dubbele punt. De trend begon voordat deze tools wijdverbreid werden toegepast, en de toename is waarschijnlijk een mix van veranderende menselijke gewoonten en machine-invloed. Bovendien is de aanwezigheid van een dubbele punt geen betrouwbare manier om een door een machine geschreven artikel te herkennen, aangezien mensen ze al decennia gebruiken. De echte les is dat interpunctie niet alleen een stilistische keuze is; het is een variabele die verandert hoe machines lezen en informatie ophalen. Naarmate kunstmatige intelligentie meer geïntegreerd wordt in het onderzoeksproces, wordt het begrijpen van deze kleine verschuivingen in taal essentieel, niet alleen om AI te herkennen, maar ook om ervoor te zorgen dat de kennis die we creëren nog steeds vindbaar is voor de systemen die ontworpen zijn om het te delen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.