When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models
Deze studie toont aan dat diverse taalmodellen een "citatie-monocultuur" vertonen door disproportioneel dezelfde nauwe subset van echte papers te selecteren vanwege gedeelde inhoudelijke voorkeursfilters, een systemische bias die voortduurt zelfs wanneer hallucinaties worden geëlimineerd en niet louter kan worden opgelost door het gelijk trekken van retrieval of het mengen van leveranciers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Decennialang vertrouwde de manier waarop de wetenschap vorderde op een eenvoudige, menselijke gewoonte: onderzoekers lezen het werk van anderen en beslissen welke papers zij in hun eigen geschriften vermelden. Deze handeling van citatie is meer dan een formaliteit; het is de valuta van wetenschappelijke erkenning. Wanneer een paper vaak wordt geciteerd, wint het aan zichtbaarheid, wat leidt tot meer citaties in een cyclus die bekend staat als het Matthew-effect, waarbij de rijken rijker worden. Deze dynamiek hing altijd af van menselijke lezers, die de reputatie van een auteur, het prestige van een tijdschrift of het verleden van een paper konden zien, en die signalen als gids voor hun keuzes gebruikten. Maar een nieuwe kracht betreedt de kamer. Kunstmatige intelligentie gaat verder dan simpelweg grammatica controleren naar het opstellen van volledige literatuuronderzoeken en het selecteren van de referenties die bepalen wat de wetenschappelijke gemeenschap ziet. De vraag is niet langer alleen of deze machines kunnen schrijven, maar wat ze kiezen om te lezen. Als een AI wordt gevraagd om het belangrijkste werk over een onderwerp te vinden, imiteert het dan simpelweg menselijke bias, of creëert het een nieuwe soort bias van zichzelf?
Een team van onderzoekers zette zich scharpe om dit te beantwoorden door een gecontroleerd experiment op te zetten dat alles wegnam wat normaal gesproken een citatie beïnvloedt. Ze verzamelden 120 echte wetenschappelijke papers over een specifiek onderwerp, maar voordat ze de AI toonden, verborgen ze alle gebruikelijke statussignalen. De namen van de auteurs werden vervangen door nepfictieve namen, de publicatiejaren werden door elkaar gehusseld en het aantal keren dat elk paper was geciteerd, werd volledig verwijderd. De AI-modellen kregen vervolgens de opdracht om korte reviews of position papers te schrijven, maar met een strikte regel: ze mochten maximaal tien van de dertig papers die aan hen getoond werden, vermelden in elke ronde. Deze schaarste dwong de modellen om echte keuzes te maken in plaats van alles te vermelden wat ze zagen. Om ervoor te zorgen dat de resultaten geen toevalstreffer waren, vergeleken de onderzoekers de keuzes van de AI met een baseline waarbij een computer willekeurig papers uit dezelfde lijst koos, en ze vroegen ook acht menselijke experts om onder exact dezelfde omstandigheden dezelfde keuzes te maken.
De resultaten onthulden een opvallend en uniform patroon. Terwijl de menselijke experts hun citaties vrij gelijkmatig verdeelden, waarbij ze de papers behandelden zoals een willekeurige selectie dat zou doen, concentreerde elk getest AI-model zijn aandacht op een kleine, smalle subset van de papers. In de menselijke groep ontvingen de top tien procent van de papers ongeveer 19 procent van de citaties, wat dicht bij wat je door toeval zou verwachten ligt. In contrast hiermee gaven de AI-modellen tussen de 23 en 30 procent van hun citaties aan de top tien procent van de papers. Belangrijker nog, de modellen negeerden consequent een aanzienlijk aantal papers die aan hen getoond waren, waarbij sommige zelfs volledig ongeciteerd bleven nadat ze tientallen keren waren getoond. Dit was geen geval van de machines die nepreferenties verzonnen; elk paper dat ze citeerden was echt, en elk paper dat ze negeerden was echt. Het falen lag niet in hallucinatie, maar in een gedeelde, onzichtbare filter die besliste welke echte papers het waard waren om te lezen.
Misschien wel de meest verontrustende ontdekking was dat dit filter hetzelfde was voor alle modellen, ongeacht welk bedrijf ze gebouwd had. Of de AI nu werd gemaakt door OpenAI, Google of Anthropic, ze gaven allemaal exact dezelfde papers de voorkeur en negeerden exact dezelfde. De onderzoekers ontdekten dat de voorkeuren van deze elf verschillende modellen zo vergelijkbaar waren dat ze beschreven konden worden als een enkele, gedeelde kaart van hoe een "citeerbare" paper eruitziet. Deze kaart was niet gebaseerd op de namen van de auteurs of het tijdschrift waarin ze verschenen, aangezien die verborgen waren. In plaats daarvan werd het gedreven door de tekst van de abstracts. De modellen leken het eens te zijn over een specifieke stijl of een bepaald type inhoud dat aandacht verdiende, waarbij ze de voorkeur gaven aan papers die klonken als kern theoretisch werk, terwijl ze toegepast onderzoek systematisch over het hoofd zagen, zelfs wanneer de toegepaste papers net zo echt en relevant waren.
Om te begrijderen of dit een geleerd geheugen van eerdere citaties was of een oprechte beoordeling van kwaliteit, testten de onderzoekers de modellen opnieuw nadat ze de titels en abstracts van de papers hadden herschreven. Ze veranderden de woorden volledig, zodat de modellen de papers niet meer op basis van hun oppervlakkige tekst konden herkennen, maar behielden de onderliggende betekenis intact. De keuzes van de modellen veranderden niet. Ze kozen nog steeds dezelfde papers op basis van de nieuwe formulering, wat bewees dat hun voorkeur geworteld was in de betekenis van de inhoud, en niet in een gememoriseerde lijst van beroemde titels. Dit suggereert dat de modellen een convergente, gedeelde intuïtie hebben ontwikkeld over wat een goed paper constitueert, een intuïtie die verschilt van hoe menselijke experts hetzelfde werk daadwerkelijk evalueren.
De studie onderzocht ook wat er gebeurt als deze modellen herhaaldelijk over een langere periode worden gebruikt. Naarmate de AI-modellen nieuwe papers schreven en die nieuwe papers weer werden toegevoegd aan de pool voor toekomstige selectie, werden de oorspronkelijke echte papers zeldzamer. De onderzoekers ontdekten dat naarmate de echte papers schaarser werden, de modellen ze nog intensiever citeerden, bijna alsof ze concurreerden voor de weinige resterende "goede" opties. Dit betekende echter niet dat de modellen meer aandacht besteedden aan de echte literatuur als geheel; in feite daalde het totale aandeel citaties dat naar de echte papers ging aanzienlijk. De modellen concentreerden hun beperkte aandacht simpelweg op een krimpende groep overlevers, waardoor een feedbackloop ontstond waarbij een vaste voorkeur een verwaterende catalogus ontmoet.
Dit onderzoek toont aan dat het gevaar van kunstmatige intelligentie in de wetenschap niet alleen is dat het nepfeiten verzint, maar dat het stilzwijgend kan instemmen met een nauwe set van "correcte" antwoorden terwijl het de rest van het veld negeert. Zelfs wanneer alle opties echt zijn en elke paper even zichtbaar is, leggen deze systemen een gemeenschappelijke filter op de wetenschappelijke aandacht. Het mengen van verschillende modellen lost het probleem niet op, omdat ze allemaal dezelfde onderliggende bias delen. De oplossing, suggereren de auteurs, vereist het veranderen van de gedeelde voorkeurskaart zelf, in plaats van alleen maar te proberen de bronnen van informatie te diversifiëren. De machines lezen niet alleen de literatuur; ze beginnen te beslissen wat de literatuur is, en ze beslissen allemaal over hetzelfde.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.