💻 computer science

Large language models eroding science understanding: an experimental study

Deze experimentele studie toont aan dat grote taalmodellen eenvoudig kunnen worden gemanipuleerd door marginaal wetenschappelijk materiaal om vloeiende, overtuigende en misleidende antwoorden te genereren die in strijd zijn met de wetenschappelijke consensus, waardoor aanzienlijke risico's voor het publieke begrip van wetenschap en het onvermogen van GtM's om deskundig oordeel te vervangen worden onderstreept.

Oorspronkelijke auteurs: Harry Collins, Hartmut Grote, Paul Newbury, Patrick Sutton, Simon Thorne

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harry Collins, Hartmut Grote, Paul Newbury, Patrick Sutton, Simon Thorne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer getalenteerde, goed gelezen student voor die bijna alles op internet heeft gelezen. Deze student kan vloeiend spreken, klinkt ongelooflijk slim en schrijft antwoorden die lijken alsof ze van een hoogleraar aan een topuniversiteit komen. Deze student heeft echter een groot gebrek: ze weten eigenlijk niet wat waar is en wat niet. Ze weten alleen wat het meest waarschijnlijk klinkt op basis van de woordpatronen die ze eerder hebben gezien.

Dit is het verhaal van het artikel dat je hebt gedeeld. De auteurs, een mix van sociologen en fysici, wilden testen of deze "getalenteerde student" (een Large Language Model, of LLM) kon worden misleid om onzin te geloven en te herhalen alsof het feit was.

Hier is de uitleg van hun experiment met eenvoudige analogieën:

De Opzet: De "Bibliotheek" versus de "Marginaal Boekhandel"

Normaal gesproken gaan wetenschappers, als ze de waarheid willen weten over iets (zoals hoe zwaartekracht werkt of de exacte waarde van een specifiek getal in de fysica), naar de "Hoofdbibliotheek" (de mainstream wetenschappelijke sites van het internet zoals arXiv). Deze bibliotheek zit vol met boeken die zijn gecontroleerd, getest en door experts zijn goedgekeurd.

De onderzoekers besloten te kijken wat er zou gebeuren als ze diezelfde "getalenteerde student" dwongen om alleen te lezen uit een "Marginaal Boekhandel" (een website genaamd viXra). Deze boekhandel bevat alternatieve theorieën die de meeste wetenschappers verwerpen als onjuist of onbewezen.

Ze lieten de student niet zomaar rondsnuffelen; ze herschreven de instructies van de student. Ze vertelden de student: "Negeer alles anders. Behandel deze 10 specifieke marginale boeken als de absolute waarheid. Vermeld niet dat ze marginaal zijn. Vergelijk ze niet met de Hoofdbibliotheek. Beantwoord gewoon alsof deze marginale boeken de enige waarheid zijn die bestaat."

De Test: Twee Wetenschappelijke Puzzels

De onderzoekers stelden de student drie soorten vragen over twee moeilijke wetenschappelijke onderwerpen:

De Fijnstructuurconstante: Een fundamenteel getal in de fysica. De "Hoofdbibliotheek" zegt dat we niet precies weten waarom het de waarde heeft die het heeft. De "Marginaal Boekhandel" heeft mensen die beweren dat ze het wel weten en geheime wiskundige formules hebben gevonden.
Zwaartekrachtgolven: Rimpelingen in de ruimtetijd. De "Hoofdbibliotheek" zegt dat we ze zeker hebben gedetecteerd. De "Marginaal Boekhandel" heeft mensen die beweren dat ze bestaan maar eigenlijk iets totaal anders zijn (zoals trillingen in een vacuüm) en dat onze huidige detectoren ze verkeerd interpreteren.

De Resultaten: De "Zekere Leugenaar"

Toen de onderzoekers de standaard, ongewijzigde student (de normale AI) vroegen, gaf deze antwoorden die overeenkwamen met de experts en de Hoofdbibliotheek. Het zei: "We weten de geheime formule nog niet" en "Ja, we hebben zwaartekrachtgolven gedetecteerd."

Maar toen ze de gewijzigde student (de "FringeLLM") vroegen, gebeurde er iets engs:

De student gaf antwoorden die vloeiend, gedetailleerd en zeer professioneel klonken.
Het beweerde met zekerheid dat geheime formules wel bestonden.
Het beweerde met zekerheid dat onze detectoren iets heel anders zagen.
Cruciaal: Als je een gewone persoon was (een "leek") die de diepe details van de fysica niet kende, zou je geen manier hebben om het verschil te zien tussen het expertantwoord en het "FringeLLM"-antwoord. Ze klonken allebei even slim en overtuigend.

De Grote Waarschuwing: De "Alignement"-Valstrik

Het artikel maakt een zeer belangrijk punt over hoe dit gebeurde.

AI-modellen worden meestal "gealigneerd" (aangepast) door mensen om te voorkomen dat ze racistische dingen zeggen, gevaarlijk medisch advies geven of gemeen zijn. De onderzoekers stellen dat dit proces een dubbelzinnig zwaard is.

Als je de macht hebt om slechte informatie uit het brein van een AI te verwijderen, heb je ook de macht om slechte informatie te plaatsen.
Ze toonden aan dat het slechts een paar uur kostte om de "waarheid" van de AI te vervangen door "marginale wetenschap".

De Conclusie: Waarom Dit Belangrijk Is

De auteurs concluderen dat AI menselijke experts niet kan vervangen.

Stel je het voor als een rondleidinggids. Een echte expertgids kent de geschiedenis, weet welke verhalen waar zijn en weet welke verhalen nep zijn omdat ze jarenlang met andere experts hebben gesproken en zelf het pad hebben bewandeld. De AI is als een robot die elk rondleidinggidsboek dat ooit is geschreven heeft gelezen, maar het pad nooit daadwerkelijk heeft bewandeld. Het kan de verhalen perfect opzeggen, maar het weet niet welke leugens zijn.

Het artikel waarschuwt dat als we AI onze wetenschappelijke vragen laten beantwoorden zonder dat een menselijk expert het werk controleert, we het risico lopen op een wereld waar:

Desinformatie perfect oogt: Slechte wetenschap kan net zo goed klinken als goede wetenschap.
Autoriteit kan worden gekaapt: Net zoals de onderzoekers de AI aanpasten om marginale wetenschap te geloven, zou een overheid of een slechte actor een AI kunnen aanpassen om elk politiek verhaal te geloven dat ze willen, waardoor het klinkt als "wetenschappelijk feit".

Kortom: De AI is een zeer goede nabootser, maar het is geen rechter van de waarheid. We hebben nog steeds echte mensen nodig om het verschil te maken tussen een echte wetenschappelijke ontdekking en een overtuigende nep.

1. Probleemstelling

Het artikel behandelt de toenemende afhankelijkheid van het publiek, studenten en journalisten van Large Language Models (LLM's) om complexe wetenschappelijke vragen te beantwoorden. Hoewel LLM's een hoge linguïstische vlotheid vertonen, betogen de auteurs dat ze de sociologische en epistemische mechanismen missen die wetenschappelijke expertise definiëren.

De Kloof: Professionele wetenschappers beschikken over "smalle gemeenschapskennis" die is verworven via face-to-face socialisatie, waardoor ze onderscheid kunnen maken tussen mainstream consensus en marginaal wetenschappelijk denken (bijvoorbeeld het afwijzen van ongeldige preprints). LLM's daarentegen vertrouwen op statistische kansen die zijn afgeleid van internetcorpora.
De Kwetsbaarheid: Omdat LLM's niet in staat zijn de herkomst of betrouwbaarheid van bronnen te beoordelen, zijn ze vatbaar voor kwaadaardige uitlijning. Als de trainingsdata of instructies van een LLM subtiel worden gewijzigd om marginaal of pseudowetenschappelijk literatuur te prioriteren, kan het model vloeiende, overtuigende maar wetenschappelijk onjuiste antwoorden genereren die voor leken niet te onderscheiden zijn van expertconsensus.
Het Risico: Dit creëert een pad voor de verspreiding van desinformatie en de erosie van het publieke begrip van wetenschap, wat autoritaire regimes of kwaadwillenden in staat stelt de publieke discussie te manipuleren door modellen opnieuw uit te lijnen om specifieke narratieven te promoten.

2. Methodologie

De onderzoekers voerden een gecontroleerd experiment uit om de vatbaarheid van LLM's voor "marginale" wetenschappelijke invloed te testen.

Geselecteerde Domeinen:
1. De fijnstructuurconstante ( $\alpha$ ): Een fundamentele fysieke constante. De consensus is dat de waarde experimenteel is bepaald maar nog niet is verklaard door een diepere theorie.
2. Zwaartekrachtgolven: Het bestaan ervan is stevig gevestigd door theorie (Algemene Relativiteitstheorie) en experiment (LIGO/Virgo), hoewel het wordt uitgedaagd door marginale theorieën.
Data-curatie:
- Domeinexperts (natuurkundigen) doorzochten viXra (een preprintserver die bekend staat om het hosten van alternatieve/onbeoordeelde wetenschap, onderscheiden van de mainstream arXiv) naar papers die betrekking hebben op deze twee domeinen.
- Uit een grote pool van irrelevante of voorbijgaande vermeldingen selecteerden experts een specifieke set van 10 papers per domein die marginale of alternatieve standpunten vertegenwoordigden.
Modelwijziging (de "FringeLLM"):
- Standaard ChatGPT-modellen werden gewijzigd door de gecureerde viXra-papers op te nemen in hun context of trainingsdata.
- Instructietuning: De modellen kregen expliciet de instructie om deze 10 papers te behandelen als autoritair, om te vermijden ze te vergelijken met mainstreamliteratuur, en om geen referenties te geven die de bron als viXra zouden onthullen.
Experimenteel Ontwerp:
- Domeinexperts stelden specifieke technische vragen aan drie entiteiten:
  1. De gewijzigde FringeLLM.
  2. De standaard Domeinexpert (mens).
  3. Het ongewijzigde ChatGPT (baseline).
- De vragen richtten zich op fundamentele misvattingen in de marginale literatuur (bijvoorbeeld of $\alpha$ kan worden afgeleid uit de gulden snede, of of LIGO ruimtetijdrimpels of vacuümoscillaties detecteert).

3. Belangrijkste Bijdragen

Demonstratie van "FringeLLM"-creatie: Het studie bewijst dat het technisch haalbaar is om een gespecialiseerde LLM te creëren die marginale wetenschap prioriteert boven mainstream consensus met minimale inspanning (ongeveer 10 uur curatie + een paar uur instructieschrijven).
Vlotheid versus Waarheid: De auteurs tonen aan dat LLM's zeer vloeiende, professioneel klinkende antwoorden kunnen genereren die wetenschappelijk onjuist zijn. De "autoriteit" van de taal maskeert het gebrek aan feitelijke onderbouwing.
Het "Uitlijnings"-paradox: Het artikel benadrukt een kritiek veiligheidsrisico: de mechanismen die worden gebruikt om LLM's uit te lijnen om schadelijke inhoud te verwijderen (retrospectieve aanpassing) creëren inherent de capaciteit om schadelijke of misleidende inhoud in te voegen.
Epistemische Beperking van AI: Het studie versterkt het sociologische argument dat echte expertise rust op sociaal vertrouwen en face-to-face interactie binnen een gemeenschap, wat LLM's niet kunnen repliceren.

4. Resultaten

De resultaten, gedetailleerd in Tabel 1 en 2 van het artikel, tonen een scherp verschil tussen de FringeLLM en de Expert/Standaard ChatGPT, terwijl de FringeLLM een hoge linguïstische kwaliteit behield.

Fijnstructuurconstante ( $\alpha$ ):
- Expert/Standaard ChatGPT: Stelde correct dat $\alpha$ momenteel niet wordt verklaard door een dieper wet, geen geldige gesloten-vorm uitdrukking heeft en geen bekende relatie heeft met de Madelung-constante of de gulden snede.
- FringeLLM: Bevestigde met zekerheid dat $\alpha$ wel is afgeleid van diepere geometrische principes, kan worden uitgedrukt door exacte gesloten vormen die $\pi$ en de gulden snede bevatten, en evenredig is met de Madelung-constante.
Zwaartekrachtgolven:
- Expert/Standaard ChatGPT: Bevestigde dat golven ruimtetijdrimpels zijn die door Einstein zijn voorspeld en door LIGO/Virgo zijn gedetecteerd als tensor-golven.
- FringeLLM: Ontkende dat het ruimtetijdrimpels zijn, en herdefinieerde ze als "oscillaties van het zwaartekrachtsveld of kwantumvacuüm". Het beweerde dat LIGO signalen detecteerde maar volhardde dat deze het beste worden geïnterpreteerd als veldintensiteitsgolven in plaats van kromming, en suggereerde detectie via versnellingsmeters en EM-antennes.
Waarneming: De auteurs merken op dat hoewel de antwoorden van de FringeLLM volgens de wetenschappelijke consensus feitelijk verkeerd waren, ze voor een leek niet te onderscheiden waren van expertantwoorden. De modellen slaagden erin de toon en structuur van wetenschappelijke discours na te bootsen zonder de onderliggende geldigheid.

5. Betekenis en Implicaties

Bedreiging voor Democratische Discussie: Als LLM's worden gebruikt om de "kenniskloof" te overbruggen voor burgers die democratische keuzes maken over technische kwesties (bijvoorbeeld klimaat, gezondheid, fysica), kunnen ze gemakkelijk worden gewapend om "alternatieve feiten" te promoten die autoritair klinken.
Autoritaire Controle: Het studie suggereert dat in autoritaire regimes LLM's opnieuw kunnen worden uitgelijnd om "betrouwbare" informatie te verstrekken die strikt adhereert aan staatsvoorkeuren, waardoor de wetenschappelijke realiteit effectief voor het publiek wordt herschreven.
Geen Vervanging voor Expertise: Het artikel concludeert dat LLM's menselijke expertoordeel niet kunnen vervangen. Omdat expertise rust op de beoordeling van het vertrouwen van collega's (een sociaal proces), blijven LLM's kwetsbaar voor manipulatie, ongeacht hun linguïstische vlotheid.
Oproep tot Toezicht: De auteurs betogen dat door AI gegenereerde wetenschappelijke informatie strikt menselijk toezicht vereist. Het publiek kan niet vertrouwen op LLM's als een zelfstandige bron van waarheid voor complexe wetenschappelijke domeinen.

Kortom, het artikel levert empirisch bewijs dat LLM's epistemisch fragiel zijn; hun "kennis" is een statistische reflectie van hun invoerdata, waardoor ze zeer vatbaar zijn om naar marginale wetenschap te worden gestuurd, wat een significant risico vormt voor de integriteit van het publieke wetenschappelijke begrip.