When Literature Data Mislead Artificial Intelligence in Materials Discovery

Stel je een wereld voor waarin wetenschappers niet langer jarenlang in het laboratorium doorbrengen met het testen van het ene materiaal na het andere. In plaats daarvan vragen ze een computer om miljoenen onderzoeksartikelen te scannen, de beste getallen te vinden en te voorspellen welke nieuwe stoffen het beste zullen werken voor batterijen of zonnecellen. Dit is de belofte van kunstmatige intelligentie in de materiaalkunde. Het idee is dat als een computer elke ooit gepubliceerde experiment kan lezen, het de verborgen regels kan leren van hoe materie zich gedraagt en de perfecte materialen kan ontwerpen voor onze toekomstige energiebehoeften. Maar deze visie rust op een kwetsbare aanname: dat de getallen die in die oude artikelen staan, precies zijn wat ze zeggen te zijn. Als een wetenschapper schrijft dat een materiaal elektriciteit geleidt met een bepaalde sterkte, gaat de computer ervan uit dat dit getal waar, helder en klaar voor gebruik is.

Een team onderzoekers van de Tohoku Universiteit en de Universiteit van Tokio heeft ontdekt dat deze aanname gevaarlijk onjuist is. Ze hebben nauwkeurig gekeken naar de manier waarop wetenschappers gegevens rapporteren over vaste elektrolyten, de speciale materialen die ionen binnen generatie-volgende batterijen laten bewegen. Hun onderzoek laat zien dat de getallen die uit de wetenschappelijke literatuur worden geëxtraheerd, vaak niet alleen een beetje afwijken, maar fundamenteel misleidend zijn. Het probleem is niet dat de oorspronkelijke wetenschappers fouten hebben gemaakt, maar dat de manier waarop zij hun bevindingen rapporteren vaak ambigu is. Een getal kan correct zijn in de tekst, maar fout in de grafiek, of de eenheden kunnen op een manier zijn verwisseld die de waarde met honderd keer verandert. Wanneer kunstmatige intelligentiesystemen deze getallen pakken om hun modellen te bouwen, leren ze onwetend van een vertekende werkelijkheid, waarbij ze vage beschrijvingen behandelen als harde feiten.

De onderzoekers begonnen door wetenschappelijke artikelen niet als voltooide verhalen te behandelen, maar als ruwe databronnen. Ze concentreerden zich op ionische geleidbaarheid, een maatstaf voor hoe gemakkelijk elektriciteit door een vast materiaal stroomt. Deze waarde is cruciaal voor de beslissing of een materiaal goed genoeg is voor een batterij. In een perfecte wereld zou een onderzoeker deze waarde meten, opschrijven, en de volgende persoon zou het lezen en er precies zo mee verder gaan. In de werkelijkheid is het pad van een laboratoriumnotitieboek naar een computerdatabase vol verborgen vallen. Het team heeft duizenden gerapporteerde waarden uit hun oorspronkelijke artikelen gevolgd naar gecureerde databases die worden gebruikt om kunstmatige intelligentie te trainen. Ze ontdekten dat de reis vaak gepaard ging met het gissen naar wat de oorspronkelijke auteur bedoelde, en die gissingen waren vaak onjuist.

Een veelvoorkomend probleem dat het team tegenkwam, was een mismatch tussen de tekst en de figuren. Een wetenschapper kan in de hoofdtekst schrijven dat een materiaal een specifieke geleidbaarheid heeft bij kamertemperatuur, maar wanneer de onderzoekers naar de eigenlijke grafiek in hetzelfde artikel keken, vertelde het datapunt voor die temperatuur een ander verhaal. Het getal in de tekst kan iets hoger of lager zijn dan het getal in de plot. Voor een menselijke lezer lijkt dit misschien een kleine typefout of een afrondingsfout. Maar voor een computer, die elk getal als een precies feit behandelt, creëert dit een conflict. De computer weet niet welk getal hij moet vertrouwen. Wanneer dit gebeurt in honderden artikelen, raakt de database gevuld met conflicterende informatie die aan de oppervlakte correct lijkt, maar in werkelijkheid onbetrouwbaar is.

Nog een grote bron van verwarring was de manier waarop grafieken werden gelabeld. Wetenschappelijke artikelen gebruiken vaak complexe diagrammen om te laten zien hoe de geleidbaarheid verandert met de temperatuur. Deze diagrammen hebben meestal assen met specifieke labels, maar soms zijn die labels vaag of ontbreken ze volledig. Een onderzoeker kan een waarde plotten zonder duidelijk te vermelden of dit de ruwe geleidbaarheid vertegenwoordigt of een wiskundige transformatie van die waarde. Zonder deze duidelijkheid kunnen twee verschillende mensen die dezelfde grafiek lezen, twee totaal verschillende getallen extraheren. Het team toonde aan dat, afhankelijk van hoe je de as interpreteert, hetzelfde datapunt gelezen kan worden als een zeer hoge geleidbaarheid of een zeer lage geleidbaarheid. Deze verschillen zijn geen willekeurige fouten; het zijn gestructureerde fouten die een patroon volgen, waardoor ze voor een computer erg moeilijk te herkennen zijn als foutief.

De meest gevaarlijke fouten hadden betrekking op de eenheden van meting. In de wetenschap kan geleidbaarheid in verschillende eenheden worden gerapporteerd, zoals per centimeter of per meter. Een verschil van één eenheid kan de waarde met een factor honderd veranderen. De onderzoekers vonden gevallen waar een artikel duidelijk een waarde in één eenheid vermeldde, maar de grafiek of een latere database-invoer het behandelde alsof het in een andere eenheid stond. Omdat de getallen er nog steeds plausibel uitzagen — ze lagen binnen het bereik van wat fysiek mogelijk is voor deze materialen — bleef de fout onopgemerkt. Een computer die de gegevens leest, zou het verkeerde getal als waarheid accepteren. In één specif으로 geval dat het team onderzocht, werd een waarde verkeerd geïnterpreteerd op een manier die een honderdvoudige fout creëerde. Deze enkele fout werd, eenmaal ingevoerd in een database, vervolgens gekopieerd en hergebruikt door andere onderzoekers en machine learning-modellen, waardoor de fout als een virus door het wetenschappelijke verslag werd verspreid.

Het team analyseerde een grote collectie artikelen over zowel gelgebaseerde als anorganische vaste elektrolyten. Ze ontdekten dat tekst-figuur mismatches algemeen voorkwamen bij gel-elektrolyten, in ongeveer tien procent van de gecontroleerde artikelen. Voor anorganische materialen waren de problemen nog gevarieerder, waarbij inconsistenties in eenheden het meest voorkomende probleem waren. In een steekproef van zestien anorganische gevallen identificeerden de onderzoekers vijfentwintig afzonderlijke instanties van rapportage-ambiguïteit. Dit betekent dat een enkel artikel meerdere soorten fouten kan bevatten. De gegevens toonden aan dat dit niet slechts geïsoleerde incidenten van onzorgvuldigheid waren, maar een structureel probleem in de manier waarop wetenschappelijke resultaten worden gecommuniceerd. Zelfs experts in het vakgebied hadden moeite om de gegevens correct te interpreteren zonder aannames te doen, wat suggereert dat het probleem diep geworteld is in het huidige systeem van wetenschappelijke publicatie.

De onderzoekers stellen dat dit niet alleen een probleem is voor bibliothecarissen of databasebeheerders; het is een crisis voor de toekomst van kunstmatige intelligentie in de wetenschap. Machine learning-modellen zijn slechts zo goed als de gegevens waarmee ze worden gevoed. Als de trainingsdata vol zit met verborgen ambiguïteiten en eenheidsfouten, zal het model de verkeerde patronen leren. Het kan voorspellen dat een materiaal uitstekend is terwijl het eigenlijk nutteloos is, of het kan een doorbraak-kandidaat volledig missen. Het team vond dat deze fouten fungeren als een vorm van "gestructureerde labelruis". In tegen tegenstelling tot willekeurige fouten die wellicht worden gemiddeld, zijn deze fouten consistent en systematisch, wat betekent dat ze de leercurve van de computer in een specifieke richting kunnen beïnvloeden. Het resultaat is een model dat zelfverzekerd lijkt, maar fundamenteel gebrekkig is.

Om dit op te lossen, stellen de auteurs een nieuwe standaard voor hoe wetenschappers hun bevindingen rapporteren. Ze suggereren dat onderzoekers veel explicieter moeten zijn over de details die momenteel worden weggelaten. Elke grafiek moet duidelijk vermelden wat er wordt uitgezet en in welke eenheden. De temperatuur waarbij een waarde is gemeten moet exact zijn, en niet alleen omschreven als "kamertemperatuur". Auteurs moeten verduidelijken of een getal direct is gemeten of berekend uit een curve. Dit lijken misschien kleine, saaie details, maar de onderzoekers benadrukken dat zij het fundament zijn van betrouwbare wetenschap. Zonder deze details kunnen de gegevens niet veilig worden hergebruikt door computers of andere wetenschappers.

De studie concludeert dat de betrouwbaarheid van wetenschappelijke gegevens een infrastructuurkwestie is, even belangrijk als de algoritmen of de computers zelf. Terwijl de wetenschap beweegt naar een toekomst waarin machines helpen bij de ontdekking van nieuwe materialen, moet het menselijke verslag van experimenten in de puurste zin machineleesbaar worden gemaakt. Dit betekent niet alleen het hebben van getallen, maar het hebben van getallen die eenduidig, traceerbaar en consistent zijn. De onderzoekers benadrukken dat het verbeteren van de kwaliteit van gegevens geen kleine redactionele taak is, maar een vereiste voor de volgende generatie wetenschappelijke ontdekkingen. Als de input gebrekkig is, zal de output gebrekkig zijn, ongeacht hoe slim de kunstmatige intelligentie ook wordt. De weg vooruit vereist een verschuiving in cultuur, waarbij de helderheid van rapportage even hoog wordt gewaardeerd als de ontdekking zelf, om ervoor te zorgen dat de digitale toekomst van de wetenschap gebouwd wordt op een solide fundament.