No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
Dit artikel behandelt de kritieke uitdaging van foutieve gegevens in uit literatuur gewonnen AI-datasets door een taxonomie van extractiefouten en een gelaagd verificatiekader voor te stellen dat natuurkundige wetten, statistische consensus en herkomstcontroles combineert om de modelnauwkeurigheid aanzienlijk te verbeteren en valse ontdekkingen in materiaalkunde en aanverwante vakgebieden te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Om nieuwe materialen te ontdekken voor snellere computers, batterijen die langer meegaan of effectievere medicijnen, wenden wetenschappers zich steeds vaker tot kunstmatige intelligentie. Deze digitale assistenten leren door het bestuderen van enorme collecties gegevens, in de hoop patronen te vinden die onthullen welke chemische combinaties het beste zullen werken. Voor veel eigenschappen, zoals de energie die een batterij kan vasthouden of hoe een kristal licht buigt, is de enige plek waar deze getallen bestaan verspreid over duizenden gepubliceerde wetenschappelijke artikelen. Onderzoekers hebben tools gebouwd om deze artikelen automatisch te lezen, waarden eruit te halen en ze om te zetten in databases die machines kunnen begrijpen. Het proces van het lezen van een gedrukte pagina en het omzetten daarvan in een schone lijst met getallen is echter verre van perfect. Een decimaal puntje kan verdwijnen, een eenheid van meting kan met een andere worden verward, of een waarde kan aan het verkeerde materiaal worden gekoppeld. Als een computer leert van deze fouten, zal hij niet alleen kleine foutjes maken; hij zal onderzoekers met vol vertrouwen naar de verkeerde ontdekkingen wijzen, waarbij hij vaak de meest extreme en onjuiste getallen selecteert als de beste kandidaten.
Een team van onderzoekers aan het Dibakar Datta Laboratorium zette zich in om dit probleem op te lossen door datafouten niet te beschouwen als een zeldzame glitch, maar als een verwacht onderdeel van het proces. Ze richtten zich op elektro-optische materialen, wat kristallen zijn die veranderen in hoe ze licht buigen wanneer er een elektrische spanning wordt toegepast. Deze materialen zijn cruciaal voor de glasvezelnetwerken die gegevens wereldwijd transporteren en voor toekomstige quantumcomputers. Het team bouwde een systeem om waarden voor deze materialen uit de wetenschappelijke literatuur te extraheren, maar ze ontwierpen het met een specifieke filosofie: geen waarde is beter dan een foute waarde. In plaats van te proberen elke waarde perfect te extraheren, wat zij onmogelijk vonden, bouwden ze een meerlagig vangnet om fouten te vangen voordat ze de kunstmatige intelligentie-modellen konden vergiftigen.
De onderzoekers identificeerden dat fouten in verschillende stadia in de database terechtkomen. Soms zit de fout in het originele artikel, waar een waarde verkeerd is gedrukt of onjuist is overgenomen uit een oudere studie. Op andere tijden gebeurt de fout wanneer een computerprogramma probeert een gescand document te lezen, waarbij een nul voor de letter O wordt aangezien of een minteken verloren gaat. Zelfs wanneer de tekst correct wordt gelezen, kan de computer een getal aan het verkeerde label koppelen, waarbij een meting van het ene materiaal wordt verward met die van een ander, of de computer kan de specifieke omstandigheden waaronder de meting is uitgevoerd, zoals de temperatuur of de druk, missen. Om dit aan te pakken, creëerde het team een vijfstaps filterproces. De eerste stap controleert of de data er aan de oppervlakte goed uitziet, door te controleren of de eenheden correct zijn en of het getal daadwerkelijk in de brontekst voorkomt. De tweede stap past de wetten van de fysica toe, door te controleren of een waarde fysiek mogelijk is, zoals door te controleren of de symmetrieregels van een kristal niet worden geschonden of dat de capaciteit van een batterij niet de theoretische limiet overschrijdt.
De derde stap zoekt naar overeenstemming tussen verschillende studies. Als tien artikelen een waarde voor hetzelfde materiaal rapporteren, zouden de juiste getallen bij elkaar moeten clusteren, terwijl willekeurige fouten als uitschieters zullen opvallen. De vierde stap gebruikt een model van kunstmatige intelligentie dat is getraind op de rest van de data om waarden op te sporen die vreemd lijken vergeleken met soortgelijke materialen. De laatste stap is een gerichte beoordeling door een menselijke expert, die alleen naar de waarden kijkt die de vorige stappen als verdacht hebben gemarkeerd. Deze aanpak stelt het team in staat om fouten efficiënt af te handelen zonder dat een mens elk enkel getal hoeft te controleren. In hun laatste run stopte dit systeem 402 van de 816 kandidaat-waarden, waarbij een specifieke reden werd genoteerd waarom elk van hen werd afgewezen of werd vastgehouden voor verdere beoordeling.
Ondanks deze strikte filters ontdekten de onderzoekers dat er nog steeds fouten doorsijpelden. Wanneer zij de door hun systeem geaccepteerde waarden vergeleken met een zorgvuldig samengestelde referentieset, ontdekten zij dat ongeveer 27 procent van de geaccepteerde waarden nog steeds defect was. Eenvoudige controles die geen referentiedatabase vereisten, zoals het verifiëren of de symmetrieregels van een kristal werden gevolgd, vingen 70 procent van deze resterende fouten op. In een gecontroleerde test waarbij zij precies wisten welke getallen fout waren, vond hun gelaagde systeem 81 procent van de fouten met hoge precisie. Cruciaal was dat zij lieten zien dat de kunstmatige intelligentie-modellen zonder dit reinigingsproces volledig misleid zouden worden. In hun ongereinigde data waren 89 procent van de twintig grootste waarden fouten. Omdat AI-modellen die ontworpen zijn om de beste materialen te vinden van nature zoeken naar de grootste waarden, zou een ongereinigde database onderzoekers naar de slechtst mogelijke kandidaten leiden, waarbij een enorme fout wordt aangezien voor een doorbraak in de ontdekking.
De studie onthulde ook een tweede, subtieler probleem. Zelfs nadat de verkeerde getallen waren verwijderd, ontdekten de onderzoekers dat veel records nog steeds de context misten die nodig is om ze bruikbaar te maken. Bijvoorbeeld, twee records kunnen hetzelfde materiaal en dezelfde waarde vermelden, maar de een werd gemeten onder hoge druk en de ander bij kamertemperatuur, en het systeem kon ze niet van elkaar onderscheiden omdat de informatie over de druk ontbrak in de tekst. Dit gebrek aan context, wat de onderzoekers maten als een fractie van ondeelbare records, werd de belangrijkste beperking voor hoe goed de AI kon leren. Het team concludeerde dat de toekomst van wetenschap op basis van data niet alleen afhangt van het vinden van meer getallen, maar van het bouwen van databases die hun eigen kwaliteit bijhouden, hun eigen fouten rapporteren en de specifieke omstandigheden opslaan waaronder elke meting is verricht. Door toe te geven dat fouten onvermijdelijk zijn en systemen te bouwen om ze te vangen, kunnen wetenschappers ervoor zorgen dat de kunstmatige intelligentie waarop zij vertrouwen leert van de werkelijkheid, en niet van een verzameling fouten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.