SHIELD reduces information leakage in data splits through joint structural optimization

In de race om kunstmatige intelligentie te gebruiken voor wetenschappelijke ontdekkingen, proberen onderzoekers computers te leren de eigenschappen van materialen, medicijnen en chemische reacties te voorspellen die nog nooit eerder zijn gezien. Het doel is niet alleen om te onthouden wat al is gemeten, maar om de onderliggende regels te leren, zodat de computer correct kan raden over het onbekende. Om te testen of een computer deze regels echt heeft geleerd, splitsen wetenschappers hun gegevens in twee stapels: één om de computer te trainen en één om hem te testen. Als de teststapel items bevat die te veel lijken op de trainingsstapel, kan de computer vertrouwen op het herkennen van een bekend patroon in plaats van het probleem daadwerkelijk op te lossen. Dit is als een leerling die een toets maakt waarbij de vragen slechts licht gewijzigde versies zijn van het huiswerk; ze halen een perfect cijfer, maar hebben het onderwerp eigenlijk niet geleerd. Decennialang was de standaardmanier om gegevens te splitsen het willekeurig mengen van alles, wat vaak deze gevaarlijke, te gelijkaardige paren aan weerszijden van de scheiding achterlaat, wat een vals gevoel van veiligheid creëert over hoe goed de modellen in de echte wereld zullen werken.

Een team van onderzoekers aan de Hamad Bin Khalifa University heeft een nieuwe methode ontwikkeld genaamd SHIELD om dit probleem op te lossen. In plaats van gegevens willekeurig te husselen of één enkele regel te gebruiken om ze te scheiden, fungeert SHIELD als een geavanceerde organisator die de gegevens vanuit drie verschillende hoeken tegelijk bekijkt. Het houdt rekening met hoe items in families zijn gegroepeerd, hoe dicht ze bij elkaar liggen in een complex web van kenmerken, en hoe hun algemene verdelingen met elkaar vergelijken. Het systeem vindt vervolgens een manier om de gegevens te snijden die al deze relaties tegelijkertijd respecteert, waardoor wordt gewaarborgd dat de testset werkelijk verschillend is van de trainingsset. De onderzoekers testten deze aanpak op acht verschillende wetenschappelijke datasets, variërend van de studie van metaallegeringen die worden gebruikt bij 3D-printen tot het gedrag van minuscule moleculen in de kwantumchemie. Ze ontdekten dat SHIELD consequent veel strengere en realistischere testcondities creëerde dan bestaande methoden, waarmee werd aangetoond dat veel modellen die onder willekeurige testen succesvol leken, in feite faalden wanneer ze werden geconfronteerd met werkelijk nieuwe data.

De kern van het probleem ligt in de structuur van wetenschappelijke gegevens. In velden zoals biologie of materiaalkunde zijn datapunten zelden onafhankelijk. Een nieuw medicijnmolecuul kan een lichte variatie zijn van een oud molecuul, of een metaallegering kan behoren tot een specifieke familie van materialen die een gemeenschappelijke geschiedenis delen. Wanneer een computermodel wordt getraind op één versie van een molecuul en wordt getest op een bijna identieke versie, hoeft het geen chemie te begrijpen; het hoeft alleen maar de gelijkenis te herkennen. Dit staat bekend als informatielekkage (information leakage), en het leidt tot te optimistische voorspellingen. De onderzoekers toonden aan dat standaardmethoden, die vaak vertrouwen op eenvoudige clustering of willekeurige selectie, er vaak niet in slagen deze verborgen verbindingen te verbreken. Bijvoorbeeld, in een dataset met betrekking tot laser powder bed fusion — een proces dat wordt gebruikt om metalen onderdelen laag voor laag op te bouwen — liet de willekeurige splitsing van de gegevens de trainings- en testsets zo gemengd achter dat de computer de uitkomst gemakkelijk kon raden op basis van de gebruikte machine of het type legering, in plaats van op basis van de werkelijke fysica van het proces.

Om dit op te lossen, is het SHIELD-framework ontworpen om drie specifieke soorten relaties aan te pakken die lekkage veroorzaken. Ten eerste kijkt het naar hiërarchische bevatting (hierarchical containment), wat gerelateerde groepen, zoals een familie van legeringen of een reeks proteïnevarianten, bij elkaar houdt in dezelfde stapel, zodat ze niet naar de andere stapel kunnen lekken. Ten tweede onderzoekt het de feature manifold, een manier om in kaart te brengen hoe dicht verschillende datapunten bij elkaar liggen op basis van hun eigenschappen, waarbij wordt gewaarborgd dat buren in deze kaart niet van elkaar worden gescheiden. Ten derde beheert het de distributie, waarbij wordt toegezien dat de algemene spreiding van de gegevens in de testset ofwel een gecontroleerde overeenkomst is met een bekend toekomstig scenario, ofwel een bewuste verschuiving om een volledig onbekend scenario te simuleren. De innovatie is dat SHIELD deze regels niet na elkaar toepast, wat het werk van de vorige stap zou kunnen ongedaan maken. In plaats daarvan optimaliseert het alle drie tegelijkertijd, en vindt het een evenwicht waarbij de gegevens worden gesplitst op een manier die aan de behoefte aan scheiding voldoet zonder de natuurlijke structuur van de wetenschap te breken.

Het team valideerde deze methode over een breed scala aan wetenschappelijke disciplines. In de studie van glasvormende legeringen ontdekten zij dat hoewel sommige bestaande methoden de gegevens effectief konden scheiden, ze vaak de balans van de klassen verstoorden, wat leidde tot misleidende resultaten. SHIELD slaagde erin de klassen in balans te houden terwijl het tegelijkertijd een moeilijke testomgeving creëerde. In de wereld van de kwantumchemie, waar het doel is om de energietoestanden van kleine organische moleculen te voorspellen, slaagde de nieuwe methode erin de trainings- en testsets zodanig te scheiden dat de computermodellen werkelijk moesten extrapoleren. Wanneer de onderzoekers standaard machine learning-modellen op deze nieuwe splitsingen testten, waren de resultaten onthullend. Modellen die voorheen een hoge nauwkeurigheid vertoonden met willekeurige splitsingen, zagen hun prestaties aanzienlijk dalen, en faalden soms zelfs volledig. Deze daling was geen teken dat de modellen kapot waren, maar eerder dat de vorige testen te makkelijk waren geweest. De nieuwe splitsingen legden het onvermogen van de modellen bloot om om te gaan met data die werkelijk buiten hun trainingservaring vielen.

Een van de meest opvallende bevindingen kwam uit de dataset van additive manufacturing, die betrekking had op 1.579 builds van metalen onderdelen gemaakt van zes verschillende legeringen op 45 verschillende printermodellen. Toen de onderzoekers SHIELD gebruikten om hele families van legeringen uit de trainingsdata te houden, hadden de computermodellen enorme moeite. Een neuraal netwerkmodel, dat goed had gepresteerd bij andere splitsingen, stortte in en produceerde voorspellingen die volkomen onnauwkeurig waren. Dit gebeurde omdat het model nog nooit een specifiek type legering had gezien en niet kon vertrouwen op eenvoudige patroonherkenning. In contrast hiermee, toen de onderzoekers een specifiek printermodel uitsloten, presteerden de modellen veel beter. Deze asymmetrie bood een cruciaal inzicht: de familie van legeringen vormde een fundamentele fysieke barrière die het model niet kon oversteken, terwijl de identiteit van de printer een minder significante variabele was. Het SHIELD-framework was in staat om tussen deze twee soorten uitdagingen te onderscheiden, wat wetenschappers hielp te begrijpen welke aspecten van hun data werkelijk moeilijk te voorspellen waren.

De onderzoekers toonden ook aan dat hun methode enorme datasets kon verwerken door gebruik te maken van een techniek genaamd coarsening. Voor zeer grote collecties gegevens is het computationeel onmogelijk om de relaties tussen elk afzonderlijk punt te berekenen. SHIELD lost dit op door gerelateerde items te groeperen in grotere "super-nodes" op basis van hun hiërarchie voordat de splitsing plaatsvindt. Dit verminderde de omvang van het probleem met een factor van meer dan 1.600 in een van hun tests, terwijl de kwaliteit van de splitsing net zo strikt bleef als wanneer ze elk afzonderlijk datapunt individueel hadden verwerkt. Deze schaalbaarheid betekent dat de methode kan worden toegepast op de grootste wetenschappelijke datasets zonder haar vermogen te verliezen om subtiele vormen van lekkage te detecteren. Het team introduceerde ook een nieuwe manier om de moeilijkheid van een split te meten, genaamd de Discovery Normalized Squared Error. Deze metriek kijkt naar hoeveel de fout toeneemt wanneer men van trainingsdata naar testdata beweegt, wat een duidelijker beeld geeft van hoe goed een model zal presteren wanneer het het onbekende tegenkomt.

De studie concludeert dat de manier waarop gegevens worden gesplitst niet slechts een technisch detail is, maar een fundamenteel onderdeel van de wetenschappelijke vraag die wordt gesteld. Als de splitsing toestaat dat informatie lekt, meet de benchmark het verkeerde ding. Door de structurele relaties in de gegevens gezamenlijk te optimaliseren, biedt SHIELD een eerlijker beoordeling van het vermogen van een model om nieuwe kennis te ontdekken. De onderzoekers benadrukken dat dit geen magische oplossing is die alle problemen oplost, maar een instrument dat wetenschappers dwingt om strenger te zijn over wat ze testen. De resultaten suggereren dat veel modellen die momenteel in de wetenschappelijke literatuur worden geprezen, mogelijk overfitten op de eigenaardigheden van hun trainingsdata in plaats van de natuurwetten te leren. Door een methode te gebruiken die de werkelijke structuur van wetenschappelijke gegevens respecteert, kunnen onderzoekers modellen bouwen die werkelijk klaar zijn voor de uitdagingen van ontdekking, waardoor wordt gewaarborgd dat wanneer een computer een nieuw materiaal of een nieuw medicijn voorspelt, dit gebaseerd is op echt begrip in plaats van op een gelukkige gok.