Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

In de wereld van microscopische beeldvorming worden wetenschappers vaak geconfronteerd met een schaarsteprobleem. Ze moeten computers leren om minuscule defecten op metalen oppervlakken of individuele atomen in een kristal te herkennen, maar ze hebben simpelweg niet genoeg foto's om dat te doen. Een enkele scan kan uren duren, en een onderzoeker kan misschien slechts een dozijn hoogwaardige afbeeldingen van een specifiek defect vastleggen. Om dit tekort te overwinnen, gebruiken onderzoekers een standaardtruc genaamd datataugmentatie. Ze nemen die paar originele afbeeldingen en vervormen ze wiskundig — ze draaien ze, spiegelen ze, veranderen de helderheid of maken ze iets waziger — om honderden of zelfs duizenden nieuwe trainingsvoorbeelden te creëren. Het is alsof je één foto van een boom neemt en een heel bos van licht verschillende versies van diezelfde boom creëert om een leerling te leren hoe een boom eruitziet.

Het doel van deze training is om een model te bouwen dat naar een gloednieuwe, ongeziene afbeelding kan kijken en correct een defect kan identificeren. Om te bewijzen dat het model werkt, splitsen wetenschappers hun data in twee stapels: één voor het onderwijs en één voor het testen. Het model leert van de eerste stapel en wordt vervolgens beoordeeld op de tweede. Als het model een hoge score haalt, wordt aangenomen dat het slim is en klaar voor gebruik in de echte wereld. Er blijft echter een cruciale vraag over: begrijpt het model echt het concept van een defect, of heeft het simpelweg de specifieke afbeeldingen die het te zien kreeg gememoriseerd? Dit onderscheid is het verschil tussen echt leren en eenvoudige herkenning.

Een recente studie door Shaoxuan Zhang aan het Harbin Institute of Technology onderzoekt een verborgen gebrek in de manier waarop dit proces vaak wordt uitgevoerd. De onderzoeker ontdekte dat wanneer wetenschappers hun duizenden trainingsafbeeldingen maken van slechts een handvol originelen, ze vaak een fout maken in de manier waarop ze de onderwijsstapel van de teststapel scheiden. In plaats van de originele bronafbeeldingen apart te houden, mengen ze alle gedraaide versies door elkaar en verdelen ze deze willekeurig. Dit betekent dat een afbeelding die voor het testen wordt gebruikt, een licht gedraaide of verhelderde kopie is van een afbeelding die het model tijdens de training al heeft gezien. Het model wordt niet getest op zijn vermogen om te generaliseren naar nieuwe situaties; het wordt getest op zijn vermogen om een bijna identieke kopie te herkennen van iets dat het al heeft gezien. De studie meet precies hoeveel deze fout de gerapporteerde succespercentages opblaast en stelt een eenvoudige manier voor om de rapportagestandaarden te corrigeren.

Om de omvang van dit probleem te meten, zette de onderzoeker een gecontroleerd experiment op met behulp van twee verschillende soorten microscopische data. Eén dataset bevatte afbeeldingen van defecten op staaloppervlakken, en de andere dataset bevatte afbeeldingen van puntdefecten in kristallen, vastgelegd met een scanning tunneling microscope. In beide gevallen begon de onderzoeker met een klein aantal originele afbeeldingen, bekend als acquisities. Voor elke originele afbeelding genereerden ze tachtig verschillende variaties met standaard computertrucs. Vervolgens creëerden ze twee verschillende manieren om deze pool van afbeeldingen te splitsen. De eerste methode, die in veel huidige papers gebruikelijk is, nam alle variaties van alle originele afbeeldingen, mengde ze in een grote emmer en koos er willekeurig enkele uit voor training en enkele voor testen. De tweede methode was strenger: deze hield de originele afbeeldingen gescheiden. Ze reserveerde één volledige originele afbeelding voor het testen en gebruikte alleen de variaties van de overige originele afbeeldingen voor de training. Dit garandeerde dat het model nog nooit iets van de testafbeelding had gezien.

De resultaten toonden een enorme kloof tussen de twee methoden. Wanneer het model werd getraind en getest met de methode van het willekeurig mengen, behaalde het bijna perfecte scores. Op de dataset van het staaloppervlak bereikte het model een score van 1,000, wat betekent dat het elk defect dat het moest vinden, ook daadwerkelijk vond. Echter, wanneer hetzelfde model werd getest met de strengere methode waarbij de originele bronnen gescheiden bleven, daalde de score drastisch. Bij de kleinste databudgets, waar slechts twee originele afbeeldingen per type defect waren, overschatte de willekeurige methode de prestaties van het model met meer dan een halve punt op een schaal waarbij 1,0 perfect is. Zelfs toen het aantal originele afbeeldingen werd verhoogd naar tien, overschatte de willekruige methode de prestaties nog steeds aanzienlijk. Het model was niet faalbaar in het leren; het was te goed in het herkennen van kopieën van wat het al had bestudeerd.

De studie onthulde ook dat deze inflatie niet uniform was over alle soorten defecten. Sommige defecten waren gemakkelijk te herkennen door hun textuur, en het model presteerde goed op die, ongeacht de testmethode. Echter, voor defecten die afhankelijk waren van de specifieke look van de originele scan, liet de willekeurige methode het model lijken op een genie, terwijl de strikte methode liet zien dat het model moeite had. Dit suggereert dat een hoge score in deze studies niet betekent dat het model heeft geleerd om defecten in het algemeen te vinden, maar eerder dat het heeft geleert de specifieke artefacten van de weinige afbeeldingen waarop het getraind is te herkennen. De kloof tussen de twee methoden werd iets kleiner naarmate er meer originele afbeeldingen werden toegevoegd, maar de kloof verdween niet. Zelfs met tien originele afbeeldingen gaf de willekeurige methode nog steeds een score die dertig punten hoger was dan de strikte methode, wat aangeeft dat het probleem persisteert, zelfs met meer data.

De onderzoeker ontwikkelde ook een eenvoudig hulpmiddel om dit probleem te detecteren zonder dat er een model getraind hoeft te worden. Door de afbeeldingen in de testset te vergelijken met de afbeeldingen in de trainingsset, kan het hulpmiddel berekenen hoeveel testafbeeldingen een "broertje of zusje" hebben in de trainingsset. Een broertje of zusje is simpelweg een variatie van dezelfde originele afbeelding. Als een groot aantal testafbeeldingen een broertje of zusje heeft in de trainingsset, is dat een duidelijk teken dat de evaluatie gebrekkig is. Deze controle duurt slechts enkele seconden en vereist geen speciale hardware. De studie vond dat in de gebrekkige willekeurige splitsingen bijna elke testafbeelding een broertje of zusje had in de trainingsset, terwijl dit in de strikte splitsingen niet het geval was.

Op basis van deze bevindingen stelt het paper een nieuwe standaard voor hoe onderzoekers hun werk moeten rapporteren. In plaats van alleen te zeggen hoeveel afbeeldingen er zijn gebruikt, zouden auteurs moeten rapporteren met hoeveel originele, onafhankelijke acquisities ze zijn begonnen. Ze moeten duidelijk vermelden of de data werd gesplitst vóór of na de afbeeldingen te hebben vervormd en uitgebreid. Ze moeten de eenheid van de splitsing specificeren, zoals of ze hebben gesplitst per individuele afbeelding of per de originele bron. Ten slotte moeten ze een eenvoudige controle opnemen om aan te tonen hoeveel testafbeeldingen een broertje of zusje hebben in de trainingsset. Deze vier stukken informatie zijn gemakkelijk te verstrekken en zouden de beperkingen van kleine-data-studies zichtbaar maken in plaats van verborgen te houden.

De studie concludeert dat in het gebied van kleine-data-beeldvorming, waar onderzoekers vaak slechts een paar originele scans hebben, de huidige manier van modellen evalueren misleidend is. De hoge scores die in veel papers worden gerapporteerd, beschrijven vaak het vermogen van het model om kopieën van de trainingsdata te herkennen, in plaats van het vermogen om defecten in nieuwe, ongeziene situaties te vinden. Naarmate deze computersystemen overgaan van offline analyse naar het aansturen van echte experimenten, kan het vertrouwen op deze opgeblazen scores leiden tot verkeerde beslissingen. De oplossing is niet noodzakelijkerwijs een nieuw algoritme of krachtigere computers, maar een verandering in de manier waarop de data wordt gehanteerd en gerapporteerd. Door de originele bronnen gescheiden te houden en transparant te zijn over het proces, kan de wetenschappelijke gemeenschap ervoor zorgen dat de modellen die ze bouwen werkelijk klaar zijn voor de echte wereld.