Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

In der Welt der mikroskopischen Bildgebung stehen Wissenschaftler oft vor einem Knappheitsproblem. Sie müssen Computer lehren, winzige Defekte auf Metalloberflächen oder einzelne Atome in einem Kristall zu erkennen, aber sie verfügen schlichtweg nicht über genügend Bilder, um dies zu tun. Ein einzelner Scan kann Stunden dauern, und ein Forscher schafft es unter Umständen nur, ein Dutzend hochwertiger Bilder eines spezifischen Fehlers zu erfassen. Um diesen Mangel zu überwinden, nutzen Forscher einen Standardtrick namens Datenaugmentation. Sie nehmen diese wenigen Originalbilder und verändern sie mathematisch – sie drehen sie, spiegeln sie, verändern ihre Helligkeit oder lassen sie leicht verschwimmen –, um hunderte oder sogar tausende neue Trainingsbeispiele zu erstellen. Es ist so, als würde man ein einzelnes Foto eines Baumes nehmen und einen ganzen Wald aus leicht unterschiedlichen Versionen desselben Baumes erschaffen, um einem Schüler beizubringen, wie ein Baum aussieht.

Das Ziel dieses Trainings ist es, ein Modell zu bauen, das in der Lage ist, ein brandneues, ungesehenes Bild zu betrachten und einen Defekt korrekt zu identifizieren. Um zu beweisen, dass das Modell funktioniert, teilen Wissenschaftler ihre Daten in zwei Stapel auf: einen zum Lehren und einen zum Testen. Das Modell lernt aus dem ersten Stapel und wird dann am zweiten Stapel bewertet. Wenn das Modell eine hohe Punktzahl erreicht, wird davon ausgegangen, dass es intelligent und bereit für den realen Einsatz ist. Es bleibt jedoch eine kritische Frage: Versteht das Modell tatsächlich das Konzept eines Defekts, oder hat es einfach die spezifischen Bilder auswendig gelernt, die ihm gezeigt wurden? Diese Unterscheidung ist der Unterschied zwischen wahrem Lernen und einfacher Erkennung.

Eine aktuelle Studie von Shaoxuan Zhang vom Harbin Institute of Technology untersucht einen verborgenen Fehler in der Art und Weise, wie dieser Prozess oft durchgeführt wird. Der Forscher fand heraus, dass Wissenschaftler, wenn sie tausende Trainingsbilder aus nur einer Handvoll Originalen erstellen, häufig einen Fehler bei der Trennung des Lehrstapels vom Teststapel machen. Anstatt die Originalbilder getrennt zu halten, mischen sie alle verdrehten Versionen zusammen und verteilen sie dann zufällig. Das bedeutet, dass ein Bild, das für den Test verwendet wird, eine leicht gedrehte oder aufgehellte Kopie eines Bildes sein kann, das das Modell bereits während des Trainings gesehen hat. Das Modell wird nicht auf seine Fähigkeit getestet, in neuen Situationen zu generalisieren, sondern auf seine Fähigkeit, eine nahezu identische Kopie von etwas zu erkennen, das es bereits gesehen hat. Die Studie misst genau, wie sehr dieser Fehler die berichteten Erfolgsraten aufbläht, und schlägt eine einfache Methode zur Korrektur der Berichtsstandards vor.

Um die Größe dieses Problems zu messen, richtete der Forscher ein kontrolliertes Experiment mit zwei verschiedenen Arten von mikroskopischen Daten ein. Ein Datensatz enthielt Bilder von Defekten auf Stahloberflächen, und der andere enthielt Bilder von Punktdefekten in Kristallen, die mit einem Rastertunnelmikroskop aufgenommen wurden. In beiden Fällen begann der Forscher mit einer geringen Anzahl von Originalbildern, den sogenannten Akquisitionen. Für jedes Originalbild erzeugte er achtzig verschiedene Variationen mittels standardmäßiger Computertricks. Er erstellte daraufhin zwei verschiedene Wege, um diesen Pool an Bildern aufzuteilen. Die erste Methode, die in vielen aktuellen Papern üblich ist, nahm alle Variationen aller Originalbilder, mischte sie in einem großen Eimer zusammen und wählte dann zufällig einige für das Training und einige für den Test aus. Die zweite Methode war strenger: Sie behielt die Originalbilder getrennt. Sie reservierte ein ganzes Originalbild für den Test und verwendete nur die Variationen der verbleibenden Originalbilder für das Training. Dies stellte sicher, dass das Modell mit dem Testbild noch nie etwas zu tun hatte.

Die Ergebnisse zeigten eine massive Kluft zwischen den beiden Methoden. Wenn das Modell mit der Methode der zufälligen Mischung trainiert und getestet wurde, erreichte es nahezu perfekte Punktzahlen. Beim Datensatz der Stahloberfläche erreichte das Modell einen Wert von 1,000, was bedeutete, dass es jeden einzelnen Defekt fand, den es finden sollte. Wenn das gleiche Modell jedoch mit der strengeren Methode getestet wurde, die die Originalquellen getrennt hielt, sank die Punktzahl dramatisch. Bei den kleinsten Datenbudgets, bei denen es nur zwei Originalbilder pro Defekttyp gab, überschätzte die Zufallsmethode die Leistung des Modells um mehr als einen halben Punkt auf einer Skala, bei der 1,0 perfekt ist. Selbst als die Anzahl der Originalbilder auf zehn erhöht wurde, übertrieb die Zufallsmethode die Leistung immer noch erheblich. Das Modell versagte nicht beim Lernen; es war zu gut darin, Kopien dessen zu erkennen, was es bereits studiert hatte.

Die Studie ergab auch, dass diese Aufblähung nicht einheitlich über alle Arten von Defekten hinweg auftrat. Einige Defekte ließen sich leicht allein durch ihre Textur erkennen, und das Modell schnitt unabhängig von der Testmethode gut ab. Bei Defekten, die jedoch von dem spezifischen Aussehen des Originalscans abhingen, ließ die Zufallsmethode das Modell wie ein Genie aussehen, während die strenge Methode zeigte, dass es damit zu kämpfen hatte. Dies deutet darauf hin, dass eine hohe Punktzahl in diesen Studien nicht unbedingt bedeuten muss, dass das Modell gelernt hat, Defekte im Allgemeinen zu finden, sondern vielmehr, dass es gelernt hat, die spezifischen Artefakte der wenigen Bilder zu erkennen, mit denen es trainiert wurde. Die Lücke zwischen den beiden Methoden verringerte sich leicht, als mehr Originalbilder hinzugefügt wurden, aber sie verschwand nicht. Selbst mit zehn Originalbildern lieferte die Zufallsmethode immer noch einen Wert, der dreißig Punkte höher war als die strenge Methode, was zeigt, dass das Problem auch mit mehr Daten bestehen bleibt.

Der Forscher entwickelte auch ein einfaches Werkzeug, um dieses Problem zu erkennen, ohne ein Modell trainieren zu müssen. Durch den Vergleich der Bilder im Testdatensatz mit den Bildern im Trainingsdatensatz kann das Werkzeug berechnen, wie viele Testbilder ein „Geschwisterteil“ im Trainingsset haben. Ein Geschwisterteil ist einfach eine Variation desselben Originalbildes. Wenn eine große Anzahl von Testbildern Geschwisterteile im Trainingsset hat, ist dies ein klares Zeichen dafür, dass die Auswertung fehlerhaft ist. Dieser Check dauert nur Sekunden und benötigt keine spezielle Hardware. Die Studie ergab, dass in den fehlerhaften Zufallsaufteilungen fast jedes Testbild ein Geschwisterteil im Trainingsset hatte, während dies in den strengen Aufteilungen nicht der Fall war.

Basierend auf diesen Erkenntnissen schlägt die Arbeit einen neuen Standard vor, wie Forscher ihre Arbeit berichten sollten. Anstatt nur anzugeben, wie viele Bilder verwendet wurden, sollten Autoren angeben, mit wie vielen ursprünglichen, unabhängigen Akquisitionen sie begonnen haben. Sie sollten klar angeben, ob die Daten vor oder nach dem Verändern und Erweitern der Bilder aufgeteilt wurden. Sie sollten die Einheit der Aufteilung spezifizieren, etwa ob sie nach einzelnen Bildern oder nach der Originalquelle getrennt wurden. Schließlich sollten sie einen einfachen Check enthalten, der zeigt, wie viele Testbilder Geschwisterteile im Trainingsset haben. Diese vier Informationen sind leicht bereitzustellen und würden die Grenzen von Small-Data-Studien sichtbar statt verborgen machen.

Die Studie kommt zu dem Schluss, dass in der Feld der Small-Data-Bildgebung, in der Forscher oft nur über wenige Originalscans verfügen, die derzeitige Art der Modellbewertung irreführend ist. Die in vielen Papern berichteten hohen Punktzahlen beschreiben oft die Fähigkeit des Modells, Kopien der Trainingsdaten zu erkennen, anstatt seine Fähigkeit, Defekte in neuen, ungesehenen Situationen zu finden. Wenn diese Computersysteme von der Offline-Analyse zur Steuerung realer Experimente übergehen, könnte das Vertrauen auf diese aufgeblähten Punktzahlen zu falschen Entscheidungen führen. Die Lösung ist nicht notwendigerweise ein neuer Algorithmus oder leistungsstärkere Computer, sondern eine Änderung im Umgang mit den Daten und in deren Berichterstattung. Indem die Originalquellen getrennt gehalten werden und Transparenz über den Prozess herrscht, kann die wissenschaftliche Gemeinschaft sicherstellen, dass die von ihr gebauten Modelle wirklich bereit für die reale Welt sind.