SHIELD reduces information leakage in data splits through joint structural optimization

Im Wettlauf um den Einsatz künstlicher Intelligenz für wissenschaftliche Entdeckungen versuchen Forscher, Computer dazu zu bringen, die Eigenschaften von Materialien, Medikamenten und chemischen Reaktionen vorherzusagen, die bisher noch nie gesehen wurden. Das Ziel besteht nicht nur darin, auswendig zu lernen, was bereits gemessen wurde, sondern die zugrunde liegenden Regeln zu erlernen, damit der Computer über das Unbekannte korrekt raten kann. Um zu testen, ob ein Computer diese Regeln wirklich gelernt hat, teilen Wissenschaftler ihre Daten in zwei Stapel auf: einen zum Trainieren des Computers und einen zum Testen desselben. Wenn der Teststapel Gegenstände enthält, die dem Trainingsstapel zu ähnlich sind, kann sich der Computer darauf verlassen, ein bekanntes Muster zu erkennen, anstatt das Problem tatsächlich zu lösen. Dies ist vergleichbar mit einem Schüler, der eine Prüfung ablegt, bei der die Fragen lediglich leichte Umformulierungen der Hausaufgaben sind; er erzielt eine perfekte Punktzahl, hat aber das Fach eigentlich nicht gelernt. Seit Jahrzehnten ist die Standardmethode zur Aufteilung von Daten das zufällige Durchmischen, was oft dazu führt, dass diese gefährlichen, übermäßig ähnlichen Paare auf gegenüberliegenden Seiten der Trennung landen und so ein falsches Gefühl der Sicherheit darüber vermitteln, wie gut die Modelle in der realen Welt funktionieren werden.

Ein Forschungsteam der Hamad Bin Khalifa University hat eine neue Methode namens SHIELD entwickelt, um dieses Problem zu lösen. Anstatt Daten zufällig zu mischen oder eine einzige Regel zur Trennung zu verwenden, fungiert SHIELD als ausgeklügelter Organisator, der die Daten gleichzeitig aus drei verschiedenen Blickwinkeln betrachtet. Es berücksichtigt, wie Gegenstände in Familien gruppiert sind, wie nah sie beieinander in einem komplexen Geflecht von Merkmalen liegen und wie ihre Gesamtverteilungen im Vergleich stehen. Das System findet dann einen Weg, die Daten so zu schneiden, dass alle diese Beziehungen gleichzeitig respektiert werden, wodurch sichergestellt wird, dass der Testdatensatz sich wirklich vom Trainingsdatensatz unterscheidet. Die Forscher testeten diesen Ansatz an acht verschiedenen wissenschaftlichen Datensätzen, die von der Untersuchung von Metalllegierungen für den 3D-Druck bis hin zum Verhalten winziger Moleküle in der Quantenchemie reichten. Sie fanden heraus, dass SHIELD konsistent viel strengere und realistischere Testbedingungen schuf als bestehende Methoden, was offenbarte, dass viele Modelle, die unter zufälliger Testung erfolgreich erschienen, angesichts wirklich neuer Daten versagten.

Der Kern des Problems liegt in der Struktur wissenschaftlicher Daten. In Feldern wie der Biologie oder den Materialwissenschaften sind Datenpunkte selten unabhängig. Ein neues Medikamentenmolekül könnte eine leichte Variation eines alten sein, oder eine Metalllegierung könnte zu einer bestimmten Familie von Materialien gehören, die eine gemeinsame Geschichte teilen. Wenn ein Computermodell auf einer Version eines Moleküls trainiert und auf einer nahezu identischen Version getestet wird, muss es keine Chemie verstehen; es muss lediglich die Ähnlichkeit erkennen. Dies wird als Informationsleckage (Information Leakage) bezeichnet und führt zu übermäßig optimistischen Vorhersagen. Die Forscher zeigten, dass Standardmethoden, die häufig auf einfachem Clustering oder zufälliger Auswahl beruhen, häufig daran scheitern, diese verborgenen Verbindungen zu trennen. Beispielsweise hinterließ bei einem Datensatz im Zusammenhang mit dem Laser-Pulverbettverfahren – einem Prozess, mit dem Metallteile Schicht für Schicht aufgebaut werden – die zufällige Aufteilung der Daten die Trainings- und Testsets so stark vermischt, dass der Computer das Ergebnis leicht basierend auf der verwendeten Maschine oder dem Legierungstyp erraten konnte, anstatt auf der tatsächlichen Physik des Prozesses.

Um dies zu lösen, wurde das SHIELD-Framework entwickelt, um drei spezifische Arten von Beziehungen zu handhaben, die zu Leckagen führen. Erstens betrachtet es die hierarchische Inklusion, die verwandte Gruppen, wie eine Familie von Legierungen oder eine Gruppe von Proteinvarianten, zusammen in demselben Stapel hält, damit sie nicht in den anderen gelangen können. Zweitens untersucht es die Merkmals-Mannigfaltigkeit (Feature Manifold), eine Art, die Nähe verschiedener Datenpunkte zueinander basierend auf ihren Eigenschaften abzubilden, um sicherzustellen, dass Nachbarn in dieser Abbildung nicht getrennt werden. Drittens verwaltet es die Verteilung, indem es sicherstellt, dass die Gesamtverteilung der Daten im Testdatensatz entweder eine kontrollierte Übereinstimmung mit einem bekannten zukünftigen Szenario oder eine bewusste Verschiebung darstellt, um ein völlig unbekanntes Szenario zu simulieren. Die Innovation besteht darin, dass SHIELD diese Regeln nicht nacheinander anwendet, was die Arbeit des vorherigen Schritts zunichtemachen könnte. Stattdessen optimiert es alle drei gleichzeitig und findet ein Gleichgewicht, bei dem die Daten so getrennt werden, dass die Notwendigkeit der Trennung erfüllt wird, ohne die natürliche Struktur der Wissenschaft zu brechen.

Das Team validierte diese Methode über ein breites Spektrum wissenschaftlicher Disziplinen hinweg. Bei der Untersuchung von glasbildenden Legierungen stellten sie fest, dass einige bestehende Methoden die Daten zwar effektiv trennen konnten, aber oft das Gleichgewicht der Klassen störten, was zu irreführenden Ergebnissen führte. SHIELD gelang es, die Klassen ausgewogen zu halten und gleichzeitig eine schwierige Testumgebung zu schaffen. Im Bereich der Quantenchemie, wo das Ziel darin besteht, die Energiezustände kleiner organischer Moleküle vorherzusagen, trennte die neue Methode die Trainings- und Testsets erfolgreich in einer Weise, die die Computermodelle dazu zwang, wirklich zu extrapolieren. Als die Forscher Standard-Maschinenlernmodelle mit diesen neuen Aufteilungen testeten, waren die Ergebnisse aufschlussreich. Modelle, die zuvor bei zufälligen Aufteilungen eine hohe Genauigkeit gezeigt hatten, verzeichneten einen signifikanten Leistungsabfall und versagten teilweise sogar vollständig. Dieser Abfall war kein Zeichen dafür, dass die Modelle defekt waren, sondern vielmehr, dass die vorherigen Tests zu einfach gewesen waren. Die neuen Aufteilungen legten die Unfähigkeit der Modelle offen, mit Daten umzugehen, die sich tatsächlich außerhalb ihrer Trainingserfahrung befanden.

Einer der beeindruckendsten Befunde stammte aus dem Datensatz der additiven Fertigung, der 1.579 Konstruktionen von Metallteilen aus sechs verschiedenen Legierungen auf 45 verschiedenen Druckermodellen umfasste. Als die Forscher mit SHIELD ganze Familien von Legierungen aus den Trainingsdaten heraushielten, hatten die Computermodelle enorme Schwierigkeiten. Ein neuronales Netzmodell, das bei anderen Aufteilungen gut abgeschnitten hatte, brach zusammen und lieferte völlig ungenaue Vorhersagen. Dies geschah, weil das Modell diesen spezifischen Typ einer Legierung noch nie gesehen hatte und sich nicht auf einfaches Musterabgleichen verlassen konnte. Im Gegensatz dazu schnitten die Modelle viel besser ab, wenn die Forscher stattdessen ein spezifisches Druckermodell heraushielten. Diese Asymmetrie lieferte eine entscheidende Erkenntnis: Die Familie der Legierungen stellte eine fundamentale physikalische Barriere dar, die das Modell nicht überwinden konnte, während die Identität des Druckers eine weniger signifikante Variable war. Das SHIELD-Framework war in der Lage, zwischen diesen beiden Arten von Herausforderungen zu unterscheiden und half den Wissenschaftlern zu verstehen, welche Aspekte ihrer Daten tatsächlich schwer vorherzusagen waren.

Die Forscher demonstrierten auch, dass ihre Methode durch eine Technik namens Coarsening (Vergröberung) große Datensätze handhaben kann. Für sehr große Datensammlungen ist die Berechnung der Beziehungen zwischen jedem einzelnen Punkt rechnerisch unmöglich. SHIELD löst dies, indem es verwandte Elemente vor der Aufteilung basierend auf ihrer Hierarchie in größere „Superknoten“ gruppiert. Dies reduzierte die Größe des Problems in einem ihrer Tests um den Faktor über 1.600, wobei die Qualität der Aufteilung ebenso streng blieb, als hätte man jeden einzelnen Datenpunkt individuell verarbeitet. Diese Skalierbarkeit bedeutet, dass die Methode auf die größten wissenschaftlichen Datensätze angewendet werden kann, ohne ihre Fähigkeit zu verlieren, subtile Formen der Leckage zu erkennen. Das Team führte zudem eine neue Art der Messung der Schwierigkeit einer Aufteilung ein, den Discovery Normalized Squared Error. Diese Metrik betrachtet, wie stark der Fehler beim Übergang von Trainingsdaten zu Testdaten anwächst, und liefert so ein klareres Bild davon, wie gut ein Modell performen wird, wenn es auf das Unbekannte trifft.

Die Studie kommt zu dem Schluss, dass die Art und Weise der Datenaufteilung nicht nur ein technisches Detail ist, sondern ein fundamentaler Bestandteil der wissenschaftlichen Fragestellung selbst. Wenn die Aufteilung zulässt, dass Informationen abfließen, misst der Benchmark das Falsche. Durch die gleichzeitige Optimierung der strukturellen Beziehungen in den Daten bietet SHIELD eine ehrlichere Bewertung der Fähigkeit eines Modells, neues Wissen zu entdecken. Die Forscher betonen, dass dies keine magische Lösung ist, die alle Probleme behebt, sondern ein Werkzeug, das Wissenschaftler dazu zwingt, strenger zu prüfen, was sie eigentlich testen. Die Ergebnisse legen nahe, dass viele Modelle, die derzeit in der wissenschaftlichen Literatur gefeiert werden, eher dazu neigen, sich auf die Eigenheiten ihrer Trainingsdaten einzustellen (Overfitting), anstatt die Naturgesetze zu erlernen. Durch die Verwendung einer Methode, die die wahre Struktur wissenschaftlicher Daten respektiert, können Forscher Modelle bauen, die wirklich bereit für die Herausforderungen der Entdeckung sind – um sicherzustellen, dass eine Vorhersage eines Computers über ein neues Material oder ein neues Medikament auf echtem Verständnis basiert und nicht auf einem glücklichen Zufallstreffer.