When Literature Data Mislead Artificial Intelligence in Materials Discovery

Stellen Sie sich eine Welt vor, in der Wissenschaftler nicht mehr Jahre im Labor verbringen, um ein Material nach dem anderen zu testen. Stattdessen bitten sie einen Computer, Millionen von Forschungsarbeiten zu scannen, die besten Zahlen zu finden und vorherzusagen, welche neuen Substanzen für Batterien oder Solarzellen am besten funktionieren werden. Dies ist das Versprechen der künstlichen Intelligenz in der Materialwissenschaft. Die Idee ist: Wenn ein Computer jede jemals veröffentlichte Experimentierung lesen kann, kann er die verborgenen Regeln des Materieverhaltens erlernen und die perfekten Materialien für unseren zukünftigen Energiebedarf entwerfen. Doch diese Vision beruht auf einer fragilen Annahme: dass die Zahlen, die in jenen alten Papieren stehen, genau das sind, was sie zu sein vorgeben. Wenn ein Wissenschaftler schreibt, dass ein Material Elektrizität mit einer bestimmten Stärke leitet, geht der Computer davon aus, dass diese Zahl wahr, klar und bereit zur Verwendung ist.

Ein Forschungsteam der Tohoku-Universität und der Universität Tokio hat festgestellt, dass diese Annahme gefährlich falsch ist. Sie untersuchten genau, wie Wissenschaftler Daten für feste Elektrolyte berichten, also jene speziellen Materialien, die es Ionen innerhalb von Batterien der nächsten Generation fließen lassen. Ihre Untersuchung zeigt, dass die Zahlen, die aus der wissenschaftlichen Literatur extrahiert werden, oft nicht nur leicht daneben liegen, sondern grundlegend irreführend sind. Das Problem ist nicht, dass die ursprünglichen Wissenschaftler Fehler gemacht haben, sondern dass die Art und Weise, wie sie ihre Ergebnisse berichten, oft mehrdeutig ist. Eine Zahl kann im Text korrekt sein, aber in der Grafik falsch, oder die Einheiten könnten so vertauscht sein, dass sich der Wert um das Hundertfache ändert. Wenn KI-Systeme diese Zahlen greifen, um ihre Modelle aufzubauigen, lernen sie unwissentlich aus einer verzerrten Realität, indem sie vage Beschreibungen als harte Fakten behandeln.

Die Forscher begannen damit, wissenschaftliche Arbeiten nicht als fertige Erzählungen, sondern als Rohdatenquellen zu behandeln. Sie konzentrierten sich auf die Ionenleitfähigkeit, ein Maß dafür, wie leicht Elektrizität durch ein festes Material fließt. Dieser Wert ist entscheidend für die Entscheidung, ob ein Material gut genug für eine Batterie ist. In einer perfekten Welt würde ein Forscher diesen Wert messen, ihn aufschreiben und die nächste Person würde ihn lesen und exakt so verwenden, wie er ist. In der Realität ist der Weg vom Labornotizbuch in eine Computerdatenbank voller versteckter Fallen. Das Team verfolgte tausende gemeldete Werte aus ihren Originalartikeln bis hin zu kuratierten Datenbanken, die zum Trainieren künstlicher Intelligenz verwendet werden. Sie fanden heraus, dass dieser Weg oft mit dem Raten darüber einherging, was der ursprüngliche Autor gemeint hatte, und diese Vermutungen waren häufig falsch.

Ein häufiges Problem, das das Team fand, war eine Diskrepanz zwischen Text und Abbildungen. Ein Wissenschaftler könnte im Hauptabsatz schreiben, dass ein Material bei Raumtemperatur eine bestimmte Leitfähigkeit besitzt, aber wenn die Forscher die eigentliche Grafik in derselben Arbeit betrachteten, erzählte der Datenpunkt für diese Temperatur eine andere Geschichte. Die Zahl im Text könnte etwas höher oder niedriger sein als diejenige, die in der Grafik dargestellt ist. Für einen menschlichen Leser mag dies wie ein kleiner Tippfehler oder ein Rundungsfehler erscheinen. Aber für einen Computer, der jede Zahl als präzisen Fakt behandelt, erzeugt dies einen Konflikt. Der Computer weiß nicht, welcher Zahl er vertrauen soll. Wenn dies in hunderten von Papieren geschieht, füllt sich die Datenbank mit widersprüchlichen Informationen, die oberflächlich korrekt aussehen, aber tatsächlich unzuverlässig sind.

Eine weitere große Quelle der Verwirrung war die Art und Weise, wie Grafiken beschriftet wurden. Wissenschaftliche Arbeiten verwenden oft komplexe Diagramme, um zu zeigen, wie sich die Leitfähigkeit mit der Temperatur verändert. Diese Diagramme haben meist Achsen mit spezifischen Beschriftungen, aber manchmal sind diese Beschriftungen vage oder fehlen gänzlich. Ein Forscher könnte einen Wert auftragen, ohne klar anzugeben, ob dieser die Rohleitfähigkeit oder eine mathematische Transformation dieses Wertes darstellt. Ohne diese Klarheit könnten zwei verschiedene Personen, die dieselbe Grafik lesen, zwei völlig unterschiedliche Zahlen extrahieren. Das Team zeigte, dass man – je nachdem, wie man die Achse interpretiert – denselben Datenpunkt als sehr hohe oder sehr niedrige Leitfähigkeit lesen kann. Diese Unterschiede sind keine zufälligen Fehler; es sind strukturierte Fehler, die einem Muster folgen, was es für einen Computer sehr schwer macht, sie als falsch zu erkennen.

Die gefährlichsten Fehler betrafen die Maßeinheiten. In der Wissenschaft kann Leitfähigkeit in verschiedenen Einheiten angegeben werden, etwa pro Zentimeter oder pro Meter. Ein Unterschied von einer Einheit kann den Wert um den Faktor einhundert verändern. Die Forscher fanden Fälle, in denen eine Arbeit eindeutig einen Wert in einer Einheit angab, die Grafik oder ein späterer Datenbankeintrag diesen jedoch so behandelte, als wäre er in einer anderen Einheit. Da die Zahlen dennoch plausibel aussahhen – sie lagen im Bereich dessen, was physikalisch für diese Materialien möglich ist – blieb der Fehler unbemerkt. Ein Computer, der die Daten liest, würde die falsche Zahl als Wahrheit akzeptieren. In einem spezifischen Fall, den das Team untersuchte, wurde ein Wert so fehlinterpretiert, dass ein hundertfacher Fehler entstand. Dieser eine Fehler wurde, einmal in eine Datenbank eingetragen, dann von anderen Forschern und Machine-Learning-Modellen kopiert und wiederverwendet, wodurch sich der Fehler wie ein Virus durch die wissenschaftliche Dokumentation verbreitete.

Das Team analysierte eine große Sammlung von Papieren über sowohl gelbasierte als auch anorganische feste Elektrolyte. Sie fanden heraus, dass Text-Abbildungs-Diskrepanzen bei Gel-Elektrolyten häufig vorkamen und in etwa zehn Prozent der von ihnen geprüften Arbeiten auftraten. Bei anorganischen Materialien waren die Probleme noch vielfältiger, wobei Inkonsistenzen bei den Einheiten das häufigste Problem darstellten. In einer Stichprobe von sechzehn anorganischen Fällen identifizierten die Forscher fünfundzwanzig separate Instanzen von Berichtsambiguität. Das bedeutet, dass ein einzelnes Papier mehrere Arten von Fehlern enthalten kann. Die Daten zeigten, dass dies nicht bloß isolierte Vorfälle von Unachtsamkeit waren, sondern ein strukturelles Problem in der Art und Weise, wie wissenschaftliche Ergebnisse kommuniziert werden. Selbst Experten auf diesem Gebiet hatten Schwierigkeiten, die Daten korrekt zu interpretieren, ohne Annahmen zu treffen, was darauf hindeutet, dass das Problem tief in dem aktuellen System der wissenschaftlichen Publikation verwurzelt ist.

Die Forscher argumentieren, dass dies nicht nur ein Problem für Bibliothekare oder Datenbankmanager ist; es ist eine Krise für die Zukunft der künstlichen Intelligenz in der Wissenschaft. Machine-Learning-Modelle sind nur so gut wie die Daten, mit denen sie gefütert werden. Wenn die Trainingsdaten voller verborgener Mehrdeutigkeiten und Einheitenfehler sind, wird das Modell die falschen Muster erlernen. Es könnte vorhersagen, dass ein Material exzellent ist, obwohl es eigentlich unbrauchbar ist, oder es könnte einen bahnbrechenden Kandidaten gänzlich übersehen. Das Team fand heraus, dass diese Fehler als eine Form von „strukturierter Label-Rauschigkeit“ (structured label noise) wirken. Im Gegensatz zu zufälligen Fehlern, die sich vielleicht im Durchschnitt ausgleichen würden, sind diese Fehler konsistent und systematisch, was bedeutet, dass sie das Lernen des Computers in eine bestimmte Richtung verzerren können. Das Ergebnis ist ein Modell, das zwar selbstbewusst erscheint, aber fundamental fehlerhaft ist.

Um dies zu beheben, schlagen die Autoren einen neuen Standard dafür vor, wie Wissenschaftler ihre Ergebnisse berichten. Sie schlagen vor, dass Forscher viel expliziter über die Details sein müssen, die derzeit ausgelassen werden. Jede Grafik sollte eindeutig angeben, was dargestellt wird und in welchen Einheiten. Die Temperatur, bei der ein Wert gemessen wurde, sollte exakt angegeben werden und nicht nur als „Raumtemperatur“ beschrieben werden. Autoren sollten klären, ob eine Zahl direkt gemessen oder aus einer Kurve berechnet wurde. Dies mögen kleine, langweilige Details sein, doch die Forscher betonen, dass sie das Fundament vertrauenswürdiger Wissenschaft sind. Ohrem fehlen diese Details, können die Daten nicht sicher von Computern oder anderen Wissenschaftlern wiederverwendet werden.

Die Studie kommt zu dem Schluss, dass die Zuverlässigkeit wissenschaftlicher Daten ein Infrastrukturproblem ist, das ebenso wichtig ist wie die Algorithmen oder die Computer selbst. Während sich die Wissenschaft auf eine Zukunft zubewegt, in der Maschinen bei der Entdeckung neuer Materialien helfen, muss die menschliche Dokumentation von Experimenten im wahrsten Sinne des Wortes maschinenlesbar gemacht werden. Das bedeutet nicht nur, Zahlen zu haben, sondern Zahlen zu haben, die eindeutig, rückverfolgbar und konsistent sind. Die Forscher betonen, dass die Verbesserung der Datenqualität keine kleine redaktionelle Aufgabe ist, sondern eine Voraussetzung für die nächste Generation wissenschaftlicher Entdeckungen. Wenn der Input fehlerhaft ist, wird auch der Output fehlerhaft sein, egal wie intelligent die künstliche Intelligenz auch wird. Der Weg nach vorn erfordert einen kulturellen Wandel, bei dem die Klarheit der Berichterstattung ebenso hoch geschätzt wird wie die Entdeckung selbst, um sicherzustellen, dass die digitale Zukunft der Wissenschaft auf einem soliden Fundament gebaut wird.