No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
Diese Arbeit befasst sich mit der kritischen Herausforderung fehlerhafter Daten in aus Literatur extrahierten KI-Datensätzen, indem sie eine Taxonomie von Extraktionsfehlern sowie ein mehrschichtiges Verifizierungsframework vorschlägt, das physikalische Gesetze, statistischen Konsens und Provenienzprüfungen kombiniert, um die Modellgenauigkeit signifikant zu verbessern und falsche Entdeckungen in den Materialwissenschaften und verwandten Gebieten zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Um neue Materialien für schnellere Computer, langlebigere Batterien oder wirksamere Medikamente zu entdecken, wenden sich Wissenschaftler zunehmend der künstlichen Intelligenz zu. Diese digitalen Assistenten lernen durch das Studium riesiger Datensammlungen, in der Hoffnung, Muster zu finden, die offenbaren, welche chemischen Kombinationen am besten funktionieren werden. Für viele Eigenschaften, wie etwa die Energie, die eine Batterie speichern kann, oder wie ein Kristall das Licht bricht, existieren diese Zahlen an dem einzigen Ort, an dem sie vorkommen: verstreut über tausende von veröffentlichten wissenschaftlichen Arbeiten. Forscher haben Werkzeuge entwickelt, um diese Arbeiten automatisch zu lesen, Zahlen zu extrahieren und sie in Datenbanken umzuwandeln, die Maschinen verstehen können. Der Prozess jedoch, eine gedruckte Seite zu lesen und sie in eine saubere Liste von Zahlen zu verwandeln, ist weit davon entfernt perfekt zu sein. Ein Dezimalpunkt kann verschwinden, eine Maßeinheit kann mit einer anderen verwechselt werden oder ein Wert kann einem völlig falschen Material zugeordnet werden. Wenn ein Computer aus diesen Fehlern lernt, wird er nicht nur kleine Fehler machen; er wird Forscher selbstbewusst in die falsche Richtung führen und oft die extremsten und inkorrekten Zahlen als die besten Kandidaten auswählen.
Ein Team von Forschern am Dibakar Datta Laboratory setzte sich zum Ziel, dieses Problem zu lösen, indem es Datenfehler nicht als seltenen Fehler, sondern als einen erwarteten Teil des Prozesses behandelte. Sie konzentrierten sich auf elektrooptische Materialien, bei denen es sich um Kristalle handelt, die ihre Art und Weise, wie sie Licht brechen, ändern, wenn eine elektrische Spannung angelegt wird. Diese Materialien sind entscheidend für die Glasfasernetze, die Daten weltweit übertragen, und für zukünftige Quantencomputer. Das Team baute ein System, um Werte für diese Materialien aus der wissenschaftlichen Literatur zu extrahieren, aber sie entwarfen es mit einer spezifischen Philosophie: Kein Wert ist besser als ein falscher Wert. Anstatt zu versuchen, jeden Wert perfekt zu extrahieren, was sie für unmöglich hielten, bauten sie ein mehrschichtiges Sicherheitsnetz, um Fehler abzufangen, bevor sie die Modelle der künstlichen Intelligenz vergiften könnten.
Die Forscher identifizierten, dass Fehler in mehreren verschiedenen Phasen in die Datenbank gelangen. Manchmal liegt der Fehler im Originaldokument, wo ein Wert falsch gedruckt oder inkorrekt aus einer älteren Studie kopiert wurde. Ein anderes Mal tritt der Fehler auf, wenn ein Computerprogramm versucht, ein gescanntes Dokument zu lesen, wobei es eine Null mit dem Buchstaben O oder ein negatives Vorzeichen übersieht. Selbst wenn der Text korrekt gelesen wird, könnte der Computer eine Zahl dem falschen Label zuordnen, eine Messung eines Materials mit einer anderen verwechseln, oder er könnte die spezifischen Bedingungen übersehen, unter denen die Messung durchgeführt wurde, wie etwa die Temperatur oder den Druck. Um dies zu handhaben, entwickelte das Team einen fünfstufigen Filterprozess. Der erste Schritt prüft, ob die Daten oberflächlich korrekt aussehen, indem sichergestellt wird, dass die Einheiten stimmen und die Zahl tatsächlich im Quelltext erscheint. Der zweite Schritt wendet die Gesetze der Physik an und prüft, ob ein Wert physikalisch möglich ist, etwa indem sichergestellt wird, dass die Symmetrieregeln eines Kristalls nicht verletzt werden oder dass die Kapazität einer Batterie ihr theoretisches Limit nicht überschreitet.
Der dritte Schritt sucht nach Übereinstimmungen zwischen verschiedenen Studien. Wenn zehn Arbeiten einen Wert für dasselbe Material melden, sollten die korrekten Zahlen eng beieinander liegen, während zufällige Fehler als Ausreißer auffallen werden. Der vierte Schritt nutzt ein Modell der künstlichen Intelligenz, das auf den restlichen Daten trainiert wurde, um Werte aufzuspüren, die im Vergleich zu ähnlichen Materialien seltsam erscheinen. Der letzte Schritt ist eine gezielte Überprüfung durch einen menschlichen Experten, der nur jene Werte prüft, die die vorangegangenen Schritte als verdächtig markiert haben. Dieser Ansatz ermöglicht es dem Team, Fehler effizient zu handhaben, ohne dass ein Mensch jede einzelne Zahl überprüfen muss. In ihrem jüngsten Durchlauf stoppte dieses System 402 von 816 Kandidatenwerten und protokollierte jeweils einen spezifischen Grund, warum diese abgelehnt wurden oder zur weiteren Prüfung zurückgehalten wurden.
Trotz dieser strengen Filter stellten die Forscher fest, dass dennoch Fehler durchschlugen. Als sie die von ihrem System akzeptierten Werte mit einem sorgfältig kuratierten Referenzdatensatz verglichen, entdeckten sie, dass etwa 2-Prozent der akzeptierten Werte immer noch fehlerhaft waren. Einfache Prüfungen, die keine Referenzdatenbank erforderten, wie etwa die Verifizierung, ob die Symmetrieregeln eines Kristalls eingehalten wurden, erkannten 70 Prozent dieser verbleibenden Fehler. In einem kontrollierten Test, bei dem sie genau wussten, welche Zahlen falsch waren, fand ihr mehrschichtiges System 81 Prozent der Fehler mit hoher Präzision. Entscheidend war, dass sie zeigten, dass die Modelle der künstlichen Intelligenz ohne diesen Reinigungsprozess völlig in die Irre geführt worden wären. In ihren ungeklärten Daten waren 89 Prozent der zwanzig größten Werte Fehler. Da KI-Modelle, die darauf ausgelegt sind, die besten Materialien zu finden, naturgemäß nach den größten Werten suchen, würde eine ungeklärte Datenbank Forscher zu den schlechtesten Kandidaten führen und einen massiven Fehler fälschlicherweise als bahnbrechende Entdeckung ausgeben.
Die Studie enthüllte auch ein zweites, subtileres Problem. Selbst nachdem die falschen Zahlen entfernt worden waren, stellten die Forscher fest, dass viele Datensätze immer noch den Kontext vermissen ließen, der sie nützlich machen würde. Zum Beispiel könnten zwei Datensätze dasselbe Material und denselben Wert auflisten, aber einer wurde unter hohem Druck gemessen und der andere bei Raumtemperatur, und das System konnte sie nicht unterscheiden, weil die Information über den Druck im Text fehlte. Dieser Mangel an Kontext, den die Forscher als Bruchteil ununterscheidbarer Datensätze maßen, wurde zur Hauptbeschränkung dafür, wie gut die KI lernen konnte. Das Team kam zu dem Schluss, dass die Zukunft der datengesteuerten Wissenschaft nicht nur darin besteht, mehr Zahlen zu finden, sondern Datenbanken zu bauen, die ihre eigene Qualität verfolgen, ihre eigenen Fehler melden und die spezifischen Bedingungen speichern, unter denen jede Messung vorgenommen wurde. Indem sie zugeben, dass Fehler unvermeidlich sind und Systeme bauen, die sie abfangen, können Wissenschaftler sicherstellen, dass die künstliche Intelligenz, auf die sie sich verlassen, von der Realität lernt und nicht von einer Sammlung von Fehlern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.