🔬 materials science

Comparative study of ensemble-based uncertainty quantification methods for neural network interatomic potentials

Diese Studie evaluiert systematisch Ensemble-basierte Methoden zur Unsicherheitsquantifizierung für neuronale Netz-Interatompotenziale und zeigt auf, dass die Vorhersagepräzision in Out-of-Distribution-Regimen oft nicht zuverlässig als Indikator für die Genauigkeit dient, da sie häufig stagniert oder abnimmt, während die Fehler ansteigen, wodurch grundlegende Einschränkungen bei der Verwendung von Unsicherheitsschätzungen als Stellvertreter für die Genauigkeit in groß angelegten Materialsimulationen hervorgehoben werden.

Ursprüngliche Autoren: Yonatan Kurniawan (Department of Physics and Astronomy, Brigham Young University, Provo, Utah, USA), Mingjian Wen (Institute of Fundamental and Frontier Sciences, University of Electronic Science and

Veröffentlicht 2026-07-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yonatan Kurniawan (Department of Physics and Astronomy, Brigham Young University, Provo, Utah, USA), Mingjian Wen (Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China, Chengdu, China), Ellad B. Tadmor (Department of Aerospace Engineering and Mechanics, University of Minnesota, Minneapolis, Minnesota, USA), Mark K. Transtrum (Cross Stream Consulting, Springville, UT, USA)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Computern beibringen, das Verhalten von Atomen zu erraten

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, vorherzusagen, wie sich ein Material (wie Diamant oder Graphit) verhalten wird. Um dies zu tun, benötigt der Computer ein „Regelwerk“, das man Interatomares Potenzial nennt.

Traditionell nutzten Wissenschaftler zwei Arten von Regelwerken:

Das „superpräzise“ Regelwerk (Quantenphysik): Es ist unglaublich genau, aber ein Supercomputer benötigt Jahre, um nur wenige Atome zu berechnen. Es ist zu langsam für große Projekte.
Das „schnelle & einfache“ Regelwerk (Klassische Physik): Es ist sehr schnell, macht aber oft Fehler, weil es zu simpel ist.

Maschinelles Lernen (ML) ist der neue Mittelweg. Es ist wie ein Schüler, der das „superpräzise“ Regelwerk tausendfach liest und dann lernt, seine eigene „schnelle & einfache“ Version zu schreiben, die fast genauso gut ist, aber in Sekunden läuft. Diese werden als Maschinelle Lern-Interatomare Potenziale (MLIPs) bezeichnet.

Das Problem: Der „selbstbewusste Narr“

Das Hauptproblem, das diese Arbeit angeht, ist das Vertrauen.

Wenn ein Schüler (die KI) aus einem Lehrbuch lernt, ist er großartig darin, Fragen zu beantworten, die exakt so aussehen wie die im Buch. Dies nennt man „In-Distribution“ (ID). Wenn Sie fragen: „Wie hoch ist die Energie eines Diamantatoms bei Raumtemperatur?“ und die KI das in ihrem Training gesehen hat, wird sie wahrscheinlich die richtige Antwort geben.

Aber was passiert, wenn Sie eine Frage stellen, die die KI noch nie gesehen hat? Vielleicht fragen Sie nach einem Diamanten unter extremem Druck oder einer seltsamen Form, mit der sie noch nie konfrontiert wurde? Dies nennt man „Out-of-Distribution“ (OOD).

Die Arbeit stellt die Frage: Kann die KI uns sagen, wann sie nur rät?

In der Welt der KI nutzen wir Unsicherheit als „Konfidenz-Meter“ (Vertrauensanzeige).

Hohe Unsicherheit: „Ich bin mir bei dieser Antwort nicht sicher. Ich könnte falsch liegen.“ (Das ist gut! Es warnt uns, vorsichtig zu sein.)
Niedrige Unsicherheit: „Ich bin mir zu 100 % sicher!“ (Das ist gut, wenn die Antwort richtig ist, aber gefährlich, wenn sie falsch ist.)

Das Ziel der Arbeit ist es zu sehen, ob das „Konfidenz-Meter“ der KI tatsächlich funktioniert, wenn die KI gezwungen ist, bei neuen, merkwürdigen Daten zu raten.

Das Experiment: Die „Lerngruppen“-Analogie

Um dies zu testen, haben die Forscher nicht nur eine einzige KI trainiert. Sie haben 100 verschiedene Versionen derselben KI trainiert. Stellen Sie sich das wie eine Lerngruppe von 100 Schülern vor, die alle dasselbe Lehrbuch studiert haben, aber aufgrund ihrer unterschiedlichen Notizen etwas anderes gelernt haben.

Sie verwendeten vier verschiedene Wege, um diese „Lerngruppe“ (Ensembles) zu erstellen:

Bootstrap: Jedem Schüler wurde ein leicht anderes Set an Übungsaufgaben gegeben (Resampling der Daten).
Dropout: Während des Tests wurden zufällig einigen Schülern gesagt, sie sollen „den Mund halten“ (einen Teil ihres Wissens ignorieren), sodass die Gruppe auf unterschiedliche Ideen angewiesen ist.
Zufällige Initialisierung: Jedem Schüler wurde ein anderes „Startgehirn“ (zufällige Gewichte) gegeben, noch bevor er überhaupt mit dem Lernen begann.
Snapshots: Man machte Fotos vom Gehirn eines Schülers zu verschiedenen Zeiten während seiner Lernsitzung und behandelte diese Fotos als verschiedene Schüler.

Die Forscher baten dann alle 100 Schüler, das Verhalten von Kohlenstoffatomen in drei Formen vorherzusagen: Diamant, Graphit und Graphen.

Die Ergebnisse: Der „selbstbewusste Narr“ schlägt erneut zu

Hier ist das, was sie herausgefunden haben, einfach aufgeschlüsselt:

1. Wenn die KI in ihrer „Komfortzone“ ist (In-Distribution)

Wenn die Fragen denen ähnlich waren, die die KI im Studium gesehen hat, funktionierte das „Konfidenz-Meter“ ganz gut. Wenn die KI unsicher war, lag das meist daran, dass die Antwort tatsächlich schwierig war. Wenn sie selbstbewusst war, lag sie meistens richtig. Die verschiedenen Lerngruppen (Ensembles) verhielten sich hier ähnlich.

2. Wenn die KI an ihre Grenzen stößt (Out-of-Distribution)

Hier wurde es merkwürdig und gefährlich. Die Forscher baten die KI vorherzusagen, was passiert, wenn man die Materialien extrem dehnt oder staucht (wie einen Diamanten zusammenzupressen, bis er winzig klein ist).

Die KI gab die Antwort falsch an. (Die Vorhersagen stimmten nicht mit der Realität überein).
Die KI sagte: „Ich bin mir zu 100 % sicher, dass ich recht habe!“ (Das Unsicherheits-Meter blieb niedrig).

Dies ist das Problem des „selbstbewussten Narren“. Die KI stellt selbstbewusst falsche Fakten auf.

3. Die kontraintuitive Wendung

Normalerweise würde man erwarten, dass mit zunehmender Entfernung von dem, was die KI weiß, ihr „Konfidenz-Meter“ steigt (sie sollte sagen: „Halt, das ist merkwürdig, ich bin mir nicht sicher!“).

Aber die Arbeit fand das Gegenteil.
Je weiter die KI in das Unbekannte gedrängt wurde (extremes Dehnen oder Stauchen), desto mehr stieg ihre Unsicherheit nicht an. Tatsächlich sank sie manchmal oder blieb flach.

Analogie: Stellen Sie sich einen Fahrer vor, der bisher nur auf einer geraden Autobahn gefahren ist. Wenn man ihn plötzlich fragt, auf einem steilen, vereisten Gebirgspass zu fahren, würde ein kluger Fahrer sagen: „Das kann ich nicht!“
Der KI-Fahrer: Stattdessen sagt der KI-Fahrer: „Ich bin ein Experte!“ und fährt mit 100 mph weiter, obwohl er kurz vor dem Absturz steht. Die „Unsicherheit“ nahm sogar ab, während die Situation gefährlicher wurde.

Warum passiert das?

Die Forscher versuchten herauszufinden, warum die KI so selbstbewusst wird, wenn sie falsch liegt. Sie hatten dazu einige Theorien:

Das „gesättigte Gehirn“: Die KI nutzt eine mathematische Funktion (wie einen Schalter, der nur voll „an“ oder voll „aus“ sein kann). Wenn der Input zu extrem wird, bleibt der Schalter einfach auf „an“ hängen, was die KI glauben lässt, sie wisse die Antwort perfekt, obwohl sie nur rät.
Der „Gruppendenk-Effekt“: Obwohl sie 100 verschiedene KI-Modelle hatten, begannen sie alle, bei einer völlig neuen Situation dieselbe falsche Vermutung anzustellen. Da sie sich alle einig waren, dachte das System: „Nun, wenn wir uns 100 Leute einig sind, müssen wir wohl recht haben!“

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir dem „Konfidenz-Meter“ der KI nicht blind vertrauen können, wenn sie Vorhersagen über Dinge trifft, die sie noch nie gesehen hat.

Wenn die KI sagt: „Ich bin mir nicht sicher“, ist das wahrscheinlich eine gute Warnung.
Aber wenn die KI sagt: „Ich bin mir zu 100 % sicher“, könnte sie lügen. Sie könnte mit voller Überzeugung etwas völlig Falsches vorhersagen.

Die Autoren warnen davor, dass Wissenschaftler beim Einsatz dieser KI-Werkzeuge für große, neue Experimente sehr vorsichtig sein müssen. Nur weil der Computer sagt, dass er präzise ist, bedeutet das nicht, dass er es auch ist – besonders wenn der Computer gebeten wird, etwas zu tun, wofür er nicht trainiert wurde.

Wichtige Erkenntnis: In der Welt der Materialwissenschaften mit KI gilt: Präzision (Konfidenz) ist nicht gleich Genauigkeit (Wahrheit). Man kann gleichzeitig extrem präzise und völlig falsch liegen.