Wissenschaftler stehen seit langem vor einem grundlegenden Rätsel: Wie lernt man die verborgenen Regeln des Universums, wenn man nur deren Ergebnisse sehen kann? Stellen Sie sich vor, man betrachtet einen Schatten an einer Wand und versucht, die genaue Form des Objekts zu bestimmen, das ihn wirft. In Bereichen, die von der Astronomie bis zur Teilchenphysik reichen, beobachten Forscher Daten – Licht von fernen Sternen, Kollisionen von subatomaren Teilchen oder Muster in der Atmosphäre – und müssen rückwärts arbeiten, um die Eigenschaften abzuleiten, die sie erzeugt haben. Dies ist als inverses Problem bekannt. Jahrzehntelang verließen sich Wissenschaftler auf komplexe mathematische Formeln, um diese Deduktionen vorzunehmen, aber da unsere Instrumente leistungsfähiger geworden sind und riesige Mengen hochauflösender Daten generieren, sind jene alten Formeln oft zu langsam oder zu schwierig anzuwenden geworden. Als Reaktion darauf haben sich viele der generativen Künstlichen Intelligenz zugewandt. Dies sind Computersysteme, die auf Beispielen trainiert wurden und lernen können, die verborgenen Ursachen beobachteter Daten mit unglaublicher Geschwindigkeit vorherzusagen. Sie sind zu unverzichtbaren Werkzeugen für die Analyse von allem geworden, von den Bildern des James-Webb-Weltraumteleskops vom frühen Universum bis hin zum chaotischen Sprühregen von Teilchen in Detektoren unter der Erde.

Es ist jedoch ein kritischer Fehler in diesem neuen Ansatz aufgetreten. Während diese Modelle der Künstlichen Intelligenz exzellent darin sind, die wahrscheinlichste Antwort zu erraten, versäumen sie es oft, den Wissenschaftlern mitzuteilen, wie sicher sie sich sein sollten. Wenn ein Modell auf einem spezifischen Satz von Beispielen trainiert wurde, kann es übermäßig selbstbewusst werden und enge, präzise klingende Antworten liefern, die tatsächlich falsch sind, insbesondere wenn die realen Daten, mit denen es konfrontiert wird, sich leicht von seinen Trainingsdaten unterscheiden. Das ist gefährlich für die Entdeckung. Wenn ein Wissenschaftler glaubt, eine Messung sei präzise, obwohl sie es nicht ist, könnte er falsche Schlüsse über die Existenz neuer Teilchen oder die Geschichte einer Galaxie ziehen. Die Kernherausforderung besteht nicht nur darin, eine Vorhersage zu treffen, sondern sicherzustellen, dass der Bereich der möglichen Antworten, den der Computer liefert, tatsächlich den wahren Wert mit einer bekannten, zuverlässigen Wahrscheinlichkeit enthält, ungeachtet dessen, was der wahre Wert auch immer sein mag.

Ein Team von Forschern hat nun eine Lösung für dieses Problem entwickelt und ein neues Protokoll namens Frequentist-Bayes, oder FreB, eingeführt. Diese Methode fungiert als strenge Qualitätskontrolle für die Ausgaben der generativen KI. Anstatt einfach die erste Vermutung der KI zu akzeptieren, formt FreB die Wahrscheinlichkeitskarte des Computers in eine statistisch vertrauenswürdige Konfidenzregion um. Der Prozess beginnt damit, die KI auf einem großen Satz beschrifteter Beispiele zu trainieren, bei denen sowohl die verborgenen Eigenschaften als auch die resultierenden Daten bekannt sind. Die KI lernt, eine „Posterior“-Verteilung zu erstellen, was im Wesentlichen eine Karte ist, die zeigt, wo die wahre Antwort wahrscheinlich zu finden ist. Die Forscher verwenden dann einen separaten Satz von Kalibrierungsdaten, um dem System beizubringen, wie es diese Karte anpassen kann. Sie transformieren die Rohwahrscheinlichkeiten der KI in sogenannte p-Wert-Funktionen. Diese Funktionen wirken wie ein kalibriertes Lineal und stellen sicher, dass, wenn das System eine Grenze um eine Menge möglicher Antworten zieht, diese Grenze den wahren Wert genau so oft enthält, wie die Wissenschaftler es behaupten.

Die Stärke dieses Ansatzes liegt in seiner Fähigkeit, mit realen Unvollkommenheiten umzugehen. In vielen wissenschaftlichen Studien stimmt der Datensatz, der für das Training der KI verwendet wird, nicht perfekt mit den untersuchten Daten überein. Dieser Mismatch, bekannt als Dataset Shift, kann auftreten, weil Teleskope auf eine bestimmte Weise gebaut sind, welche Sterne sie sehen können oder weil die für das Training verwendeten theoretischen Modelle leicht ungenau sind. Traditionelle KI-Methoden produzieren in diesen Situationen oft verzerrte Ergebnisse, da sie sich zu stark an den Trainingsdaten orientieren. FreB ist jedoch darauf ausgelegt, diese Unterschiede zu korrigieren. Durch die Verwendung der Kalibrierungsdaten, um die notwendigen Anpassungen zu erlernen, stellt die Methode sicher, dass die endgültigen Konfidenzregionen auch dann gültig bleiben, wenn die Trainingsdaten und die Ziel-Daten aus unterschiedlichen Verteilungen stammen. Die Forscher zeigten, dass dies selbst dann funktioniert, wenn das KI-Modell selbst leicht misspezifiziert ist, was bedeutet, dass das zugrunde liegende Physikmodell, das zur Generierung der Trainingsbeispiele verwendet wurde, keine perfekte Repräsentation der Realität darstellt.

Um zu beweisen, dass ihre Methode funktioniert, testete das Team sie an drei unterschiedlichen Herausforderungen in den Naturwissenschaften. Im ersten Fall befassten sie sich mit der Rekonstruktion von Gammastrahlen – hochenergetische Teilchen aus dem Weltraum, die nicht direkt gesehen werden können, sondern durch die Schauer sekundärer Teilchen, die sie in der Erdatmosphäre erzeugen, erschlossen werden. Die KI wurde mit Daten vom Krebsnebel trainiert, einer bekannten Quelle, wurde dann aber gebeten, Signale von einer Dunkle-Materie-Quelle zu identifizieren, die sehr unterschiedliche, seltenere Muster erzeugt. Standardmäßige KI-Methoden scheiterten hier und lieferten Schätzungen, die zu den Energieniveaus der Trainingsdaten verzerrt waren und die wahren, höheren Energieereignisse verpassten. Die FreB-Methode gelang es jedoch, die Ausgabe der KI so umzugestalten, dass sie gültige Konfidenzintervalle lieferte, die die wahre Energie der seltenen Ereignisse korrekt erfassten, was es den Wissenschaftlern ermöglichte, zwischen verschiedenen astrophysikalischen Quellen mit Zuverlässigkeit zu unterscheiden.

Der zweite Test betraf das Verständnis der Geschichte unserer eigenen Galaxie, der Milchstraße. Astronomen verwenden unterschiedliche theoretische Modelle, um zu beschreiben, wie Sterne verteilt sind und wie sie sich bewegen. Diese Modelle können manchmal zu widersprüchlichen Schlussfolgerungen über das Alter oder die chemische Zusammensstellung eines Sterns führen. Als die Forscher die Standard-KI-Inferenz anwandten, produzierten die verschiedenen Modelle Ergebnisse, die sich stark voneinander und von den wahren Werten unterschieden und keinen klaren Weg boten, um diesen Spannungen entgegenzuwirken. Durch die Anwendung von FreB gelang es dem Team, die Ausgaben beider Modelle anzupassen. Das Ergebnis war eine Menge von Konfidenzregionen, die trotz unterschiedlicher Ausgangsannahmen beide die wahren Eigenschaften des Sterns korrekt enthielten. Dies zeigte, dass FreB in der Lage ist, konkurrierende Theorien zu versöhnen, indem es sicherstellt, dass die Unsicherheitsschätzungen ehrlich und konsistent sind, unabhängig vom verwendeten zugrunde liegenden Modell.

Die letzte Herausforderung adressierte das Problem des Selektionsbias, ein häufiges Problem in großen astronomischen Durchmusterungen. Teleskope können oft nicht jeden Stern gleichermaßen sehen; sie sind besser darin, helle, große Sterne zu entdecken als schwache, kleine. Das bedeutet, dass die für das Training von KI-Modellen verwendeten Daten oft verzerrt sind und genau die Objekte fehlen, die Wissenschaftler am meisten untersuchen wollen. In diesem Experiment simulierten die Forscher ein Szenario, in dem die KI mit Daten trainiert wurde, die von großen, hellen Sternen dominiert wurden, die dann aber angewiesen wurde, die Eigenschaften kleinerer, schwächerer Sterne wie unsere Sonne zu schätzen. Die unkorrigierte KI lieferte systematisch falsche Schätzungen und deckte die wahren Werte für diese kleineren Sterne nicht ab. FreB korrigierte diesen Bias, indem es einen kleinen Satz von Folgedaten nutzte, um das System zu rekalibrieren. Die angepasste Methode lieferte Konfidenzregionen, die sowohl eng als auch präzise waren, und erfasste erfolgreich die wahren Parameter der schwachen Sterne, obwohl die Trainingsdaten massiv gegen sie verzerrt waren.

Die Bedeutung dieser Arbeit erstreckt sich über diese spezifischen Beispiele hinaus. Sie liefert eine mathematische Garantie dafür, dass die von diesen leistungsstarken KI-Werkzeugen generierten Konfidenzintervalle vertrauenswürdig sind. In der Vergangenheit mussten Wissenschaftler darauf hoffen, dass ihre Modelle genau genug waren, um gültige Unsicherheitsschätzungen zu liefern. Jetzt haben sie ein Protokoll, das in der Lage ist, ein schnelles, flexibles KI-Modell zu nehmen und seine Ausgabe so umzugestalten, dass sie den strengen Standards des wissenschaftlichen Beweises entspricht. Dies bedeutet, dass Forscher in Feldern, in denen direkte Berechnungen unmöglich oder zu teuer sind, generative KI nutzen können, um komplexe Systeme mit demselben Maß an statistischer Strenge zu erforschen, das sie von traditionellen Methoden erwarten würden. Die Methode ist effizient, erfordert keine Neukalibrierung beim Einsatz auf neue Daten und funktioniert selbst dann, wenn die Trainingsdaten unvollkommen sind. Indem sie die Lücke zwischen der Geschwindigkeit moderner Künstlicher Intelligenz und der Zuverlässigkeit klassischer Statistik schließen, bietet FreB einen Weg zu vertrauenswürdigerer wissenschaftlicher Entdeckung und stellt sicher, dass Wissenschaftler, wenn sie auf die Schatten an der Wand blicken, sich über die Form des Objekts, das sie wirft, sicher sein können.