From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

Die Wissenschaft hat sich lange auf eine einfache, tröstliche Idee verlassen: Wenn man ein Modell der Welt baut, kann man darauf vertrauen, dass es die Wahrheit sagt, sofern man es mit den richtigen Daten füttert. Doch eine neue Generation künstlicher Intelligenz verändert die Regeln. Dies sind nicht die alten Arten von Computern, die Informationen einfach in ordentliche Kategorien sortieren; es sind generative Modelle, Systeme, die darauf ausgelegt sind, völlig neue, komplexe Daten von Grund auf zu erschaffen. Sie können vorhersagen, wie sich ein Protein in eine dreidimensionale Form faltet, oder das Wetter über den gesamten Globus hinweg prognostizieren. Das Problem ist, dass diese kreativen Maschinen eine dunkle Seite haben. Sie neigen zu „Halluzinationen“, einem Begriff aus der menschlichen Psychologie, der beschreibt, wenn die KI plausibel erscheinende Details erfindet, die schlichtweg nicht existieren. In einer medizinischen Aufnahme könnte dies wie ein Bruch in einem gesunden Knochen aussehen; in einem Proteinmodell könnte es eine feste Struktur sein, wo die Natur ein chaotisches, ungeordnetes Durcheinander hinterlassen hat. Jahrzehntelang sorgten sich Wissenschaftler, dass diese Fehler fatale Mängel seien, die die Technologie für ernsthafte Entdeckungen zu gefährlich machten. Wenn die Maschine Dinge erfindet, wie können wir dann jemals wissen, was real ist?

Ein neues Paper von Charles Rathkopf, einem Forscher am Forschungszentrum Jülich, argumentiert, dass wir das Problem falsch angegangen sind. Die Angst, dass Halluzinationen die generative KI unzuverlässig machen, basiert auf einem Missverständnis darüber, wie Wissenschaft tatsächlich funktioniert. Rathkopf schlägt vor, dass wir aufhören sollten, das KI-Modell isoliert zu beurteilen, und stattdin den gesamten wissenschaftlichen Prozess oder den „Workflow“ beurteilen sollten, in den das Modell eingebettet ist. Das Paper schlägt vor, dass Wissenschaftler ein Sicherheitsnetz um die KI bauen können, selbst wenn die KI weiterhin falsche Details erfindet. Indem sie ihr eigenes tiefes, bereits existierendes Wissen über die natürliche Welt nutzen, können Forscher die Lügen herausfiltern und die Wahrheiten behalten. Das Ergebnis ist, dass das endgültige wissenschaftliche Fazit zuverlässig sein kann, selbst wenn das Werkzeug, mit dem es erreicht wurde, unvollkommen ist.

Um zu verstehen, warum das wichtig ist, muss man zuerst begreifen, was diese KI-Modelle eigentlich tun. Im Gegensatz zu herkömmlicher Software, die strengen, vorgeschriebenen Regeln folgt, lernt generative KI, indem sie riesige Mengen bestehender Daten studiert und dann errät, was als Nächstes kommt. Es ist wie ein Schüler, der jedes Buch in einer Bibliothek gelesen hat und nun gebeten wird, eine neue Geschichte zu schreiben. Der Schüler schreibt vielleicht etwas Schönes und Neues, aber er könnte auch einen Charakter erfinden, der nie existierte, oder einen Handlungsstrang, der den Gesetzen der Physik widerspricht. In der Welt der Wissenschaft ist diese „Erfindung“ die Halluzination. Das Paper weist darauf hin, dass diese Fehler nicht bloß zufällige Fehler sind; sie sind unvermeidlich. Da die KI versucht, komplexe, hochdimensionale Strukturen zu erschaffen – wie die komplizierte Faltung eines Proteins oder die wirbelnden Muster eines Sturms –, muss sie Lücken füllen, in denen die Daten dünn sind. Dabei erschafft sie manchmal eine Struktur, die an der Oberfläche perfekt aussieht, aber im Kern grundlegend falsch ist. Der Autor argumentiert, dass wir die KI nicht einfach härter trainieren oder eine bessere Version des Modells bauen können, um dies zu verhindern. Genau der Mechanismus, der es der KI ermöglicht, kreativ und nützlich zu sein, ist derselbe Mechanismus, der sie zur Halluzination zwingt.

Das Paper stellt eine gängige Annahme in diesem Bereich infrage: nämlich, dass eine Halluzination einfach ein Datenpunkt ist, der anders aussieht als das, womit die KI trainiert wurde. Wäre das der Fall, könnten Wissenschaftler einfach jeden Output wegwerfen, der nicht mit ihren Trainingsdaten übereinstimmt. Aber Rathkopf argumentiert, dass dies eine Falle ist. In der Wissenschaft besteht das Ziel nicht darin, das zu wiederholen, was wir bereits wissen; es besteht darin, das zu entdecken, was wir noch nicht wissen. Wenn ein Wissenschaftler ein seltsames neues Ergebnis einfach deshalb wegwirft, weil es anders aussieht als die Vergangenheit, könnte er versehentlich eine echte Entdeckung wegwerfen. Stattdessen definiert das Paper eine Halluzination präziser: Es ist ein Output, der das reale Objekt, das er beschreiben soll, fälschlicherweise darstellt, und das geschieht versehentlich, nicht absichtlich. Es ist ein Fehler, den die Maschine aus sich heraus macht, kein Trick, der ihr beigebracht wurde.

Der Autor wendet sich dann zwei realen Beispielen zu, um zu zeigen, wie Wissenschaftler dieses Problem bereits lösen, ohne die KI selbst reparieren zu müssen. Der erste Fall ist AlphaFold, ein berühmtes KI-System, das von Google DeepMind entwickelt wurde und die 3D-Formen von Proteinen vorhersagt. Proteine sind die Arbeitspferde des Lebens, und ihre Form bestimmt, was sie tun. AlphaFold 3, die neueste Version, nutzt einen generativen Ansatz, der es ihr ermöglicht, neue Strukturen zu erfinden. Die Entwickler wussten, dass dies zu Halluzinationen führen würde. Tatsächlich erfindet das System manchmal eine feste, kompakte Form für einen Teil eines Proteins, der eigentlich flüssig und ungeordnet sein sollte. Wenn ein Wissenschaftler diesen Output eins zu eins übernehmen würde, würde er in die Irre geführt werden. Das Team hat jedoch einen „Workflow“ um die KI herum gebaut, um diese Fehler abzufangen. Sie haben eine zweite Analyseebene hinzugefügt, die wie ein Qualitätskontrolleur fungiert. Dieses System betrachtet den Output der KI und gleicht ihn mit bekannten Regeln der Chemie und Physik ab. Zum Beispiel weiß es, dass ungeordnete Teile eines Proteins dem umgebenden Wasser ausgesetzt sein sollten, während feste Teile im Inneren verborgen sein sollten. Wenn die KI eine feste Form für einen ungeordneten Teil erfindet, markiert der Workflow dies als verdächtig. Das System weist zudem jedem Teil der vorhergesagten Struktur einen Konfidenzwert zu, der dem Wissenschaftler genau sagt, welche Teile zuverlässig und welche wahrscheinlich Halluzinationen sind. Die KI macht immer noch Fehler, aber der Workflow stellt sicher, dass diese Fehler niemals das endgültige Fazit erreichen.

Das zweite Beispiel stammt aus der Meteorologie, speziell von einem System namens SEEDS, das zur Wettervorhersage verwendet wird. Das Wetter ist chaotisch; winzige Änderungen der Ausgangsbedingungen können zu völlig unterschiedlichen Ergebnissen führen. Um dies zu handhaben, nutzen Meteorologen „Ensembles“, was bedeutet, dass dasselbe Modell viele Male durchläuft, um eine Bandbreite möglicher Zukünfte zu erhalten. SEEDS nutzt eine generative KI, um diese vielen möglichen Zukünfte schnell zu erstellen. Das Paper stellt fest, dass einzelne Vorhersagen dieser KI physikalisch unmöglich sein können, wie etwa eine Wetterkarte, in der Luftdruck und Temperatur den Gesetzen der Physik widersprechen. Dies sind Halluzinationen. Dennoch bleibt das System zuverlässig. Wie? Weil die Wissenschaftler nicht eine einzelne Vorhersage isoliert betrachten. Sie betrachten die gesamte Gruppe von 512 Vorhersagen zusammen. Wenn eine Vorhersage eine Halluzination ist, ist sie nur eine Stimme in einer großen Menge. Solange die Halluzinationen selten sind und nicht alle gleichartig auftreten, gleichen sie sich aus, wenn die Wissenschaftler die endgültige Wahrscheinlichkeit für Regen oder Hitze berechnen. Der Workflow hier ist das Ensemble selbst. Indem das System den Output als eine Sammlung von Möglichkeiten statt als eine einzige Wahrheit behandelt, filtert es das Rauschen heraus. Die Forscher nutzen auch statistische Werkzeuge, um zu prüfen, ob die Gruppe der Vorhersagen als Ganzes mit der Realität übereinstimmt, um sicherzustellen, dass die endgültigen Wahrscheinlichkeitswerte vertrauenswürdig sind.

Die Kernerkenntnis des Papers ist, dass Zuverlässigkeit nicht erfordert, dass die KI perfekt ist. Sie erfordert, dass der menschliche Prozess um die KI herum klug ist. Rathkopf argumentiert, dass wir aufhören sollten, eine „halluzinationsfreie“ KI zu bauen – ein Ziel, das möglicherweise unmöglich ist – und stattdessen „halluzinationsresistente“ Workflows entwickeln sollten. Dies verlagert den Fokus vom Gerät auf die Methode. Die Maschine kann eine Black Box sein, ein mysteriöser Generator von Ideen, solange die Wissenschaftler, die sie umgeben, das Wissen besitzen, um diese Ideen zu testen. Das Paper legt nahe, dass dies die Art und Weise ist, wie die Wissenschaft schon immer funktioniert hat: Wir nutzen Werkzeuge, die unvollkommen sind, aber wir umgeben sie mit Kontrollen und Gleichgewichten. Die KI liefert das Rohmaterial, und der Wissenschaftler liefert das Urteil.

Dieser Ansatz verändert auch, wie wir über die Rolle der KI in der Wissenschaft denken. Einige Kritiker argumentieren, dass KI nur gut darin sei, neue Ideen zu finden (Entdeckung), aber nicht darin, deren Wahrheit zu beweisen (Rechtfertigung). Sie sagen, wir sollten der KI nur vertrauen, wenn wir ihre Vorhersagen im Labor testen können. Rathkopf stimmt zu, dass Tests entscheidend sind, fügt aber hinzu, dass der Workflow selbst Teil des Beweises ist. Der Akt des Filterns, Rankens und Qualifizierens des KI-Outputs ist eine Form der Rechtfertigung. Es geht nicht nur darum zu warten, ob die KI recht hat; es geht darum, ein System zu bauen, das sicherstellt, dass die KI recht hat, bevor wir überhaupt das Experiment durchführen. Das Paper legt nahe, dass wir – solange wir genügend Hintergrundwissen über das zu untersuchende System haben, sei es ein Protein oder eine Sturmfront – solche Sicherheitsnetze konstruieren können.

Das Paper schließt mit einer ernüchternden, aber hoffnungsvollen Note. Die Fähigkeit, diese zuverlässigen Workflows aufzubauen, hängt davon ab, ein tiefes Verständnis des Zielsystems zu haben. Wenn Wissenschaftler versuchen, etwas zu modellieren, über das sie sehr wenig wissen, können sie nicht die Filter bauen, die nötig sind, um die Lügen der KI zu erfassen. In diesen Grenzbereichen bleibt das Risiko hoch. Aber für die vielen Felder, in denen wir bereits ein solides Verständnis der Regeln haben – wie etwa bei der Proteinfaltung oder der Wetterdynamik – kann generative KI ein mächtiger Partner sein. Die Maschine wird weiterhin halluzinieren, so wie ein menschlicher Künstler beim Malen einen Fehler machen kann. Aber solange der Wissenschaftler weiß, wie ein echtes Gemälde aussieht, kann er den Fehler erkennen und das Meisterwerk bewahren. Das Paper behauptet nicht, dass das KI-Problem gelöst ist oder dass Halluzinationen verschwinden werden. Es behauptet etwas Praktischeres: Dass wir lernen können, mit ihnen zu leben, sie zu managen und dennoch diese mächtigen Werkzeuge zu nutzen, um die Grenzen des menschlichen Wissens zu erweitern. Die Zuverlässigkeit der Wissenschaft, so argumentiert der Autor, lag nie in der Perfektion unserer Werkzeuge, sondern in der Weisheit, wie wir sie verwenden.