Prior laundering: learned priors with inherited, undetectable overconfidence

Das Geheimnis der unsichtbaren Karte

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären, aber Sie haben nur ein verschwommenes, unvollständiges Foto des Tatorts. Sie kennen die Gesetze der Physik (wie Licht bricht, wie Schall wandert), aber dem Foto fehlen riesige Informationsstücke. Um diese Lücken zu füllen, benötigen Sie einen „Prior“ – eine Reihe fundierter Vermutungen darüber, wie die fehlenden Teile normalerweise aussehen. In der Wissenschaft nennt man das ein inverses Problem: Man arbeitet rückwärts von einem unordentlichen Ergebnis, um die ursprüngliche Ursache zu finden.

Jahrzehntelang nutzten Wissenschaftler handgefertigte Regeln für diese Vermutungen, wie zum Beispiel „gehe davon aus, dass das Bild glatt ist“ oder „gehe davon aus, dass das Objekt einfach ist“. Vor kurzem begannen sie jedoch, KI einzusetzen, um diese Regeln zu erlernen. Die KI betrachtet tausende vergangene Lösungen und lernt, was eine „plausible“ Antwort ausmacht, wodurch ein generativer Prior entsteht. Dies ist ein mächtiges Werkzeug, aber es gibt einen Haken: Um die KI zu trainieren, muss man die wahre Antwort (die „Ground Truth“) kennen. In Bereichen wie der Seismologie (beim Blick in das Erdinnere) oder der medizinischen Bildgebung (beim Blick in den menschlichen Körper) ist die wahre Antwort fast nie verfügbar. Man kann die exakten Gesteinsschichten unter der Erde oder das exakte gesunde Gewebe im Inneren eines Patienten nicht sehen, ohne invasive Eingriffe vorzunehmen.

Was machen Wissenschaftler also? Sie schummeln ein wenig, oder glauben zumindest, das zu tun. Sie nehmen die alten Vermutungen, die durch frühere Methoden erstellt wurden, behandeln sie als ob sie die Wahrheit wären, und trainieren ihre neue KI auf ihnen. Dieser Prozess wird in diesem Paper als „Prior Laundering“ (Prior-Wäsche) bezeichnet. Es ist, als würde man eine Skizze, die ein früherer Künstler gezeichnet hat, in einer Maschine waschen, um sie wie ein Foto aussehen zu lassen, und dann behaupten, dieses neue Foto baset auf echten Daten. Die große Frage ist: Funktioniert dieser Trick, oder verbirgt er ein gefährliches Geheimnis?

Der Waschzyklus: Wie eine „saubere“ KI schmutzig wird

Dieses Paper mit dem Titel „Prior Laundering: learned priors with inherited, undetectable overconfidence“ untersucht genau, was passiert, wenn man eine leistungsstarke KI auf diesen „Legacy“-Rekonstruktionen anstatt auf echten Wahrheiten trainiert. Die Autoren, Ali Siahkoohi und Sina Alemohammad, entdeckten ein beunruflendes Phänomen: Die KI lernt nicht nur aus den Daten; sie erbt die blinden Flecken und die falsche Zuversicht der alten Methode, auf der sie trainiert wurde.

Hier ist der Kern des Problems, erklärt durch eine einfache Analogie:

Stellen Sie sich vor, Sie versuchen, den Inhalt einer versiegelten Box zu erraten. Sie können die Box schütteln und ein Klappern hören (die Messungen).

1. Die aufgelösten Richtungen: Wenn sich eine lose Münze in der Box befindet, können Sie sie deutlich hören. Die Daten sagen Ihnen genau, wo die Münze ist.
2. Die blinden Richtungen: Aber die Box enthält auch einen schweren, lautlosen Block aus Blei, der beim Schütteln überhaupt nicht klappert. Egal wie stark Sie die Box auch schütteln, die Daten sagen Ihnen nichts über den Bleiblock.

In einer perfekten Welt würden Sie bei Stille der Daten sagen: „Ich habe keine Ahnung, wie der Bleiblock aussieht; er könnte alles Mögliche sein.“ Aber hier findet die „Wäsche“ statt.

Die Wissenschaftler trainierten ihre KI auf einem Archiv alter Vermutungen. In jenen alten Vermutungen verwendeten die Ersteller eine Regel (einen Regularisierer), die davon ausging, dass der lautlose Bleiblock immer ein perfekter, glatter Würfel sei. Da die Daten dies nicht widerlegen konnten (da das Blei lautlos war), zeigten die alten Vermutungen immer einen glatten Würfel.

Als die neue KI auf diesen alten Vermutungen trainiert wurde, lernte sie eine sehr spezifische Lektion: „Wenn die Daten schweigen, ist die Antwort ein glatter Würfel.“ Die KI hat dies nicht aus der schüttelnden Box (den Daten) gelernt; sie hat es aus der alten Skizze (dem Archiv) gelernt.

Die gefährliche Illusion der Gewissheit

Das Paper stellt fest, dass dies zu einer unentdeckbaren Überkonfidenz führt.

Wenn die KI eingesetzt wird, um ein neues Problem zu lösen, betrachtet sie die stillen Teile der Daten und berichtet selbstbewusst: „Ich bin mir zu 9 % sicher, dass der Bleiblock ein glatter Würfel ist!“ Sie zieht einen sehr engen, präzisen Kreis um ihre Vermutung. In der Statistik nennt man dies ein Glaubwürdigkeitsintervall (Credible Interval). Wenn das Intervall zu eng ist, ist die KI „überkonfident“.

Das Beängstigende ist, dass niemand merken kann, dass die KI lügt.

• Der Datencheck versagt: Wenn Sie die Antwort der KI gegen die schüttelnde Box prüfen, besteht sie. Die Vermutung der KI passt perfekt zum Geräusch, denn das Geräusch kümmert sich nicht um den Bleiblock.
• Der Selbstcheck versagt: Wissenschaftler nutzen oft einen Test namens simulationsbasierte Kalibrierung, um zu sehen, ob ihre KI ehrlich ist. Sie lassen die KI raten und prüfen dann, ob die Wahrheit innerhalb des Konfidenzkreises der KI liegt. Aber da die KI auf der alten „glatten Würfel“-Regel trainiert wurde, ist sie perfekt konsistent mit ihrem eigenen Training. Sie besteht den Test jedes Mal, obwohl sie über die stillen Teile fälschlicherweise absolut sicher ist.

Das Paper beweist mathematisch, dass die Unsicherheit der KI in diesen „blinden Richtungen“ eingefroren ist. Sie ist exakt dieselbe wie die alte, handgefertigte Regel, auf der sie trainiert wurde. Wenn die alte Regel zu eng war (zu sicher), ist auch die neue KI zu eng. Wenn die alte Regel falsch war, ist auch die neue KI falsch. Die Daten können dies nicht korrigieren, da die Daten diese Teile niemals „gesehen“ haben.

Die „Single-Best“-Falle

Die Situation verschlimmert sich durch eine gängige Praxis namens Single-Best Curation. Oft speichern Archive nicht eine Bandbreite an Möglichkeiten (eine „Wolke“ von Vermutungen), sondern nur eine einzige beste Vermutung (die „Maximum A Posteriori“ oder MAP-Schätzung).

Das Paper zeigt, dass, wenn man eine KI auf diesen einzelnen, perfekt aussehenden Bildern trainiert, die Konfidenz der KI in den blinden Flecken auf eine Breite von Null kollabiert. Sie wird absolut sicher. Sie sagt: „Ich bin mir zu 100 % sicher, dass der Bleiblock ein glatter Würfel ist.“
In Wirklichkeit könnte der Bleiblock eine Kugel, eine Pyramide oder ein gezackter Fels sein. Aber weil das Archiv immer nur einen Würfel zeigte, denkt die KI, dass der Würfel die einzige Möglichkeit ist. Das Paper demonstriert, dass dies zu einer Null-Abdeckung (Zero Coverage) führt: Wenn man einen Test durchführt, wird die wahre Antwort fast nie innerhalb des winzigen, selbstbewussten Kreises der KI liegen.

Was die Experimente zeigten

Um zu beweisen, dass dies nicht nur Mathematik auf dem Papier war, führten die Autoren Simulationen in zwei realen Szenarien durch:

1. Seismische Bildgebung: Der Blick in unterirdische Gesteinsschichten. Sie trainierten eine KI auf alten „migrierten“ Bildern. Das Ergebnis? Die KI war unglaublich sicher über die tiefen, dunklen Teile des Bildes, in denen das Licht (die Daten) schwach war. Sie zeichnete extrem enge Unsicherheitsbänder, die viel zu klein waren. Die „Wahrheit“ (die sie für den Test konstruiert hatten) fiel oft außerhalb dieser Bänder.
2. Grundwasserströmung: Kartierung von Wasser unter der Erde. Sie verwendeten eine andere Art von KI (Normalizing Flows), die auf alten „Best-Guess“-Karten trainiert wurde. Auch hier war die KI in den blinden Flecken überkonfident und meldete eine Unsicherheit von Null, wo eigentlich eine enorme Unsicherheit herrschen müsste.

In beiden Fällen war die KI, die auf der „Wahrheit“ trainiert wurde (die Kontrollgruppe), viel ehrlicher. Sie gab zu, wenn sie etwas nicht wusste, und zeigte breite, unscharfe Unsicherheitsbereiche. Die „geläuterte“ KI hingegen wirkte schärfer und selbstbewusster, aber es war eine Halluzination der Gewissheit.

Das Faz-it: Vertrauen Sie nicht dem saubersten Bild

Das Paper kommt zu dem Schluss, dass Prior Laundering einen strukturellen Fehler erzeugt, der durch Standardprüfungen unsichtbar bleibt. Die KI erbt den „blinden Glauben“ der alten Methode.

Die Autoren schlagen eine einfache, praktische Lösung vor: Berichten Sie, was die Daten tatsächlich sehen.
Bevor man der Unsicherheit einer KI vertraut, sollten Wissenschaftler berechnen, welche Teile des Bildes die Daten tatsächlich auflösen können (der „aufgelöste Subraum“) und welche Teile blind sind. Sie sollten die Konfidenz für die blinden Teile als „vom Pipeline-Prozess geerbt“ deklarieren, anstatt als „durch Daten gestützt“.

Wenn Sie eine Karte des Untergrunds oder einen Scan eines Patienten betrachten und die KI sagt: „Ich bin mir zu 100 % sicher über diese dunkle, verschwommene Ecke“, sollten Sie misstrauisch sein. Diese Gewissheit kam nicht von den Daten; sie kam aus der Wäscherei. Die Daten waren still, und die KI hat lediglich die alte Vermutung mit einem neuen, glänzenden Anstrich wiederholt.

Das Paper sagt nicht, dass wir aufhören sollten, KI zu nutzen. Es sagt, dass wir aufhören müssen vorzugeben, dass das Training auf alten Vermutungen die KI in diesen stillen Ecken „datengesteuert“ macht. Die Daten haben eine Grenze, und wenn die Daten aufhören zu sprechen, ist die Konfidenz der KI nur ein Geist der Vergangenheit.