In der modernen Welt der künstlichen Intelligenz lernen Maschinen zunehmend aus den Inhalten, die sie selbst erschaffen. Dieser Zyklus, bekannt als rekursives Training, tritt auf, wenn ein Modell neue Daten generiert und diese neuen Daten dann wieder in das System eingespeist werden, um die nächste Version des Modells zu trainieren. Während dies wie ein Weg erscheinen mag, das Wissen endlos zu erweitern, haben Wissenschaftler schon lange eine Phänomen namens „Modellkollaps“ (Model Collapse) befürchtet. In diesem Szenario verliert die Maschine den Kontakt zur Realität und vergisst allmählich die wahre Vielfalt der Welt, die sie eigentlich verstehen sollte, und konvergiert stattdessen auf einen engen, verzerrten Durchschnitt. Dies ist besonders gefährlich in der Medizin, wo KI-Systeme eingesetzt werden, um synthetische Patientenakten zu erstellen, die der Erforschung seltener Krankheiten dienen oder den Datenschutz schützen sollen. Wenn diese synthetischen Datensätze fehlerhaft sind, könnten die auf ihnen trainierten Modelle gefährliche Fehler machen, doch die Werkzeuge, die dazu verwendet werden, diese Fehler aufzuspüren, waren oft unklar.

Ein Team von Forschern aus Norwegen machte sich daran, genau zu untersuchen, wie diese Degradation geschieht, wenn Maschinen medizinische Daten immer und immer wieder generieren. Sie konzentrierten sich auf eine spezifische Art von Fehler, der oft als „Halluzination“ bezeichnet wird, was im Kontext medizinischer Akten bedeutet, dass ein Patienteneintrag etwas Unmögliches beschreibt, wie etwa eine Person, die einen Herzinfarkt erleidet, nachdem sie bereits verstorben ist. Die Forscher wollten wissen, ob diese offensichtlichen Fehler auf Ebene der einzelnen Akte das Hauptproblem darstellten oder ob etwas Subtileres die Ursache für das Scheitern der Daten war. Um dies herauszufinden, entwickelten sie ein strenges Experiment unter Verwendung realer Daten aus einer großen Intensivstations-Datenbank. Sie nahmen diese realen Daten und nutzten vier verschiedene Arten von KI-Generatoren, um neue, synthetische Patientenakten zu erstellen. Anschließend nahmen sie diese synthetischen Akten und nutzten sie, um neue Modelle zu trainieren, wobei sie diesen Prozess zwanzigmal hintereinander wiederholten – eine Kette von Generationen, bei der jeder Schritt vollständig vom Output des vorangegangenen Schritts abhing.

Die Ergebnisse offenbarten eine erschreckende Wahrheit: Die Daten scheiterten nicht deshalb, weil die Maschinen begannen, unsinnige Geschichten über unmögliche Patienten zu schreiben. Stattdessen scheiterten die Daten, weil sie ihre Diversität verloren. Im Verlauf der Generationen wurden die synthetischen Akten zunehmend ähnlicher zueinander, wodurch die einzigartigen Kombinationen von Symptomen und Zuständen, die es im wirklichen Leben gibt, ausgelöscht wurden. Die Forscher fanden heraus, dass die Daten bereits nach nur fünf Generationen so uniform geworden waren, dass sie einem Computer nicht mehr beibringen konnten, Patientenergebnisse vorherzusagen, was sie effektiv für ihren beabsichtigten Zweck unbrauchbar machte. Die Maschinen hatten keine neuen, wilden Fehler erfunden; sie hatten schlichtweg aufgehört, überhaupt etwas Neues zu erfinden. Sie kollabierten in ein enges, repetitives Muster, das statistisch sicher aussah, aber klinisch tot war.

Dieser Befund stellt die Art und Weise infrage, wie Wissenschaftler und Regulierungsbehörden derzeit nach Fehlern suchen. Die Studie zeigte, dass die Standardwerkzeuge, die „Halluzinationen“ zählen (welche prüfen, ob eine spezifische Akte in einer Datenbank realer Menschen existiert), irreführend waren. Diese Werkzeuge markierten oft Tausende von Akten als Fehler, nur weil sie selten oder bisher unbeobachtet waren, obwohl diese Akten medizinisch plausibel waren. Tatsächlich fanden die Forscher heraus, dass die Datensätze, die von diesen Standardwerkzeugen als „Halluzinationen“ markiert wurden, oft die einzigen waren, die die Daten am Leben erhielten. Das wahre Versagen war für diese Werkzeuge unsichtbar: der Verlust der komplexen, sich kreuzenden Muster, die medizinische Daten nützlich machen. Die Maschinen lügten nicht; sie wurden einfach nur langweilig, und dadurch zerstörten sie die Vorhersagekraft der Daten.

Die Forscher testeten vier verschiedene Arten von KI-Generatoren, um zu sehen, ob sie sich unterschiedlich verhielten. Ein Typ, ein robuster Variational Autoencoder, scheiterte am schnellsten und verlor vollständig die Fähigkeit, zwischen Patienten zu unterscheiden, die wieder in das Krankenhaus aufgenommen würden, und solchen, die es nicht würden. Dies geschah, indem er alle seine Daten in ein einziges, durchschnittlich aussehendes Profil kollabieren ließ. Andere Generatoren, wie jene, die auf Adversarial Random Forests und Conditional Generative Adversarial Networks basieren, scheiterten langsamer, verloren aber dennoch ihre Fähigkeit zur Vorhersage von Ergebnissen. Dies geschah, indem sie zu Extremwerten drifteten oder neue, unrealistische Muster von Symptomen erfanden. Ein Diffusion-Modell, ein neuerer Typ von Generator, verhielt sich anders; es driftete zu den Extremen der Datenverteilung und erzeugte Datensätze mit sehr hohen oder sehr niedrigen Werten, die technisch zwar möglich, aber statistisch selten waren. Trotz dieser unterschiedlichen Wege zum Scheitern war das Endergebnis dasselbe: Die Daten verloren ihre Fähigkeit, die reale Welt darzustellen.

Entscheidend war die Erkenntnis der Studie, dass die „Halluzinationen“, die Regulierungsbehörden und die Öffentlichkeit beunruhigten – also Datensätze, die eindeutig unmöglich oder unsinnig waren – tatsächlich recht selten waren. In vielen Fällen enthielten weniger als ein Prozent der synthetischen Datensätze Werte, die medizinisch unmöglich waren. Die eigentliche Gefahr lag nicht in der Präsenz dieser unmöglichen Datensätze, sondern im Fehlen der vielfältigen, realistischen Datensätze. Die Maschinen generierten keine erfundenen Geschichten; sie generierten eine Welt, die zu perfekt, zu durchschnittlich und zu uniform war, um nützlich zu sein. Dies deutet darauf an, dass der aktuelle Fokus auf das Abfangen einzelner Fehler in synthetischen Daten das Gesamtbild verpasst. Die Sicherheit dieser Systeme hängt weniger davon ab, ob eine einzelne Zeile eines Datensatzes faktisch korrekt ist, sondern vielmehr davon, ob der gesamte Datensatz die reiche, chaotische Vielfalt der menschlichen Erfahrung bewahrt.

Die Auswirkungen dieser Arbeit reichen weit über die medizinische Forschung hinaus. Die Forscher argumentieren, dass der Begriff „Halluzination“ oft das falsche Wort für das ist, was in strukturierten Daten geschieht. In der Welt des Textes ist eine Halluzination eine erfundene Tatsache. In der Welt der medizinischen Daten ist das Versagen oft ein Verlust der Treue (Fidelity), bei dem die Daten aufhören, die wahre Verteilung der Bevölkerung widerzuspiegeln. Die Studie legt nahe, dass wir unseren Fokus von der Zählung unmöglicher Datensätze hin zur Messung der Diversität und Struktur der Daten verschieben müssen. Wenn wir nur nach den offensichtlichen Fehlern suchen, könnten wir die stille Erosion der Qualität übersehen, die die Daten für das Training zukünftiger KI unbrauchbar macht. Die Forscher betonen, dass klare Kennzeichnungen und Provenienz essenziell sind. Wir müssen wissen, wann Daten synthetisch sind, und ihre Qualität während ihres gesamten Lebenszyklus überwachen, um zu verhindern, dass sie die Wissensbasis zukünftiger Systeme stillschweigend degradieren.

Am Ende dient die Studie als Warnung gegen die Annahme, dass mehr Daten immer besser sind. Wenn KI-Systemen erlaubt wird, ohne Schutzmaßnahmen aus ihrem eigenen Output zu lernen, werden sie nicht zwangsläufig kreativer oder genauer. Stattdessen riskieren sie, in einer von ihnen selbst geschaffenen Schleife gefangen zu werden, die Daten produziert, die zwar echt aussehen, aber das eigentliche Wesen der Realität verloren haben. Die Forscher kommen zu dem Schluss, dass die Bewahrung der Datendiversität nicht nur eine technische Anforderung, sondern eine fundamentale Notwendigkeit für die Zuverlässigkeit künstlicher Intelligenz ist. Ohne sie könnte das Versprechen der synthetischen Daten, Felder wie die Medizin zu revolutionieren, durch eben jene Systeme untergraben werden, die dazu geschaffen wurden. Der Weg nach vorn erfordert eine neue Terminologie und neue Metriken, die den Verlust der Diversität erkennen können, bevor die Daten vollständig kollabieren, um sicherzustellen, dass die Maschinen, die wir bauen, weiterhin die komplexe, vielfältige Welt widerspiegeln, der sie dienen sollen.