💻 computer science

The Oracle's Fingerprint: Correlated AI Forecasting Errors and the Limits of Bias Transmission

Dieser Artikel zeigt, dass zwar drei unabhängig entwickelte große Sprachmodelle hochkorrelierte Prognosefehler aufweisen und so eine „epistemische Monokultur" schaffen, dieser gemeinsame Bias jedoch noch nicht auf menschliche Prognostiker übertragen wurde, die stattdessen weiterhin auf ihre eigenen vorbestehenden Verzerrungen und rationale Aktualisierungen hin zur Grundwahrheit zurückgreifen.

Ursprüngliche Autoren: Theodor Spiro

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Theodor Spiro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „drei Weisen Männer", die eigentlich einer sind

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Um die beste Antwort zu erhalten, fragen Sie drei verschiedene Experten: einen Meteorologen aus New York, einen aus London und einen aus Tokio. Sie erwarten, dass sie Ihnen drei leicht unterschiedliche Meinungen geben, da sie unterschiedlich ausgebildet sind und über unterschiedliche Daten verfügen. Wenn sie das tun, können Sie ihre Antworten mitteln, um eine sehr genaue Vorhersage zu erhalten. Dies ist die „Weisheit der Vielen".

Dieses Papier stellt eine beunruhigende Frage: Was wäre, wenn diese drei Experten eigentlich nur eine Person sind, die drei verschiedene Masken trägt?

Die Forscher testeten dies, indem sie drei der weltweit berühmtesten KI-Modelle (GPT-4o, Claude und Gemini) aufforderten, die Ergebnisse von 568 realen Ereignissen vorherzusagen (wie „Wird ein bestimmtes politisches Ereignis bis zu einem bestimmten Datum eintreten?").

Studie 1: Der „Echo-Kammer"-Effekt

Die Erkenntnis: Die drei KIs waren nicht unabhängig. Sie machten exakt dieselben Fehler, in exakt dieselbe Richtung und zur exakt selben Zeit.

Die Analogie: Stellen Sie sich vor, Sie fragen drei verschiedene Wahrsager, wie ein Münzwurf ausgehen wird. Wenn sie wirklich unabhängig sind, sagt manchmal einer „Kopf" und ein anderer „Zahl". Aber in dieser Studie waren die drei KIs wie drei Papageien, die alle dasselbe Lied gelernt hatten. Als die Münze tatsächlich „Zahl" zeigen sollte, schrien alle drei Papageien selbstbewusst „Kopf!".

Die Statistik: Ihre Fehler waren mit 0,77 korreliert. In der Welt der Statistik ist dies unglaublich hoch. Das bedeutet, dass Sie, wenn Sie alle drei Modelle konsultieren, nicht drei verschiedene Meinungen erhalten, sondern eine Meinung mit etwas statischem Rauschen.
Die Schlussfolgerung: Wir haben eine „epistemische Monokultur" geschaffen. Genau wie das Anpflanzen nur einer einzigen Erntesorte einen Hof anfällig für eine einzige Krankheit macht, macht die Abhängigkeit von diesen drei KIs unser kollektives Urteil anfällig für einen einzigen Fehlertyp.

Studie 2: Haben Menschen begonnen, die KIs zu kopieren?

Die Frage: Da diese KIs nun für alle verfügbar sind, beginnen menschliche Prognostiker dann, ihre Fehler zu kopieren? Haben die „Papageien" angefangen, den Menschen das falsche Lied beizubringen?

Das Experiment: Die Forscher untersuchten eine Gruppe von Elite-Prognostikern auf einer Website namens Metaculus. Sie verglichen, wie diese Menschen Dinge vorhergesagt haben, bevor ChatGPT populär wurde (November 2022), und danach.

Die Erkenntnis: Überraschenderweise nein. Die Menschen begannen nicht, ihre Vorhersagen so zu verschieben, dass sie den KIs entsprachen.

Die Analogie: Stellen Sie sich vor, die KIs sind ein lauter, selbstbewusster Reiseleiter, der eine Gruppe von Wanderern in die falsche Richtung führt. Die Forscher prüften, ob die Wanderer begannen, dem Führer zu folgen. Das taten sie nicht. Die Wanderer blieben auf ihrem eigenen Weg, der sich zufällig als der richtige erwies.
Warum? Die Menschen auf dieser spezifischen Website sind Experten. Sie sind wie erfahrene Detektive, die wissen, wie man eine Lüge erkennt. Sie vertrauten der KI nicht blind.
Die Einschränkung: Die Studie war nicht perfekt darin, kleine Veränderungen zu erkennen (es war ein bisschen wie zu versuchen, ein Flüstern in einem lauten Raum zu hören), aber sie fand keine Hinweise darauf, dass die Experten bereits von der KI „gehirngewaschen" wurden.

Studie 3: Die Enthüllung des „Fingerabdrucks"

Die Frage: Wenn die Menschen die KI nicht kopieren, woher kamen die seltsamen Verzerrungen der KI ursprünglich? Hat die KI neue, fremde Denkweisen erfunden?

Die Erkenntnis: Die KI hat nichts Neues erfunden. Sie spiegelte lediglich die Verzerrungen wider, die Menschen bereits hatten.

Die Analogie: Denken Sie an die KI als einen Spiegel. Bevor Sie überhaupt einen lustigen Hut aufsetzen, zeigt Ihnen der Spiegel ein Gesicht, das wie Sie aussieht. Die Forscher stellten fest, dass das Muster der Fehler, das die KI machte, bevor sie weit verbreitet war, fast identisch mit dem Muster der Fehler war, die Menschen bereits machten.

Die Wendung: Nach dem Start von ChatGPT begannen die Menschen tatsächlich, sich von der KI zu entfernen. Die Menschen schienen zu erkennen: „Hey, diese KI ist bei Technologie-Themen zu selbstbewusst", und sie korrigierten sich selbst, während die KI weiterhin dieselben alten Fehler machte.
Die Schlussfolgerung: Die KI ist keine neue Fehlerquelle; sie ist ein Verstärker von Verzerrungen. Sie nahm die Verzerrungen, die Menschen bereits hatten (wie die Annahme, Technologie werde alles lösen, oder die Unterschätzung geopolitischer Risiken), und machte sie lauter und selbstbewusster.

Das endgültige Fazit

Das Papier schließt mit einer Warnung: Die „Monokultur" ist gebaut, aber noch nicht aktiviert.

Die Infrastruktur ist vorhanden: Die drei großen KIs sind im Wesentlichen dasselbe Gehirn. Wenn Sie alle verwenden, diversifizieren Sie Ihr Denken nicht; Sie verstärken lediglich dieselben blinden Flecken.
Die Gefahr liegt nicht in „neuen" Fehlern: Die KI wird uns keine verrückten neuen Wege beibringen, falsch zu liegen. Sie wird die falschen Wege bestätigen, die wir bereits denken, und uns dabei selbstbewusster machen.
Der aktuelle Zustand: Auf Expertenplattformen leisten Menschen immer noch besser als die KI und folgen ihr nicht blind. Aber da die KI zu einem Standardwerkzeug für alle wird (nicht nur für Experten), besteht die Gefahr, dass wir aufhören, unsere eigene Arbeit zu überprüfen und beginnen, dem „Orakel" zu vertrauen, das in Wirklichkeit nur ein Spiegel unserer eigenen kollektiven Verzerrungen ist.

Kurz gesagt: Die KI ist ein sehr selbstbewusster Spiegel. Er wirft unsere eigenen Fehler mit solcher Autorität auf uns zurück, dass wir aufhören könnten zu prüfen, ob die Reflexion wahr ist.

Technische Zusammenfassung: Der Fingerabdruck des Orakels: Korrelierte KI-Prognosefehler und die Grenzen der Bias-Transmission

Problemstellung

Die „Weisheit der Vielen" beruht auf der statistischen Unabhängigkeit individueller Fehler; wenn Prognostiker in idiosynkratischen Richtungen irren, heben sich ihre Fehler bei der Aggregation auf. Die weit verbreitete Nutzung von Large Language Models (LLMs) zur Entscheidungsunterstützung führt jedoch zu einem Risiko einer epistemischen Monokultur. Wenn menschliche Prognostiker einen kleinen Satz von KI-Modellen konsultieren, die systematische, korrelierte Fehlermodi teilen, kollabiert die Vielfalt der „Menge". Der Artikel untersucht drei notwendige Bedingungen, unter denen diese Monokultur Schaden anrichten kann:

LLMs müssen systematische Prognoseverzerrungen aufweisen.
Diese Verzerrungen müssen über verschiedene Modelle hinweg (selbst solche unterschiedlicher Organisationen) hoch korreliert sein.
Menschliche Entscheidungsträger müssen diese Verzerrungen absorbieren und in ihre eigenen Prognosen übertragen.

Methodik

Die Studie nutzt Daten von Metaculus, einer Online-Prognoseplattform mit gelösten binären Fragen und überprüfbaren Grundwahrheiten. Die Forschung gliedert sich in drei Studien:

Studie 1 (LLM-Bias-Karte): Die Autoren befragten drei große LLMs (OpenAI's GPT-4o, Anthropic's Claude Sonnet und Google's Gemini 1.5 Pro) zu 568 gelösten binären Fragen. Sie berechneten vorzeichenbehaftete Fehler ( $e = p - o$ ) und maßen paarweise Fehlerkorrelationen zwischen den Modellen. Um potenzielle Leckagen in den Trainingsdaten (bei denen Modelle die Antworten aus ihren Trainingsdaten kennen könnten) zu adressieren, wandten sie einen Heurismus zur Leckageerkennung an und analysierten einen „bereinigten" Teilbereich von 414 Fragen.
Studie 2 (Temporale Verschiebung): Unter Verwendung eines Designs innerhalb der Fragen verfolgten die Autoren Verschiebungen der Gemeinschaftsprognosen über die ChatGPT-Einführungsgrenze (November 2022) hinweg. Sie analysierten 179 Fragen, die vor und nach diesem Datum offen waren. Sie regressierten die Verschiebung der Gemeinschaftsprognose ( $\Delta$ ) gegen den „Auflösungs-Zug" (Bewegung hin zur Grundwahrheit) und den „LLM-Zug" (die Richtung, in die das LLM die Prognose ziehen würde). Dies kontrollierte rationale Aktualisierungen, um spezifischen LLM-Einfluss zu isolieren.
Studie 3 (Bias-Fingerabdruck): Die Autoren kategorisierten Fragen in fünf thematische Gruppen (Technologie, Geopolitik, Wirtschaft, Gesundheit, Wissenschaft/Umwelt). Sie verglichen die Bias-Muster auf Kategorienebene von LLMs mit menschlichen Gemeinschaftsbias in den Perioden vor und nach ChatGPT. Sie berechneten die Korrelation zwischen dem LLM-„Fingerabdruck" (Vektor der Verzerrungen über Kategorien hinweg) und dem menschlichen Bias-Vektor für jeden Zeitraum, um festzustellen, ob menschliche Verzerrungen gegen das KI-Muster konvergierten.

Wichtige Ergebnisse

1. Hohe Inter-Modell-Fehlerkorrelation (Bedingung 1 & 2)

Das Hauptergebnis ist, dass verschiedene LLMs als ein einziges Orakel mit Rauschen fungieren und nicht als unabhängige Quellen.

Korrelation: Die mittlere paarweise Fehlerkorrelation zwischen GPT-4o, Claude und Gemini betrug $r = 0,77$ ( $p < 0,001$ ) im gesamten Datensatz und $r = 0,78$ im bereinigten Teilbereich.
Implikation: Diese Korrelation ist 3–5-mal höher als typische Korrelationen unter menschlichen Prognostikern ( $r \approx 0,1–0,3$ ). Die Autoren berechnen, dass ein Ensemble aus drei solchen Modellen effektiv nur 1,3 unabhängigen Prognostikern entspricht und kaum Diversitätsgewinne gegenüber der Konsultation eines einzelnen Modells bietet.
Bias-Richtung: Alle drei Modelle zeigten eine positive Richtungsverzerrung (Überschätzung von „Ja"-Ergebnissen) und Überzeugung in den mittleren Wahrscheinlichkeitsbereichen.

2. Fehlender nachweisbarer Transfer zu Elite-Prognostikern (Bedingung 3)

Studie 2 fand keine statistisch signifikanten Beweise dafür, dass LLM-Bias in Metaculus-Gemeinschaftsprognosen über rationale Aktualisierungen hinaus übertragen wurden.

Regressionsanalyse: Während die rohe Korrelation zwischen Gemeinschaftsverschiebungen und der LLM-Zugrichtung positiv war ( $r = 0,20, p = 0,007$ ), wurde dies vollständig durch die Bewegung der Gemeinschaft hin zur Grundwahrheit erklärt (Auflösungs-Zug, $\beta_1 = 0,061, p < 0,001$ ).
LLM-Einfluss: Der Koeffizient für LLM-spezifischen Einfluss ( $\beta_2$ ) war nicht signifikant ( $\beta = 0,023, p = 0,36$ ).
Einschränkung: Die Autoren vermerken eine geringe statistische Power (23 %) zum Nachweis kleiner Effekte und räumen ein, dass Metaculus-Prognostiker eine elitäre, hochkalibrierte Population darstellen, die ein „Best-Case-Szenario" für Unabhängigkeit repräsentiert.

3. Umkehrung der Fingerabdruck-Hypothese (Bedingung 3)

Im Gegensatz zur Hypothese, dass KI neue Verzerrungen auf Menschen aufprägt, fand Studie 3, dass menschliche Bias bereits vor der weiten Verfügbarkeit von ChatGPT mit LLM-Bias übereinstimmten.

Vor ChatGPT: Die Korrelation zwischen dem LLM-Bias-Fingerabdruck und menschlichem Bias war stark ( $r = 0,87$ ).
Nach ChatGPT: Die Korrelation schwächte sich auf $r = -0,28$ ab.
Interpretation: LLMs führten keine neuen Verzerrungen ein; sie erbten bestehende menschliche kognitive Verzerrungen aus ihren Trainingsdaten. Die Abschwächung der Korrelation nach ChatGPT könnte einen „Bewusstseinseffekt" anzeigen, bei dem Expertenprognostiker (insbesondere in der Technologie) KI-Überzeugung erkannten und korrigierten.

Bedeutung und Behauptungen

Der Artikel kommt zu dem Schluss, dass eine epistemische Monokultur „gebaut, aber noch nicht aktiviert" ist.

Die Infrastruktur des Versagens: Das robusteste Ergebnis ist, dass das KI-Ökosystem auf Modellebene an Vielfalt mangelt. Die Konsultation mehrerer großer LLMs bietet fast keine zusätzliche Unabhängigkeit im Vergleich zur Konsultation eines einzigen, da sie dieselben Fehlermodi teilen.
Bias-Spiegel, keine Quellen: Die Autoren argumentieren, dass LLMs als Bias-Spiegel fungieren. Sie spiegeln und verfestigen die Verzerrungen, die bereits im menschlichen Informationsökosystem (Medien, öffentlicher Diskurs) vorhanden sind, anstatt fremde Fehler einzuführen.
Das Risiko der Verstärkung: Die Gefahr liegt nicht darin, dass KI neue Fehler einführt, sondern darin, dass sie autoritative Bestätigung bestehender menschlicher Verzerrungen bietet. Wenn ein menschlicher Prognostiker ein LLM konsultiert, das seine Verzerrung teilt, geht der „korrigierende Mechanismus" des Zusammentreffens mit einer abweichenden Perspektive verloren. Dies erzeugt einen „Bias-Verschluss", der strukturell analog zu, aber potenter als Social-Media-Echokammern ist, aufgrund der wahrgenommenen Objektivität der KI.
Aktueller Zustand: Auf elitären Plattformen wie Metaculus bleiben menschliche Prognostiker genauer und unabhängiger als die KI-Modelle. Da KI-Tools jedoch zunehmend in Arbeitsabläufe für weniger experte Populationen integriert werden, steigt das Risiko großflächiger korrelierter Ausfälle.

Der Artikel betont, dass die Übertragung von Bias auf Elite-Prognostiker zwar noch nicht nachweisbar ist, die Voraussetzungen für systemische Risiken jedoch vorhanden sind: Die Modelle teilen dieselben Verzerrungen, und sie werden zunehmend als autoritative Quellen behandelt.