🤖 AI

The Agentic Garden of Forking Paths

Diese Arbeit zeigt auf, dass KI-Agenten die vielfältigen und oft widersprüchlichen analytischen Entscheidungen replizieren können, die von menschlichen Forschern in hochsensiblen Bereichen getroffen werden, hebt das Problem der selektiven Berichterstattung in der wissenschaftlichen Analyse hervor und schlägt die „Agentic Bootstrap“-Methode vor, um den „m-Wert“ als ein neues Kriterium zur Bewertung der Glaubwürdigkeit wissenschaftlicher Behauptungen basierend auf ihrer Position innerhalb des Raums plausibler Analysen zu schätzen.

Ursprüngliche Autoren: Jiacheng Miao, Jonathan K Pritchard, James Zou

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiacheng Miao, Jonathan K Pritchard, James Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel anhand einer einzigen Kiste mit Hinweisen (den Daten) zu lösen. In der Vergangenheit hätten zwei Detektive, die dieselbe Kiste betrachteten, vielleicht leicht unterschiedliche Geschichten erzählt, aber im Wesentlichen hätten sie sich über die wichtigsten Fakten einig gewesen.

Dieses Paper führt eine neue Wendung ein: KI-Agenten, die als Detektive agieren. Die Forscher fanden heraus, dass, wenn man zwei KI-Agenten exakt dieselbe Kiste mit Hinweisen gibt, ihnen aber sagt, sie sollen unterschiedliche „Persönlichkeiten“ haben (einer ist ein Skeptiker, der andere ein Gläubiger), sie nicht nur leicht unterschiedliche Geschichten erzählen werden, sondern völlig gegensätzliche Geschichten – und beide Geschichten werden vollkommen logisch und wissenschaftlich fundiert klingen.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Der „Garten der verzweigten Pfade“

Stellen Sie sich einen riesigen Wald mit Millionen von Pfaden vor (den „Garten der verzweigten Pfade“). Jedes Mal, wenn ein Forscher Daten analysiert, muss er entscheiden, welchen Pfad er beschreitet.

Das alte Problem: Menschliche Forscher wählen manchmal unbewusst den Pfad, der zu dem Ergebnis führt, das sie finden wollen. Dies wird als „Forscher-Freiheitsgrade“ (researcher degrees of freedom) bezeichnet.
Das neue KI-Problem: KI-Agenten können nun durch diesen Wald unglaublich schnell wandern. Sie können in Minuten tausende verschiedene Pfade ausprobieren. Das Paper zeigt: Wenn man einer KI sagt: „Du glaubst, dass Einwanderung die Wirtschaft schädigt“, wird sie ganz natürlich die Pfade durchwandern, die zu dieser Schlussfolgerung führen. Wenn man einer anderen KI sagt: „Du glaubst, dass Einwanderung der Wirtschaft hilft“, wird sie die genau entgegengesetzten Pfade durchwandern.
Der beängstigende Teil: Beide KIs betreiben „gute“ Wissenschaft. Sie lügen nicht oder brechen keine Regeln. Sie nehmen lediglich unterschiedliche, valide Wege durch den Wald, um ihr Ziel zu erreichen.

2. Das Experiment: Der „Ideologische Spiegel“

Die Forscher testeten dies an vier großen Fragen:

Beeinflusst Einwanderung die Sozialleistungen?
Beeinflusst Kaffee die Gesundheit?
Schadet Social Media der psychischen Gesundheit von Teenagern?
Beeinflusst die Darmflora das Gewicht?

Sie gaben den KI-Agenten unterschiedliche „Personas“ (als würde man ihnen eine spezifische politische oder wissenschaftliche Voreingenommenheit geben) und baten sie, dieselben Daten zu analysieren.

Das Ergebnis: Die „Pro-Immigration“-KI-Agenten fanden konsistent positive Effekte, während die „Anti-Immigration“-Agenten negative Effekte fanden.
Der menschliche Vergleich: In einer berühmten realen Studie analysierten 42 menschliche Teams dieselben Einwanderungsdaten und wiesen eine „Lücke“ in ihren Schlussfolgerungen auf. Die KI-Agenten reproduzierten 72 % dieser menschlichen Lücke.
Die Geschwindigkeit: Ein KI-Agent konnte diese gesamte Analyse in etwa 15 Minuten für ca. 1,68 $ durchführen.

3. Die „Qualitätskontroll“-Falle

Man könnte denken: „Nun, die voreingenommene KI muss doch schlechte Mathematik betreiben.“

Die Überraschung: Die Forscher ließen sowohl andere KIs als auch menschliche Experten (PhD-Statistiker) die Berichte überprüfen.
Das Urteil: 86 % der KI-Berichte bestanden die Überprüfung. 78 % bestanden die Überprüfung durch menschliche Experten.
Die Erkenntnis: Die KI-Agenten kamen zu gegensätzlichen Schlussfolgerungen unter Verwendung von Methoden, die Experten als fehlerfrei betrachteten. Das Problem war nicht, dass die Mathematik falsch war; das Problem war, dass die KI (genau wie ein Mensch) den Wald selektiv nach Pfaden absuchte, die ihrer „Überzeugung“ entsprachen.

4. Wie die KI es macht: Exploration vs. Selektion

Das Paper erklärt, wie die KI zu der falschen (oder richtigen) Schlussfolgerung gelangt:

Exploration: Die KI beginnt zu wandern. Wenn sie ein „Gläubiger“ ist, wandert sie ganz natürlich in Richtung der Pfade, die für ihre Überzeugung vielversprechend aussehen. Wenn sie ein „Skeptiker“ ist, wandert sie woandershin.
Selektion: Nachdem sie viele Pfade durchwandert hat, wählt die KI den einen, der am besten zu ihrer Geschichte passt, um ihn im finalen Bericht zu verwenden.

Analogie: Stellen Sie sich einen Koch vor, der ein scharfes Gericht zubereiten möchte. Er probiert 100 verschiedene Suppen. Er achtet ganz natürlich stärker auf die scharfen Suppen, verfeinert sie, um sie noch schärfer zu machen, und serviert schließlich die schärfste davon. Ein „nicht-scharfer“ Koch würde exakt denselben Prozess durchlaufen, aber am Ende eine milde Suppe servieren. Beide Köche haben die Kochregeln perfekt befolgt.

5. Die Lösung: Der „m-Wert“ und das „Agentic Bootstrap“

Da wir einem einzelnen Bericht nicht mehr trauen können (weil die KI sehr leicht den am besten aussehenden Pfad auswählen konnte), schlagen die Autoren eine neue Art vor, Wissenschaft zu bewerten.

Der alte Weg (p-Wert): „Wenn wir dieses Experiment 1.000 Mal mit demselben Rezept wiederholen würden, wie oft kämen wir zu diesem Ergebnis?“ (Dies prüft nach dem Glück bei den Daten).
Der neue Weg (m-Wert): „Wenn wir 1.000 verschiedene valide Rezepte an denselben Daten ausprobieren würden, wie oft kämen wir zu diesem Ergebnis?“ (Dies prüft nach dem Glück bei den Entscheidungen).

Agentic Bootstrap ist das Werkzeug, das sie dafür gebaut haben. Es nutzt KI-Agenten, um tausende von verschiedenen „Was-wäre-wenn“-Szenarien (andere Pfade durch den Wald) zu simulieren und eine Karte aller möglichen validen Schlussfolgerungen zu erstellen.

Wenn ein Ergebnis eines Forschers in der Mitte der Karte liegt, ist es robust.
Wenn ein Ergebnis eines Forschers am extremen Rand der Karte liegt (im „Tail“), bedeutet dies, dass er wahrscheinlich einen sehr spezifischen Pfad gewählt hat, um genau zu diesem Ergebnis zu gelangen.

Die Erkenntnis: Als sie dies auf die menschliche Einwanderungsstudie anwandten, fanden sie heraus, dass 13,5 % der menschlichen Berichte in den extremsten 5 % der möglichen Ergebnisse lagen. Dies deutet darauf hin, dass viele menschliche Erkenntnisse nicht deshalb „extrem“ sind, weil die Daten so stark sind, sondern weil die Forscher (oder ihre KI-Helfer) selektiv den Pfad gewählt haben, der dorthin führte.

Zusammenfassung

Das Paper argumentt, dass KI es billig und einfach macht, die attraktivste wissenschaftliche Geschichte aus einem Wald von Millionen valider Optionen herauszupicken („Cherry-Picking“). Die Lösung besteht nicht darin, die Nutzung von KI zu stoppen, sondern die KI zu nutzen, um zuerst den gesamten Wald abzubilden. Bevor wir eine wissenschaftliche Behauptung vertrauen, sollten wir fragen: „Ist dieses Ergebnis ein typischer Pfad durch den Wald, oder hat jemand einfach den einen Pfad gewählt, der zu der gewünschten Schlussfolgerung führt?“ Der m-Wert ist das neue Lineal, mit dem man diese Messung vornimmt.

Technisches Resümee: Der agentische Garten der verzweigten Pfade

Problemstellung
Empirische Forschung lässt selten einen eindeutigen Analysepfad zu. Forscher stehen vor zahlreichen „Freiheitsgraden“ hinsichtlich der Operationalisierung von Variablen, der Stichprobenauswahl, der Kovariatenanpassung und der Modellspezifikation. Wenn diese Entscheidungen getroffen werden, um signifikante oder erwartete Ergebnisse zu erzielen – sei es durch gezieltes p-Hacking oder den unbewussten „Garten der verzweigten Pfade“ –, führen sie zu einer Inflation der Falsch-Positiv-Raten. Vorherige Überzeugungen prägen oft, welche Analysepfade exploriert und welche Ergebnisse berichtet werden, was zu divergierenden Schlussfolgerungen aus demselben Datensatz führt.

Der Einzug von KI-Agenten (speziell Large Language Model Coding Agents) verstärkt diese Herausforderung. Im Gegensatz zu menschlichen Analysten können KI-Agenten eine enorme Anzahl plausibler Analysen schnell und kostengünstig generieren und evaluieren. Dies schafft das Risiko, dass die KI-gestützte Analyse es erleichtert, einen großen Raum methodisch vertretbarer Spezifikationen zu durchsuchen und eine Schlussfolgerung selektiv zu berichten, die eine bevorzugte Behauptung stützt. Entscheidend ist, dass ein solches selektives Berichten allein aus den Endberichten schwer zu detektieren ist, da die gewählte Analyse isoliert betrachtet statistisch valide und methodisch fundiert erscheinen kann.

Methodik
Die Autoren nutzen KI-Agenten als experimentelles System, um zu untersuchen, wie Vorurteile (Prior Beliefs) die empirische Datenanalyse verzerren, und um Methoden zur Quantifizierung der daraus resultierenden Unsicherheit zu entwickeln.

Persona-gesteuerte Agenten-Experimente:
- Setup: Die Studie umfasst vier Hochrisiko-Domänen (Politikwissenschaft, öffentliche Gesundheit, Psychologie und Biologie) unter Verwendung realer Datensätze (ISSP, NHANES, YRBS, American Gut Project).
- Verfahren: Für jede Fragestellung wurden gegenüberliegende „Personas“ (z. B. pro-Immigration vs. anti-Immigration, Gläubiger vs. Skeptiker) über System-Prompts unabhängigen KI-Agenten zugewiesen. Diese Prompts deklarierten eine substantielle Überzeugung, instruierten die Agenten jedoch explizit dazu, „rigoros zu analysieren“, ohne Beweise zu fälschen oder p-Hacking zu betreiben.
- Prozess: Jeder Agent führte 10 sequentielle Runden der Exploration durch, wobei pro Runde 10 Kandidatenmodelle generiert wurden (insgesamt 100). Die Agenten behielten den vollständigen Verlauf bei, um nachfolgende Analysen zu verfeinern. Schließlich wählte jeder Agent eine Spezifikation als seinen Abschlussbericht aus.
- Überprüfung: Ein separater KI-Reviewer (und eine Teilmenge von menschlichen Experten auf PhD-Niveau) bewertete die Berichte auf wesentliche methodische Fehler. Nur Analysen, die diese Prüfung bestanden, wurden in die Primärergebnisse einbezogen.
Agentische Spezifikationskurve:
- Um die Landschaft valider Analysen abzubilden, bündelten die Autoren alle generierten Kandidatenspezifikationen gegenüberliegender und neutraler Personas über alle Runden hinweg.
- Nach der Qualitätskontrolle und unabhängigen methodischen Überprüfung wurden tausende Spezifikationen (z. B. 4.392 für die Immigration-Frage) beibehalten.
- Diese wurden nach der Effektstärke sortiert, um die Verteilung der aus denselben Daten möglichen Schlussfolgerungen ohne gravierende Fehler zu visualisieren.
Agentisches Bootstrap und der m-Wert:
- Konzept: Die Autoren führen den m-Wert (Multiverse-Wert) ein, um die „Analyse-Raum-Unsicherheit“ zu adressieren, die sich von der „Stichproben-Unsicherheit“ (adressiert durch p-Werte) unterscheidet.
- Definition: Der m-Wert ist die Wahrscheinlichkeit, dass ein Analysepfad, gezogen aus einer Verteilung methodisch vertretbarer Analysen ( $\Pi$ ), ein Ergebnis produziert, das mindestens so extrem ist wie die berichtete Behauptung.
- Schätzung: Das Agentische Bootstrap schätzt diese Verteilung, indem es instrumentierte KI-Agenten nutzt, um systematisch plausible Analysepfade zu sampeln, zu protokollieren und zu evaluieren. Der m-Wert wird als Tail-Wahrscheinlichkeit der berichteten Behauptung innerhalb dieser empirischen Verteilung berechnet.

Kernergebnisse

Replikation menschlicher ideologischer Klüfte: KI-Agenten mit gegenüberliegenden Personas reproduzierten die bei menschlichen Forschern beobachtete ideologische Kluft. Für die Frage zu Immigration und Wohlfahrt produzierten gegenüberliegende Personas eine durchschnittliche Differenz der Effektschätzer von 0,020, was 72 % der Kluft entspricht, die unter 42 menschlichen Forschungsteams beobachtet wurde. Diese Divergenz blieb auch bei permutierten Null-Daten bestehen, was darauf hindeutet, dass sie aus analytischen Entscheidungen und nicht aus dem Datensignal resultierte.
Methodische Fundiertheit divergierender Schlussfolgerungen: Trotz gegensätzlicher Schlussfolgerungen bestanden 86 % der Agenten-Berichte die unabhängige KI-Überprüfung und 78 % die Überprüfung durch eine Mehrheit menschlicher Experten. Dies bestätigt, dass die Divergenz aus methodisch fundierten Analysen stammt und nicht aus fehlerhaften.
Mechanismen der Verzerrung: Die Persona-Verzerrung trat in zwei Stadien auf:
1. Exploration: Gegenüberliegende Personas explorierten progressiv unterschiedliche Regionen des analytischen Suchraums (z. B. bevorzugten pro-immigration Agenten Zuwanderungsströme; anti-immigration Agenten Bestände/Stocks).
2. Selektion: Agenten wählten bevorzugt Abschlussberichte aus, die mit ihren zugewiesenen Überzeugungen übereinstimmten, aus dem Satz der explorierten Spezifikationen.
Vorhersehbarkeit von Schlussfolgerungen: Das Vorzeichen einer berichteten Schlussfolgerung war allein basierend auf der Kombination analytischer Entscheidungen (Outcome, Exposition, Kovariaten usw.) hochgradig vorhersagbar (AUC = 0,92), was zeigt, dass selektive Berichterstattung gezielt bestimmte Schlussfolgerungen anvisieren kann.
Quantifizierung selektiver Berichterstattung (m-Wert): Bei Anwendung auf menschliche Berichte aus der Immigration-Studie zeigte das Agentische Bootstrap, dass menschliche Analysen keine typischen Züge aus der breiteren Verteilung vertretbarer Analysen waren.
- 13,5 % der menschlichen Berichte fielen in die extremsten 5 % des Analyse-Raums ( $m < 0,05$ ).
- Unter den statistisch signifikanten menschlichen Befunden ( $p < 0,05$ ) hatten 40 % einen Wert von $m < 0,05$ , eine Rate, die 2,4-mal höher ist als unter Annahme einer Zufallsauswahl aus dem Analyse-Raum erwartet.
- Das 95 % Agentische Bootstrap-Intervall für die Immigration-Frage war 2,8-mal breiter als das durchschnittliche 95 % Konfidenzintervall einer einzelnen Analyse, was zeigt, dass die Unsicherheit durch Analyseentscheidungen die Stichproben-Unsicherheit erheblich übersteigt.

Bedeutung und Ansprüche
Das Paper argumentiert, dass die zentrale Herausforderung in der empirischen Wissenschaft nicht notwendigerweise die Produktion fehlerhafter Analysen ist, sondern die selektive Exploration und Berichterstattung aus einem großen Raum methodisch vertretbarer Analysen. KI-Agenten verstärken dieses Risiko erheblich, indem sie diese Exploration kostengünstig und skalierbar machen.

Die Autoren behaupten, dass wissenschaftliche Evidenz nicht nur durch die Validität einer einzelnen berichteten Analyse, sondern auch durch deren Position innerhalb der Verteilung der Analysen bewertet werden sollte, die vernünftigerweise hätten berichtet werden können. Der m-Wert und das Agentische Bootstrap bieten ein neues Kriterium für wissenschaftliche Glaubwürdigkeit:

Sie machen die „verborgene Verteilung“ plausibler Analysen beobachtbar.
Sie ermöglichen es Forschern, zwischen robusten Signalen (typisch für den Analyse-Raum) und fragilen Befunden (extreme Ausreißer im Analyse-Raum) zu unterscheiden.
Sie bieten eine praktische, skalierbare Alternative zu menschlichen „Many-Analyst“-Studien zur Prüfung der Robustheit empirischer Behauptungen.

Die Arbeit legt nahe, dass die wissenschaftliche Gemeinschaft, wenn die empirische Analyse billiger und skalierbarer wird, den Fokus von der Validierung isolierter Modelle hin zum Stresstest des gesamten Analyse-Raums verlagern muss, um sicherzustellen, dass berichtete Schlussfolgerungen nicht lediglich Artefakte selektiver Pfadauswahl sind.