Preregistration for Experiments with AI Agents

Technisches Resümee: Preregistrierung für Experimente mit KI-Agenten

Problemstellung
Das Paper identifiziert eine kritische methodische Lücke im aufkommenden Paradigma der „in silico“-Verhaltensforschung, bei der Large Language Models (LLMs) und autonome KI-Agenten als Probanden in Studien zu Kognition, Entscheidungsfindung und sozialer Dynamik dienen. Während diese Experimente im Vergleich zur Forschung mit menschlichen Probanden eine beispiellose Skalierbarkeit und Kosteneffizienz bieten, erben sie die „Researcher Degrees of Freedom“ (Forscher-Freiheitsgrade), welche die Replikationskrise in den Sozialwissenschaften vorangetrieben haben, und verstärken diese sogar.

In der traditionellen Forschung mit Menschen wirken hohe Grenzkosten (Rekrutierung, Vergütung, Zeit) als natürliche Reibung gegen eine erschöpfende Exploration experimenteller Spezifikationen. Im Gegensatz dazu weisen KI-Experimente ein einzigartiges Risikoprofil auf: eine hohe Spezifikationsflexibilität kombiniert mit nahezu null Grenzkosten. Forscher können rasch durch einen riesigen kombinatorischen Raum von Konfigurationen iterieren – indem sie Modellfamilien, Prompt-Formulierungen, Decoding-Parameter (Temperatur, Top-p), Seeds, Retry-Policies und Parsing-Regeln variieren. Dies schafft einen „Garten der abzweigenden Pfade“ (Garden of Forking Paths), in dem Forscher – beabsichtigt oder unbeabsichtigt – tausende von vertretbaren Spezifikationen durchlaufen können, bis ein gewünschtes Ergebnis auftaucht. Da diese Iterationen in der Endpublikation oft keine sichtbare Spur hinterlassen, läuft das Feld Gefahr, eine Literatur anzuhäufen, in der die Befunde eher die Ergebnisse eines nicht offengelegten Optimierungsprozesses widerspiegeln als robuste Phänomene.

Methodik und Taxonomie
Das Paper präsentiert keine neuen experimentellen Daten, sondern konstruiert eine systematische Taxonomie der Forscher-Freiheitsgrade, die spezifisch für Experimente mit KI-Agenten sind. Die Autoren ordnen diese Schwachstellen der „p-Hacking“-Dynamik zu, wie sie in der Forschung mit menschlichen Probanden identifiziert wurde, und kategorisieren sie über die gesamte experimentelle Pipeline hinweg:

1. Modellauswahl: Die Wahl zwischen Dutzenden von Modellen mit unterschiedlichen Fähigkeiten und Alignment-Tuning.
2. Prompt Engineering: Iterative Verfeinerung von System-Messages, Nutzeranweisungen und Few-Shot-Beispielen, wobei geringfügige Änderungen in der Wortwahl als hochdimensionale Manipulationen der Behandlung wirken.
3. Sampling und Decoding: Anpassung stochastischer Parameter (Temperatur, Top-p) und Seeds, die den Antwortinhalt und das Verweigerungsverhalten verändern.
4. Inferenz-Budget: Variation von Token-Limits, Turn-Counts und Tool-Calls, was die Strategien von Agenten grundlegend verändern kann.
5. Antwortverarbeitung: Entscheidungen darüber, wie mit Verweigerungen, fehlerhaften Ausgaben oder Ausreißern umgegangen wird (z. B. Ausschluss, Imputation oder Wiederholung des Versuchs).
6. Operationalisierung des Ergebnisses: Auswahl spezifischer Metriken oder Evaluierungs-Prompts (einschließlich LLM-basierter Judges) im Nachhinein (Post-hoc).

Um das Ausmaß dieses Problems zu illustrieren, beziehen sich die Autoren auf eine Simulation (detailliert im Anhang des Papers), die Ankerungseffekte (Anchoring Effects) über 2.430 Spezifikationen hinweg untersucht. Die Simulation zeigte, dass Forscher durch die Wahl unterschiedlicher Pfade durch den Spezifikationsraum zu dem Schluss kommen könnten, dass LLMs starke menschenähnliche Ankerungseffekte zeigen, gar keine Ankerung oder sogar eine umgekehrte Ankerung. Dies verdeutlicht die „Illusion der Robustheit“, bei der ein Befund deshalb als generalisierbar erscheint, weil der Forscher durch das Multiversum der Spezifikationen navigiert ist, um einen unterstützenden Pfad zu finden.

Zentrale Beiträge
Der primäre Beitrag des Papers ist der Vorschlag, die Preregistrierung – eine Praxis, die zur Verbesserung der Glaubwürdigkeit in der Forschung mit menschlichen Probanden zentral ist – auf Experimente mit KI-Agenten auszuweiten. Die Autoren führen eine maßgeschneiderte Preregistrierungs-Vorlage ein, die darauf ausgelegt ist, die Flexibilität einzuschränken und gleichzeitig die notwendige explorative Freiheit zu bewahren. Zu den Kernkomponenten dieser Vorlage gehören:

• Spezifikation der Rechenumgebung: Die Forderung nach exakten Modell-Identifikatoren (einschließlich Version-Checkpoints), Generierungsparametern, Inferenz-Budgets und API-Zugriffsdaten, um die Reproduzierbarkeit zu gewährleisten.
• Prompt-Transparenz: Die Verpflichtung zur wortgetreuen Offenlegung aller Prompt-Texte (System- und Nutzer-Messages) statt bloßer Zusammenfassungen, da subtile Formatänderungen das Verhalten signifikant beeinflussen.
• Offenlegung von Pilot-Tests: Die Forderung, dass Forscher die Historie der Prompt-Iterationen, der während der Entwicklung getesteten Modelle und die Frage, ob vorläufige Ergebnisse die endgültigen Hypothesen beeinflusst haben, dokumentieren müssen. Dies adressiert die Unsichtbarkeit der Spezifikationssuche.
• Unterscheidung zwischen konfirmatorisch und explorativ: Die explizite Kennzeichnung von Analysen als entweder hypothesenprüfend (konfirmatorisch) oder hypothese-generierend (explorativ). Für konfirmatorische Studien erfordert die Vorlage die Vorab-Spezifikation primärer Outcomes, statistischer Tests und Entscheidungsregeln.
• Robustheits- und Generalisierungsprotokolle: Wenn Forscher die Absicht haben, die Robustheit über verschiedene Modelle oder Prompt-Varianten hinweg zu testen, müssen sie den vollständigen Raum der Spezifikationen und Aggregationsregeln im Voraus definieren und die Ergebnisse aus dem gesamten Raum melden, statt nur eine Teilmenge auszuwählen.
• Gestufte Designs (Staged Designs): Berücksichtigung adaptiver Designs (z. B. Nutzung von Pilotdaten zur Kalibrierung des Schwierigkeitsgrades) durch die Forderung nach vorab festgelegten Entscheidungsregeln für nachfolgende Phasen.
• Transparenzverpflichtungen: Die Verpflichtung zur Weitergabe von Roh-Modell-Outputs, verarbeiteten Daten und Analysecode sowie die Bestätigung, dass die Datenerhebung noch nicht begonnen hat.

Ergebnisse und Behauptungen
Das Paper berichtet keine empirischen Ergebnisse aus einer neuen Studie, sondern synthetisiert Evidenzen aus den Sozialwissenschaften und der Machine-Learning-Literatur, um für einen Wandel der Normen zu argumentieren. Die Autoren behaupten:

1. Das Risiko ist systemisch: Die Kombination aus hoher Flexibilität und geringen Kosten in KI-Experimenten schafft Anreize für die Spezifikationssuche, die schwerwiegender sind als in der Forschung mit menschlichen Probanden.
2. Aktuelle Normen sind unzureichend: Im Gegensatz zum traditionellen ML-Benchmarking, das auf festen Testsets basiert, fehlt es bei Verhaltens-Experimenten mit KI-Agenten oft an analogen Schutzmaßnahmen, was zu einer Literatur führt, in der berichtete Befunde Artefakte einer unoffenlegten Optimierung sein können.
3. Preregistrierung ist die Lösung: Durch die Forderung nach einer vorab getroffenen Festlegung von Hypothesen, Methoden und Analyseplänen kann die Preregistrierung den „Garten der abzweigenden Pfade“ einschränken und zwischen konfirmatorischen Tests und explorativen Suchen unterscheiden.
4. Durchführbarkeit: Die vorgeschlagene Vorlage balanciert Strenge mit Praktikabilität und erlaubt explorative Arbeit, solange diese klar gekennzeichnet und von konfirmatorischen Ansprüchen getrennt ist.

Bedeutung
Das Paper argumentiert, dass die Machine-Learning-Community die einzigartige Chance hat, „Glaubwürdigkeit in dieses Forschungsparadigma von Beginn an einzubauen“, anstatt – wie die Sozialwissenschaften – Schutzmaßnahmen erst nachträglich nach einer Krise zu implementieren. Durch die Institutionalisierung der Preregistrierung kann das Feld sicherstellen, dass Erkenntnisse über das Verhalten von KI – wie Biases, Denkprozesse und Alignment-Eigenschaften – robust und vertrauenswürdig sind. Dies ist besonders kritisch, da KI-Agenten zunehmend autonome Rollen in Hochrisikodomänen übernehmen (z. B. Verhandlungen, Infrastrukturmanagement), in denen das Verständnis ihres Verhaltens selbst ein Forschungspriorität darstellt. Die Autoren rufen Konferenzen, Journale und Förderorganisationen dazu auf, die Preregistrierung zum Standard zu machen, um den Forschungsprozess von einer undurchsichtigen Reise durch ein Multiversum von Spezifikationen in eine lesbare, kumulative Wissenschaft zu verwandeln.