Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

Die Studie zeigt, dass autonome KI-Analysten große Datenmengen kostengünstig analysieren können, wobei sie jedoch aufgrund unterschiedlicher analytischer Entscheidungen zu stark variierenden Ergebnissen führen, was die Notwendigkeit einer neuen Transparenznorm mit Multiversen-Berichterstattung unterstreicht.

Martin Bertran, Riccardo Fogliato, Zhiwei Steven Wu

Veröffentlicht 2026-03-12
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Titel: Wenn 100 KI-Detektive denselben Fall untersuchen – Warum die Wahrheit von der Frage abhängt

Stellen Sie sich vor, Sie haben einen riesigen, verschmutzten Koffer voller Daten (z. B. Fußballergebnisse, Umfragen oder Programmierzeiten). Sie stellen eine einfache Frage: „Gibt es hier einen Zusammenhang?"

In der Vergangenheit haben Wissenschaftler diesen Koffer oft nur einmal geöffnet. Aber was, wenn man 100 verschiedene Detektive beauftragt, denselben Koffer zu untersuchen?

Genau das haben die Autoren dieses Papers getan – nur dass sie keine Menschen, sondern künstliche Intelligenzen (KI) als Detektive eingesetzt haben. Hier ist die Geschichte, was sie herausfanden und warum das wichtig ist, einfach erklärt.

1. Das Experiment: Ein Koffer, 100 Detektive

Die Forscher gaben einer ganzen Armee von KI-Modellen denselben Datensatz und dieselbe Hypothese.

  • Der Koffer: Echte Daten (z. B. „Geben Schiedsrichter dunkelhäutigen Spielern öfter rote Karten?").
  • Die Detektive: Verschiedene KI-Modelle (wie Claude oder Qwen), die jeweils eine andere „Persönlichkeit" (Persona) hatten.

Einige KIs wurden neutral instruiert. Andere wurden so programmiert, dass sie skeptisch waren („Finde Beweise, dass die Theorie falsch ist!"). Wieder andere wurden aufgefordert, die Theorie zu bestätigen („Suche alles, was die Theorie stützt!").

2. Das Ergebnis: Ein Universum aus widersprüchlichen Wahrheiten

Das Ergebnis war verblüffend: Jeder Detektive kam zu einem anderen Schluss.

  • KI A sagte: „Ja, es gibt einen klaren Zusammenhang!"
  • KI B sagte: „Nein, das ist nur Zufall."
  • KI C sagte: „Es kommt darauf an, wie man die Daten schneidet."

Obwohl alle denselben Koffer öffneten und alle ihre Methoden als „wissenschaftlich korrekt" verteidigen konnten, landeten sie an völlig unterschiedlichen Orten. Die Forscher nennen dies das „Multiversum der Datenanalyse". Es gibt nicht die eine Wahrheit, sondern ein ganzes Universum möglicher Wahrheiten, je nachdem, wie man die Daten betrachtet.

3. Die Magie (und der Ärger): Die Persönlichkeit steuert das Ergebnis

Das Spannendste war: Die Forscher konnten das Ergebnis der KI wie einen Schalter umlegen.

  • Wenn sie der KI sagten: „Sei skeptisch!", landeten die Ergebnisse oft bei „Nein".
  • Wenn sie sagten: „Sei ein Fan der Theorie!", landeten die Ergebnisse bei „Ja".

Es ist, als würde man einem Koch sagen: „Koch mir ein Gericht, das schmeckt wie Pizza."

  • Der erste Koch macht eine klassische Pizza.
  • Der zweite Koch, der aufgefordert wurde, „die beste Pizza der Welt" zu machen, legt extra Käse und Pepperoni drauf.
  • Der dritte Koch, der skeptisch ist, sagt: „Pizza ist ungesund, hier ist ein Salat."

Alle haben Pizza gemacht (oder zumindest versucht), aber das Endergebnis hängt stark davon ab, wie man den Koch instruiert hat.

4. Der neue „Schiedsrichter": Eine KI, die die anderen prüft

Da so viele KIs auch mal halluzinieren (sich Dinge ausdenken), bauten die Forscher eine KI-Auditorin. Diese prüfte jede Analyse.

  • Hat die KI Daten erfunden? -> Abgelehnt.
  • Hat sie die Frage falsch verstanden? -> Abgelehnt.

Aber selbst nach dieser strengen Prüfung blieben die Unterschiede bestehen! Selbst die „guten" KIs kamen zu unterschiedlichen Ergebnissen, nur weil sie unterschiedliche Wege gewählt hatten, um die Daten zu schneiden.

5. Warum ist das wichtig? (Die große Gefahr und die Chance)

Die Gefahr:
Stellen Sie sich vor, ein Politiker oder ein Konzern nutzt eine KI, um eine Studie zu machen. Wenn die KI sagt: „Unsere neue Droge wirkt Wunder!", kann der Konzern einfach die KI neu instruieren („Suche nach Beweisen, dass sie wirkt!"), bis die KI genau das sagt. Da KI-Analysen billig und schnell sind, könnte man tausende Studien produzieren und nur die eine veröffentlichen, die passt. Das ist wie beim Glücksspiel: Man spielt so lange, bis man gewinnt, und zeigt nur den Gewinn.

Die Chance:
Aber diese KI-Kräfte können uns auch retten! Da wir jetzt sehen können, wie sehr die Ergebnisse schwanken, wenn wir die KI-Persönlichkeit ändern, können wir das nutzen, um Unsicherheit sichtbar zu machen.
Statt nur ein Ergebnis zu veröffentlichen, sollten Wissenschaftler sagen: „Hier ist unser Ergebnis, aber wenn wir die KI anders instruieren, sieht es so aus, so und so."

Die große Lehre

Die Autoren schlagen vor, dass wir in Zukunft nicht mehr nur sagen: „Hier ist unser Ergebnis."
Stattdessen sollten wir sagen: „Hier ist unser Ergebnis, und hier ist der ganze Regenbogen aller möglichen Ergebnisse, die man mit denselben Daten hätte bekommen können."

Und ganz wichtig: Man muss immer offenlegen, welche Fragen man der KI gestellt hat (die „Prompts"), genau wie man heute den Computercode offenlegt. Denn bei KI ist die Frage oft wichtiger als die Antwort.

Zusammenfassend:
Daten sind wie ein Tonblock. Ein Bildhauer (die KI) kann daraus eine Statue, ein Pferd oder einen Vogel schnitzen. Alles ist aus demselben Stein, aber das Endergebnis hängt davon ab, wie der Bildhauer den Meißel führt. Wir müssen lernen, nicht nur auf die Statue zu schauen, sondern auch zu verstehen, wie der Bildhauer gearbeitet hat.