Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

Die große Idee: Das Problem des „eingefrorenen Objektivs"

Stellen Sie sich vor, Sie versuchen, einen mysteriösen Gegenstand in einem dunklen Raum zu verstehen. Sie können den Gegenstand nicht direkt sehen; Sie können nur seinen Schatten sehen, den eine bestimmte Lampe an die Wand wirft.

In der KI für die Wissenschaft verhalten sich Forscher oft so, als würden sie den Gegenstand selbst untersuchen. In Wirklichkeit untersuchen sie jedoch den Schatten.

Das Papier argumentiert, dass in vielen wissenschaftlichen Bereichen (wie Gehirnabbildung, Astronomie oder Wirkstoffentwicklung) die von Wissenschaftlern verwendeten Daten keine „rohe Realität" sind. Es ist eine verarbeitete, bereinigte und rekonstruierte Version der Realität. Diese Verarbeitung erfolgt durch eine lange Kette von Schritten, die als Pipeline bezeichnet wird (Rauschen filtern, fehlende Teile ergänzen, Signale umwandeln).

Derzeit behandeln Wissenschaftler den endgültigen Datensatz so, als wäre er eine feste, objektive Tatsache. Sie sagen: „Hier sind die Daten, jetzt bauen wir ein Modell." Die Autoren nennen dies das „eingefrorene Objektiv". Sie argumentieren, dass dies ein Fehler ist. Die Pipeline, die die Daten erstellt hat, ist tatsächlich ein riesiger Teil des wissenschaftlichen Denkens, und indem wir sie „einfrieren" (ignorieren), verbergen wir die Tatsache, dass unsere Schlussfolgerungen vollständig davon abhängen, wie wir diesen Schatten geworfen haben.

---

Die drei Arten, wie dies schiefgeht

Die Autoren identifizieren drei spezifische Wege, auf denen dieses „eingefrorene Objektiv" die Wissenschaft scheitern lässt. Betrachten Sie diese als drei Fallen:

1. Das versteckte Menü (Verborgener Hypothesenraum)

Die Analogie: Stellen Sie sich ein Restaurant vor, das Ihnen einen Burger serviert. Sie gehen davon aus, dass der Burger die „Wahrheit" darüber ist, was der Koch zubereitet hat. Aber der Koch hatte ein Menü mit 50 verschiedenen Möglichkeiten, diesen Burger herzustellen (verschiedene Brötchen, verschiedene Garzeiten, verschiedene Saucen). Das Restaurant servierte Ihnen nur eine spezifische Version und erzählte Ihnen nichts von den anderen 49.
Das Problem: Wenn Wissenschaftler einen Datensatz veröffentlichen, wählen sie normalerweise eine Art aus, die Rohmessungen zu verarbeiten. Sie sagen Ihnen nicht, dass der „Burger" (die Daten) völlig anders ausgesehen hätte, wenn sie einen leicht anderen Filter oder eine andere Reinigungsmethode gewählt hätten.
Das Ergebnis: Das KI-Modell lernt, basierend auf dieser einen spezifischen Version des Burgers vorherzusagen. Es glaubt, eine universelle Wahrheit entdeckt zu haben, merkt aber tatsächlich nur die Eigenarten dieses einen spezifischen Rezepts auswendig. Das „Menü" anderer möglicher Realitäten bleibt verborgen.

2. Die kaputte Karte (Nicht zertifizierte Übertragbarkeit)

Die Analogie: Stellen Sie sich vor, Sie haben eine Karte einer Stadt, die perfekt für einen sonnigen Tag gezeichnet wurde. Sie nutzen diese Karte zur Navigation. Aber dann beginnt es zu regnen, und die Straßen überfluten. Die Karte zeigt Ihnen die Pfützen nicht, weil sie nur für sonnige Tage gezeichnet wurde. Sie versuchen, die Karte im Regen zu nutzen, stecken fest und geben Ihrem Fahrkönnen die Schuld.
Das Problem: Eine Pipeline mag im Labor, wo die Daten gesammelt wurden (dem „sonnigen Tag"), hervorragend funktionieren. Aber wenn Sie versuchen, dieselbe Datenverarbeitungsmethode auf Daten aus einem anderen Krankenhaus, einem anderen Land oder einer anderen Maschine anzuwenden (dem „regnerischen Tag"), kann die Pipeline versagen oder die Daten auf seltsame Weise verzerren.
Das Ergebnis: Wissenschaftler wissen oft nicht, wann ihre Datenverarbeitungsmethode aufhört zu funktionieren. Wenn ein KI-Modell bei neuen Daten versagt, wissen wir nicht, ob das KI-Modell schlecht ist oder ob die „Karte" (die Pipeline) für diese neue Umgebung einfach ungültig war.

3. Die Schar von Experten (Ungeordnete Vielheit)

Die Analogie: Stellen Sie sich eine Jury von 100 Experten vor, die dasselbe Foto eines Tatorts betrachten. Sie sind sich alle über die Fakten einig, verwenden aber leicht unterschiedliche Lupen. 90 von ihnen kommen zu dem Schluss, dass der Verdächtige schuldig ist. 10 kommen zu dem Schluss, dass der Verdächtige unschuldig ist. Die Nachrichten berichten: „Die Experten sagen, der Verdächtige ist schuldig" und ignorieren die 10, die anderer Meinung waren.
Das Problem: In der Wissenschaft gibt es oft viele „vertretbare" Wege, Daten zu verarbeiten. Sie können Rauschen auf fünf verschiedene gültige Arten filtern. Wenn Sie eine auswählen, erhalten Sie ein Ergebnis. Wenn Sie eine andere auswählen, erhalten Sie ein anderes Ergebnis.
Das Ergebnis: Wissenschaftler wählen oft die eine Methode aus, die ihnen das „coolste" oder signifikanteste Ergebnis liefert, und ignorieren die Tatsache, dass 99 andere gültige Methoden ein anderes Ergebnis geliefert hätten. Sie behandeln ihre einzelne Wahl als absolute Wahrheit, anstatt einzugestehen: „Wir haben 100 Wege ausprobiert, und die Antwort ist etwas wackelig."

---

Der „EEG-Audit": Ein Realitätscheck

Um zu beweisen, dass dies nicht nur Theorie ist, führten die Autoren ein massives Experiment mit Hirndaten (EEG) im Zusammenhang mit Depressionen durch.

• Das Setup: Sie nahmen rohe Hirnwellendaten und führten sie durch 245.376 verschiedene Kombinationen von Verarbeitungspipelines. (Stellen Sie sich vor, Sie probieren jede mögliche Kombination von Filtern, Reinigungswerkzeugen und Messregeln aus).
• Das Ziel: Sie suchten nach einem spezifischen Signal: einem Unterschied in der Gehirnaktivität zwischen Menschen mit Depression und gesunden Menschen.
• Das schockierende Ergebnis:
  • Viele der über 245.000 Pipelines fanden einen „signifikanten" Unterschied.
  • ABER, als sie prüften, ob diese Unterschiede über verschiedene Personengruppen (verschiedene Datensätze) hinweg Bestand hatten, überlebte NUR EINE Pipeline von 245.376.
  • Das ist eine Überlebensrate von 0,0004 %.

Was das bedeutet: Fast jedes Mal, wenn Wissenschaftler in diesem Bereich eine „Entdeckung" machten, war dies wahrscheinlich ein Zufall der spezifischen Pipeline, die sie zufällig ausgewählt hatten. Die „Wahrheit" war so zerbrechlich, dass eine leichte Änderung der Verarbeitungsregeln die Entdeckung zum Verschwinden brachte.

---

Die Lösung: Das „berechenbare Beobachtungsrahmenwerk"

Die Autoren sagen nicht, dass wir die Wissenschaft einstellen sollten. Sie sagen, wir müssen ändern, wie wir mit Daten umgehen.

Der aktuelle Weg:

1. Rohdaten $\rightarrow$ [Black-Box-Pipeline] $\rightarrow$ „Bereinigte Daten" $\rightarrow$ KI-Modell.
2. Wir tun so, als wären die „bereinigten Daten" die Wahrheit.

Der vorgeschlagene Weg:

1. Rohdaten $\rightarrow$ Die Pipeline als Variable $\rightarrow$ KI-Modell.
2. Wir behandeln die Pipeline wie eine wissenschaftliche Hypothese. Wir fragen: „Hält diese Schlussfolgerung stand, wenn wir die Pipeline ändern?"

Sie schlagen ein System vor, bei dem:

• Pipelines „ausführbare Objekte" sind: Anstatt nur einen PDF-Bericht mit der Aussage „wir haben Methode A verwendet" zu haben, wird der Code für Methode A (und alle seine möglichen Variationen) als digitales Objekt gespeichert, das ausgeführt, getestet und geändert werden kann.
• Stabilität ist das Ziel: Anstatt nur nach dem Modell zu suchen, das am besten vorhersagt, suchen wir nach dem Modell, das dieselbe Antwort gibt, egal welche gültige Pipeline wir verwenden.
• Unsicherheit wird geteilt: Wenn 100 Pipelines 100 verschiedene Antworten geben, berichten wir diese Unsicherheit. Wir verbergen sie nicht.

Zusammenfassung

Das Papier argumentiert, dass in der KI für die Wissenschaft das Werkzeug, mit dem die Realität gemessen wird, genauso wichtig ist wie die Messung selbst. Indem Wissenschaftler das Werkzeug (die Pipeline) ignorieren, bauen sie oft KI-Modelle auf wackeligem Grund auf. Sie müssen aufhören, verarbeitete Daten als feste Tatsache zu behandeln, und beginnen, sie als variablen Teil des wissenschaftlichen Experiments zu betrachten.