💬 NLP

Experiments or Outcomes? Probing Scientific Feasibility in Large Language Models

Die Studie zeigt, dass Large Language Models bei der Bewertung der wissenschaftlichen Machbarkeit von Hypothesen durch konkrete Versuchsergebnisse robuster und genauer werden als durch bloße Versuchsbeschreibungen, die bei unvollständigem Kontext die Leistung verschlechtern können.

Ursprüngliche Autoren: Seyedali Mohammadi, Manas Gaur, Francis Ferraro

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Seyedali Mohammadi, Manas Gaur, Francis Ferraro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧪 Das große Experiment: Können KI-Modelle echte Wissenschaft verstehen?

Stell dir vor, du hast einen Wissenschaftler-Roboter (eine große KI wie ChatGPT oder Gemini). Dieser Roboter ist extrem schlau und hat Millionen von Büchern gelesen. Aber die Forscher von der Universität Maryland wollten wissen: Versteht er wirklich, wie wissenschaftliche Beweise funktionieren, oder liest er nur oberflächlich?

Die Forscher haben eine spezielle Prüfung für den Roboter entwickelt, die sie „Wissenschaftliche Machbarkeit" nennen. Das ist im Grunde die Frage: „Ist diese Behauptung (Hypothese) überhaupt wahr, und gibt es echte Experimente, die das beweisen?"

🕵️‍♂️ Die Prüfungssituation: Drei verschiedene Szenarien

Um den Roboter zu testen, gaben sie ihm immer dieselbe Behauptung, aber unterschiedliche „Hilfskarten" (Beweise). Stell dir das wie ein Detektivspiel vor:

Nur die Behauptung (H): Der Roboter muss sich nur auf sein eigenes Gedächtnis verlassen.
- Vergleich: Ein Detektiv, der nur eine vage Beschreibung eines Verbrechens hat und raten muss, wer der Täter war.
Behauptung + Experimente (H+E): Der Roboter bekommt eine Beschreibung, wie ein Experiment gemacht wurde, aber nicht, was dabei herauskam.
- Vergleich: Der Detektiv bekommt den Bauplan eines Hauses, weiß aber nicht, ob darin jemand wohnt oder ob es einstürzt.
Behauptung + Ergebnisse (H+O): Der Roboter bekommt nur die Ergebnisse (z. B. „Der Blutdruck sank"), aber nicht, wie das Experiment lief.
- Vergleich: Der Detektiv bekommt ein Foto vom Tatort mit dem Ergebnis, aber keine Erklärung, wie man dorthin kam.
Alles zusammen (H+E+O): Der Roboter bekommt den kompletten Bericht: Plan und Ergebnis.
- Vergleich: Der Detektiv hat den ganzen Fallordner.

📉 Die überraschenden Ergebnisse

Die Forscher haben etwas sehr Interessantes entdeckt, das gegen unsere Intuition geht:

1. Ergebnisse sind besser als Beschreibungen
Wenn man dem Roboter nur sagt, wie ein Experiment geplant war (ohne das Ergebnis), wurde er oft schlechter als wenn er gar keine Hilfe hatte!

Die Metapher: Stell dir vor, du bekommst eine Anleitung, wie man einen Kuchen backt, aber keine Ahnung, wie er schmeckt. Der Roboter versucht dann, sich die Ergebnisse aus der Anleitung „herzuleiten" und erfindet dabei oft Unsinn.
Fazit: Es ist besser, dem Roboter das Ergebnis zu zeigen („Der Kuchen ist lecker"), als ihm nur die Zutatenliste zu geben.

2. Mehr ist nicht immer besser
Man dachte, wenn man dem Roboter alles gibt (Plan + Ergebnis), wäre er am klügsten. Aber oft war er mit nur den Ergebnissen sogar besser!

Die Metapher: Wenn du einem Schüler die komplette Lösung und den Lösungsweg zeigst, verliert er manchmal den Fokus auf das Wichtigste und wird verwirrt durch die Details. Der Roboter „verheddert" sich manchmal in den Details des Experiments.

3. Das „Halb-Information"-Problem (Der gefährlichste Teil)
Das war die größte Überraschung: Wenn man dem Roboter nur die Hälfte der Informationen gibt (z. B. nur 50 % der Experimente), wird er oft katastrophal schlecht.

Die Metapher: Stell dir vor, du hörst nur die Hälfte eines Witzes. Du versuchst trotzdem, ihn zu Ende zu erzählen, und das Ergebnis ist peinlich falsch. Der Roboter nimmt die wenigen Informationen, die er hat, und baut darauf eine feste, aber falsche Meinung auf. Er gibt nicht zu: „Ich weiß es nicht", sondern er erfindet eine Antwort.

💡 Was lernen wir daraus?

Die Studie zeigt uns, dass diese KI-Modelle wie sehr gut ausgebildete, aber etwas oberflächliche Schüler sind:

Sie können Fakten auswendig lernen (Gedächtnis).
Sie können Ergebnisse gut verarbeiten (wenn man ihnen sagt, was passiert ist).
Aber sie können noch nicht wirklich wissenschaftlich denken, wenn die Beweise unvollständig sind. Sie neigen dazu, Lücken mit Vermutungen zu füllen, anstatt unsicher zu sein.

Die große Lehre für die Zukunft:
Wenn wir KI in der Wissenschaft einsetzen wollen (z. B. um neue Medikamente zu finden), dürfen wir ihr nicht einfach irgendeinen Text geben. Wir müssen ihr klare, vollständige Ergebnisse liefern. Wenn wir ihr nur Fragmente geben, kann sie uns gefährlich in die Irre führen, weil sie zu selbstbewusst falsche Schlüsse zieht.

Kurz gesagt: Für die KI ist das Endergebnis wichtiger als die Geschichte, wie man dorthin kam. Und wenn die Geschichte unvollständig ist, ist es oft besser, gar keine Geschichte zu erzählen, als eine halbe.

Titel: Experimente oder Ergebnisse? Untersuchung der wissenschaftlichen Machbarkeit in Large Language Models (LLMs)

Autoren: Seyedali Mohammadi, Manas Gaur, Francis Ferraro (University of Maryland, Baltimore County)

1. Problemstellung

Die Arbeit adressiert die Fähigkeit von Large Language Models (LLMs), wissenschaftliche Machbarkeitsbewertungen (Scientific Feasibility Assessment) durchzuführen. Diese Aufgabe besteht darin zu beurteilen, ob eine wissenschaftliche Hypothese mit etabliertem Wissen übereinstimmt und ob konkrete Experimente existieren, die diese Hypothese stützen oder widerlegen könnten.

Bisherige Forschung konzentrierte sich oft auf die Hypothesengenerierung oder kombinierte interne Wissensmodelle mit Retrieval-Systemen, ohne zu isolieren, welche Art von externer Evidenz (Experimentdesigns vs. konkrete Ergebnisse) für die Urteilsbildung notwendig ist. Es bleibt unklar:

Können LLMs Machbarkeit allein basierend auf parametrischem (internen) Wissen beurteilen?
Wie verändern explizite experimentelle Kontexte (nur Experimente, nur Ergebnisse oder beides) die Urteile im Vergleich zum reinen internen Wissen?
Wie robust sind diese Urteile, wenn die experimentellen Informationen unvollständig sind?

2. Methodik

Die Autoren stellen einen kontrollierten Wissensrahmen vor, um die Diagnosefähigkeit von LLMs systematisch zu testen.

Aufgabenformulierung: Die Machbarkeitsbewertung wird als strukturiertes Vorhersageproblem formuliert. Gegeben ist eine Hypothese $h$ , und das Modell muss eine binäre Label-Ausgabe ( $\text{FEASIBLE}$ oder $\text{INFEASIBLE}$ ) sowie eine Begründung liefern.
Kontrollierte Bedingungen: Die Evaluation erfolgt unter vier Szenarien, die den Kontext $x$ $x$ variieren:
1. H (Hypothesis-only): Nur die Hypothese (Basislinie, rein parametrisches Wissen).
2. H+E (Hypothesis + Experiments): Hypothese + Beschreibungen der Experimente (ohne Ergebnisse).
3. H+O (Hypothesis + Outcomes): Hypothese + Zusammenfassung der Ergebnisse (ohne Experimentdetails).
4. H+E+O (Hypothesis + Experiments + Outcomes): Vollständiger Kontext.
Stabilitätsanalyse (Robustheitstest): Um die Robustheit bei unvollständigen Daten zu testen, werden Experimente und Ergebnisse progressiv entfernt. Es werden Teilmengen mit den Anteilen $k_1, k_2 \in \{0, 0.5, 1.0\}$ zufällig ausgewählt. Dies erlaubt die Beobachtung, ob die Leistung linear abnimmt oder ob es zu nicht-monotonen Einbrüchen kommt.
Datensätze:
- MATTER-OF-FACT: Enthält Behauptungen mit zugehörigen Quellpapieren, wobei Experimente und Ergebnisse die Hypothese stützen, widersprechen oder nur teilweise adressieren können.
- REASONS: Bietet positive Machbarkeitsfälle, bei denen die Behauptung explizit durch zitierte Literatur gestützt wird.
Modelle: Getestet wurden verschiedene proprietäre LLMs (GPT-5.1, GPT-4o, Gemini-2.5-Pro/Flash, Grok-4.1-fast), um die Ergebnisse über verschiedene Modellgrößen und Anbieter hinweg zu validieren.
Datenlecks-Prävention: Es wurden Filter angewendet, um sicherzustellen, dass die Testdaten nach dem Trainings-Cutoff der Modelle liegen (Post-Cutoff-Filtering).

3. Hauptbeiträge

Kontrollierter Wissensrahmen: Entwicklung eines Frameworks, das systematisch misst, wie Experimente und Ergebnisse die Machbarkeitsurteile verschieben.
Stabilitätsanalyse: Quantifizierung der Robustheit von LLMs unter Bedingungen unvollständiger Evidenz.
Identifikation von Fehlermustern: Aufdeckung, dass teilweise Evidenz die Leistung oft verschlechtert, anstatt sie zu verbessern.

4. Ergebnisse und Analyse

Die Studie liefert drei zentrale Erkenntnisse:

Erkenntnis 1: Ergebnisevidenz ist stabiler als Experimentbeschreibungen.
Die Bereitstellung von Ergebnissen (H+O) verbessert oder erhält die Genauigkeit zuverlässiger als die Bereitstellung von reinen Experimentbeschreibungen (H+E). In vielen Fällen führte H+E sogar zu einer Verschlechterung der Leistung im Vergleich zur reinen Hypothese (H). Dies deutet darauf hin, dass LLMs Experimentdesigns ohne Ergebnisse oft missverstehen oder in die Irre führen lassen.
Erkenntnis 2: Mehr Evidenz ist nicht strikt besser.
Das vollständige Set (H+E+O) übertrifft nicht immer das Set mit nur Ergebnissen (H+O). In einigen Fällen führt die Kombination aus Experiment und Ergebnis zu schlechteren Ergebnissen als nur Ergebnisse allein. Dies zeigt, dass Modelle die Informationen nicht immer kompositional integrieren; zusätzlicher Kontext kann die Entscheidungsfindung stören.
Erkenntnis 3: Nicht-monotone und adversariale Degradation.
Unter unvollständigen Bedingungen (z. B. 50 % der Evidenz) fällt die Leistung oft stärker ab als bei vollständiger Evidenz oder gar keiner Evidenz (H).
- Nicht-monoton: Ein Zustand mit 50 % Evidenz performt manchmal schlechter als 100 % oder 0 %.
- Unter-Baseline-Leistung: Ein signifikanter Anteil der Konfigurationen mit teilweiser Evidenz liegt unter der Basislinie (nur Hypothese).
- Implikation: Teilweise wissenschaftlicher Kontext kann das Modell aktiv irreführen, anstatt ihm nur weniger Informationen zu geben.

Ursachenanalyse der Fehler:
Die Autoren identifizieren drei systematische Limitierungen:

Oberflächliche Ausrichtung (Surface Alignment): Modelle gewichten lexikalische Ähnlichkeiten zwischen Hypothese und Experimentbeschreibung zu stark, selbst wenn kritische Variablen (z. B. Interventionsstärke) nicht übereinstimmen. Ergebnisaussagen setzen hier stärkere, gerichtete Constraints.
Fehlende Relevanzprüfung: Modelle hinterfragen selten, ob die bereitgestellte Evidenz die Hypothese tatsächlich testet, und versuchen stattdessen, jeden Kontext zu rechtfertigen.
Anker-Effekt bei Teilinformationen: Bei unvollständigen Daten verankern sich Modelle an den verfügbaren Fragmenten und treffen übereilte Entscheidungen, statt Unsicherheit zu signalisieren.

5. Bedeutung und Fazit

Die Studie zeigt, dass aktuelle LLMs wissenschaftliche Machbarkeit eher als oberflächliche Klassifizierung behandeln als als evidenzbasiertes Urteil.

Für die Praxis: Die Hinzufügung von experimentellem Kontext (insbesondere nur Beschreibungen) kann die Zuverlässigkeit von LLMs in wissenschaftlichen Workflows verringern, wenn die Evidenz unvollständig ist.
Für die Forschung: Es besteht ein dringender Bedarf an Mechanismen, die die Relevanz von Evidenz, Unsicherheit und Variablenausrichtung explizit modellieren, anstatt sich auf zusätzlichen Kontext zu verlassen.
Diagnostischer Wert: Das vorgestellte Framework deckt Fehlermodi auf, die in Standard-Evaluierungen (wie reinem Claim-Verification oder RAG) unsichtbar bleiben.

Die Autoren betonen, dass ihre Ergebnisse als diagnostisches Signal zu verstehen sind, um Domain-Experten bei der Interpretation von LLM-Ausgaben zu unterstützen, und nicht als autoritative wissenschaftliche Urteile.