📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

Die Arbeit stellt DiscoverPhysics vor, einen interaktiven Benchmark mit 22 simulierten Welten mit nicht-standardisierten physikalischen Gesetzen, um die Fähigkeit von führenden LLMs zu bewerten, durch das Entwerfen von Experimenten und das Ableiten zugrunde liegender Gesetze wissenschaftliches Denken über lange Zeiträume zu betreiben, wobei sich zeigt, dass zwar vielversprechende Modelle vielversprechend sind, sie jedoch weiterhin Schwierigkeiten haben, latente Strukturen aufzudecken, und dass Vorhersagegenauigkeit kein Garant für konzeptionelles Verständnis ist.

Ursprüngliche Autoren: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Kann KI ein echter Wissenschaftler sein?

Stellen Sie sich vor, Sie setzen eine intelligente KI in ein Videospiel-Universum, in dem die Gesetze der Physik völlig erfunden sind. Vielleicht wird die Schwerkraft schwächer, je weiter man entfernt ist, oder es gibt unsichtbare „Geister"-Teilchen, die Dinge herumziehen, die Sie nicht sehen können.

Die Forscher hinter diesem Papier wollten wissen: Kann eine KI die Regeln dieses falschen Universums allein durch das Spielen damit herausfinden?

Sie schufen einen Benchmark namens DiscoverPhysics. Es ist wie eine „Abschlussprüfung" für KI, aber anstatt die KI zu bitten, Fakten aus einem Lehrbuch aufzusagen (wie „Was ist das zweite Newtonsche Gesetz?"), bitten sie die KI, das Gesetz von Grund auf neu zu erfinden.

Wie der Test funktioniert: Das „Black-Box"-Spiel

Stellen Sie sich die KI als Detektiv und das Universum als einen verschlossenen Raum mit einem Rätsel vor.

Der Aufbau: Die KI wird in eine simulierte Welt geworfen. Sie kann den „Quellcode" (die eigentlichen mathematischen Regeln) nicht sehen. Sie sieht nur Teilchen, die sich bewegen.
Das Werkzeug: Die KI hat einen „Zauberstab" (einen N-Körper-Simulator). Sie kann sagen: „Ich möchte ein Teilchen von hier mit dieser Geschwindigkeit starten", und der Simulator sagt ihr, wo das Teilchen landet.
Der Prozess:
- Die KI startet ein paar Teilchen und beobachtet sie.
- Sie macht eine Vermutung: „Vielleicht funktioniert die Schwerkraft wie $1/r^2$ ?"
- Sie testet diese Vermutung. Wenn sich die Teilchen nicht so bewegen, wie die Vermutung vorhersagt, muss die KI ihre Meinung ändern.
- Sie wiederholt dies über viele Runden hinweg und entwickelt intelligentere Experimente, um die KI zu überrumpeln.
Die Abschlussprüfung: Die KI muss zwei Dinge einreichen:
- Eine Geschichte: Eine Erklärung in einfacher Sprache darüber, wie die Welt funktioniert.
- Der Code: Ein Python-Programm, das exakt vorhersagen kann, wohin jedes Teilchen fliegen wird.

Die zwei Arten, wie sie die KI benoteten

Die Forscher erkannten, dass es nicht ausreicht, nur die Mathematik richtig zu haben. In der echten Wissenschaft muss man verstehen, warum Dinge geschehen, nicht nur vorhersagen, dass sie geschehen. Daher bewerteten sie die KI anhand zweier Kriterien:

Der „Glaskugel"-Score (Vorhersagegenauigkeit): Sagt der Code der KI voraus, wo die Teilchen landen werden? Wenn die KI sagt „Der Ball wird hier sein", und er landet dort, gibt es Punkte.
Der „Lehrer"-Score (Konzeptuelles Verständnis): Ein menschlicher Experte (und eine zweite KI, die als Lehrer fungiert) liest die Geschichte der KI. Hat die KI die verborgenen Regeln tatsächlich verstanden?
- Beispiel: Wenn die Welt unsichtbare „dunkle Materie" hat, die Dinge zieht, die KI aber nur sagt „Die Schwerkraft ist stärker als üblich", erhält sie eine niedrige Punktzahl. Sie hat die Mathematik zufällig richtig, aber das Konzept verpasst.

Was sie herausfanden

Sie testeten 11 der intelligentesten verfügbaren KI-Modelle (einschließlich Top-Modelle von OpenAI, Anthropic und der Open-Source-Community). Hier ist, was passierte:

1. Die „intelligentesten" KIs haben immer noch Schwierigkeiten
Selbst die besten KIs bestanden nur etwa 50 % der Welten. Sie sind großartig darin, Fakten auswendig zu lernen, aber wenn sie neue Regeln entdecken müssen, bleiben sie stecken.

2. Das Problem der „versteckten Fallen"
Die KIs scheiterten am häufigsten, wenn das Universum verborgene Strukturen hatte.

Analogie: Stellen Sie sich vor, Sie versuchen herauszufinden, warum ein Auto langsamer wird. Wenn Sie nur den Motor betrachten, könnten Sie raten, dass die Bremsen schlecht sind. Aber wenn es einen riesigen Magneten unter der Straße gibt (versteckte dunkle Materie), der das Auto zurückzieht, werden Sie die Antwort nicht finden, es sei denn, Sie suchen nach dem Magneten.
Die KIs versuchten weiterhin, die Bewegung mit Standardregeln zu erklären (wie normale Schwerkraft) und weigerten sich zu glauben, dass „Geisterteilchen" oder zusätzliche Dimensionen beteiligt waren.

3. Gute Mathematik $\neq$ gutes Verständnis
Ein Modell (GPT-5.5) war erstaunlich gut darin vorherzusagen, wo Teilchen landen würden (niedriger Fehler), aber seine Erklärung, warum, war oft falsch. Es war wie ein Schüler, der den Antwortenschlüssel auswendig gelernt hatte, aber die Lektion nicht verstand.
Ein anderes Modell (Claude Opus) war besser darin, die Konzepte herauszufinden (wie die Erkenntnis, dass sich die Regeln mit der Zeit ändern), auch wenn seine mathematischen Vorhersagen etwas weniger perfekt waren.

4. Die Lücke zwischen „Raten" und „Experimentieren"
Die Forscher testeten, ob die KIs tatsächlich gute Experimente konzipierten oder nur wie blinde Tauben auf eine Zielscheibe schossen.

Gesteuerter Modus: Die KI wählt aus, wo sie Teilchen startet.
Zufallsmodus: Der Computer startet Teilchen zufällig, und die KI beobachtet nur.
Ergebnis: Die Top-KIs schnitten viel besser ab, wenn sie ihre eigenen Experimente wählen konnten. Sie lernten, die richtigen Fragen zu stellen. Viele Open-Source-Modelle schnitten jedoch in beiden Modi gleich schlecht ab, was darauf hindeutet, dass sie nicht wirklich über ihre Experimente „nachdachten"; sie rateten einfach.

Das Urteil

Das Papier kommt zu dem Schluss, dass KI zwar sehr gut darin wird, Physikprobleme zu lösen, aber immer noch lernt, wie man Physik betreibt.

Aktuelle KI: Wie ein brillanter Schüler, der ein Matheproblem lösen kann, wenn man ihm die Formel gibt, aber Schwierigkeiten hat, wenn man ihn bittet, die Formel basierend auf ein paar chaotischen Beobachtungen zu erfinden.
Die Zukunft: Um ein echter wissenschaftlicher Partner zu sein, muss KI besser darin werden, „langfristiges Denken" anzuwenden – die Fähigkeit zu sagen: „Meine aktuelle Theorie ist falsch, ich muss einen völlig anderen Experimenttyp versuchen, um die verborgene Wahrheit zu finden."

Kurz gesagt: Die KI kann die Zukunft vorhersagen, aber sie braucht immer noch Hilfe, um das Warum hinter dem Rätsel zu verstehen.

Technische Zusammenfassung: DiscoverPhysics

Problemstellung

Während führende Large Language Models (LLMs) auf statischen Benchmarks für wissenschaftliches Wissen (z. B. GPQA) und Reasoning-Aufgaben eine starke Leistung zeigen, bleibt ihre Fähigkeit, echte wissenschaftliche Entdeckungen zu machen, unbewiesen. Bestehende Evaluierungen stützen sich häufig auf auswendig gelerntes Faktenwissen, symbolische Regression auf festen Datensätzen oder interaktive Aufgaben, bei denen die zugrundeliegenden physikalischen Gesetze kanonisch sind und lediglich verschobene Parameter aufweisen. Diese Ansätze versagen darin, den Kern wissenschaftlicher Entdeckung zu testen: die Fähigkeit, neue Hypothesen zu generieren, aussagekräftige Experimente zu entwerfen, um konkurrierende Theorien zu unterscheiden, und konzeptionelle Modelle basierend auf verrauschten Beobachtungen zu revidieren. Insbesondere testen aktuelle Benchmarks nicht ausreichend, ob Agenten latente Strukturen (wie verbogene Teilchensorten oder zusätzliche Dimensionen) aufdecken oder Signal von Rauschen in nicht-kanonischen physikalischen Umgebungen unterscheiden können.

Methodik

Die Autoren stellen DISCOVERPHYSICS vor, einen interaktiven Benchmark, der entwickelt wurde, um LLM-Agenten bei der Entdeckung physikalischer Gesetze in simulierten Welten zu bewerten, die bewusst von der Standard-Lehrbuchphysik abweichen.

Benchmark-Struktur

Simulierte Welten: Der Benchmark besteht aus 22 verschiedenen Welten (11 öffentlich, 11 privat), die durch nicht-kanonische Kraftgesetze regiert werden. Beispiele umfassen abgeschirmte (Yukawa-) und gebrochenpotenzielle Gravitation, Kopplungen mehrerer Spezies, verborgene dunkel-materie-ähnliche Teilchen, physik ohne Koordinatenfreiheit, zeitlich veränderliche Wechselwirkungen und zusätzliche Dimensionen.
Agenten-Interaktion: Ein LLM-Agent hat die Aufgabe, das verborgene Gesetz einer spezifischen Welt zu entdecken. Der Agent arbeitet innerhalb eines festen Budgets an Experimentier-Runden ( $n$ ).
Der Zyklus:
1. Experiment-Vorschlag: Der Agent schlägt Testteilchen vor, definiert durch Anfangspositionen, Geschwindigkeiten, Ladungen und Messzeitpunkte.
2. Simulation: Ein $N$ -Körper-Simulator (unter Verwendung von Integratoren wie Yoshida4 oder RK4) generiert Roh-Trajektorien-Daten basierend auf dem verborgenen Grundwahrheits-Gesetz.
3. Hypothesen-Verfeinerung: Der Agent analysiert die zurückgegebenen Trajektorien-Daten, schlägt Kandidaten-Gesetze vor und nutzt optional ein Werkzeug, um Parameter über scipy.optimize anzupassen.
4. Iteration: Dieser Zyklus wiederholt sich, bis das Budget erschöpft ist.
Endausgabe: Der Agent muss zwei Elemente einreichen:
1. Eine natürliche Sprach-Erklärung der Physik der Welt.
2. Eine Python-Implementierung des abgeleiteten Gesetzes (eine Funktion zur Evolution von Teilchen).

Evaluierungsmetriken

Der Benchmark verwendet ein Dual-Achsen-Evaluierungs-Framework, um sowohl Vorhersagegenauigkeit als auch konzeptionelles Verständnis zu bewerten:

Trajektorien-MSE: Der mittlere quadratische euklidische Abstand zwischen den vom Agenten vorhergesagten Trajektorien und den Grundwahrheits-Trajektorien auf zurückgehaltenen Testteilchen (rauschfrei). Dies misst die Vorhersagegenauigkeit.
Erklärungs-Score: Ein LLM-Richter (Claude Opus 4) bewertet die natürliche Sprach-Erklärung des Agenten anhand eines von Menschen verfassten Bewertungsrasters (punktiert 0–10). Dies misst das konzeptionelle Verständnis und die Fähigkeit, strukturelle Merkmale (z. B. Abschirmung, verborgene Spezies) zu identifizieren.
Bestand-Kriterium: Eine Welt gilt als „bestanden", wenn der normalisierte Trajektorien-MSE unter 0,1 liegt (10 % Fehler) und der Erklärungs-Score $\ge 0,9$ ist.

Experimentelles Setup

Die Autoren bewerteten 11 führende und Open-Source-LLMs (einschließlich proprietärer Modelle wie Claude Opus 4.7, GPT-5.5 und offener Modelle wie Qwen3.5 und Llama-3.3). Die Experimente wurden über 5 zufällige Seeds pro Modell pro Welt durchgeführt. Die Studie umfasste zudem Ablationsstudien, die agenten-gesteuerte Experimente mit randomisierter Experimentierung und unterschiedlichen Niveaus an Beobachtungsrauschen verglichen.

Wichtige Ergebnisse

Gesamtleistung: Selbst die stärksten führenden Agenten (Claude Opus 4.7 und GPT-5.5) bestehen nur etwa 50 % der Welten innerhalb von fünf Versuchen. Die Leistung bricht bei Welten, die die Identifizierung latenter Strukturen erfordern (z. B. verborgene dunkle Materie, zusätzliche Dimensionen), signifikant ein.
Vorhersagegenauigkeit vs. konzeptionelles Verständnis: Die Metriken entkoppeln. GPT-5.5 erreicht den niedrigsten Trajektorien-MSE (höchste Vorhersagegenauigkeit), erzielt aber oft niedrigere Scores bei der Erklärungsqualität im Vergleich zu Claude Opus 4.7. Dies deutet darauf hin, dass GPT-5.5 dazu neigt, Daten früh durch flexible Gleichungen gut anzupassen, aber versagt, sein konzeptionelles Bild zu revidieren, whereas Claude Opus 4.7 eine bessere Hypothesen-Verfeinerung durch Experimentierung demonstriert.
Experimentelles Design: Es gibt eine signifikante Lücke zwischen geführter und randomisierter Experimentierung für Top-Modelle. Claude Opus 4.7 zeigt eine monotone Verbesserung der Bestehensrate und Erklärungs-Scores, wenn die Anzahl der Experimentier-Runden steigt, was darauf hindeutet, dass es aus neuen Daten lernt und aussagekräftige Experimente entwirft. Im Gegensatz dazu zeigen Open-Source-Modelle kaum einen Unterschied zwischen geführtem und randomisiertem Modus, was darauf schließen lässt, dass sie ihr Experimentier-Budget nicht effektiv nutzen.
Open vs. Proprietär: Open-Source-Modelle hinken kommerziellen Modellen sowohl beim Entwerfen von Experimenten als auch beim Ziehen von Schlussfolgerungen erheblich hinterher. Das beste Open-Modell (Qwen3.5) löst nur etwa 10 % der Welten in fünf Versuchen.
Fehlermodi: Die Analyse der Fehlermodi zeigt distincte Schwächen:
- GPT-5.5: Fehler konzentrieren sich auf „das richtige Art von Gesetz in Betracht ziehen" (Verpassen latenter Strukturen) und den Umgang mit numerischen Singularitäten in ODE-Integratoren.
- Claude Opus 4.7: Fehler sind stärker über das Experimentdesign verteilt (Versagen bei der Unterscheidung zwischen Hypothesen), das Schreiben von Code, der verbale Schlussfolgerungen treu implementiert, das Unterscheiden von Signal und Rauschen sowie das Wissen, wann mit dem Experimentieren aufzuhören ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DISCOVERPHYSICS den stärksten aktuellen Test der Fähigkeit von LLMs darstellt, den schlecht definierten, iterativen Forschungsprozess der Hypothesengenerierung und -verfeinerung basierend auf selbst vorgeschlagenen Experimenten durchzuführen.

Jenseits des Auswendiglernens: Der Benchmark zeigt, dass hohe Leistung auf wissensbasierten Benchmarks nicht die Fähigkeit garantiert, neue physikalische Gesetze zu entdecken.
Die Notwendigkeit von Experimentierung: Die Ergebnisse unterstreichen, dass wissenschaftliche Entdeckung in den Naturwissenschaften kritisch von der Fähigkeit abhängt, einsichtsreiche Experimente zu entwerfen, und nicht nur vom Reasoning über statische Daten.
Notwendigkeit einer Dual-Evaluierung: Die Arbeit argumentiert, dass allein die Vorhersagegenauigkeit (MSE) für die Bewertung wissenschaftlicher Entdeckung unzureichend ist; ein Modell kann Daten perfekt anpassen, ohne die zugrundeliegenden Prinzipien zu verstehen. Das Dual-Evaluierungs-Framework erfasst, ob Agenten lediglich Daten interpolieren oder die generierenden Mechanismen identifizieren.
Aktuelle Grenzen: Die Autoren schließen bescheiden, dass zwar führende Modelle eine erhebliche Verbesserung darstellen, sie jedoch noch nicht in der Lage sind, vollständig autonome wissenschaftliche Entdeckungen zu machen, insbesondere wenn sie mit nicht-kanonischer Physik konfrontiert sind, die die Inferenz verborgener Freiheitsgrade erfordert. Der Benchmark dient als Werkzeug, um Fortschritte in diesem spezifischen, hochschwierigen Bereich zu messen.