🤖 AI

MaD Physics: Evaluating information seeking under constraints in physical environments

Die Arbeit stellt MaD Physics vor, einen neuartigen Benchmark, der entwickelt wurde, um die Fähigkeit von KI-Agenten zu bewerten, physikalische Gesetze zu inferieren und Messungen unter Ressourcenbeschränkungen zu planen, indem sie in Umgebungen mit veränderten physikalischen Gesetzen getestet werden, wodurch die Grenzen der wissenschaftlichen Schlussfolgerung und der strukturierten Erkundungsfähigkeiten aktueller Gemini-Modelle aufgedeckt werden.

Ursprüngliche Autoren: Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie unterliegen einer sehr strengen Regel: Sie haben nur eine begrenzte Geldmenge, um Hinweise zu kaufen.

Dies ist die Kernidee hinter einem neuen Forschungsprojekt namens MaD Physics (Measuring and Discovering Physics). Die Forscher von Google DeepMind und Mila haben einen testähnlichen Videospiele-Test entwickelt, um zu prüfen, wie gut KI-„Wissenschaftler" herausfinden können, wie die Welt funktioniert, wenn sie die Antworten nicht einfach in einem Lehrbuch nachschlagen und nicht alles überprüfen können, was sie sich leisten können.

Hier ist eine einfache Aufschlüsselung, wie es funktioniert und was sie herausfanden:

1. Das Spiel: „Die Rätselbox"

Bei diesem Test wird die KI in eine virtuelle Welt versetzt, in der sich Objekte bewegen. Aber es gibt einen Haken: Die physikalischen Regeln dieser Welt sind leicht defekt oder „verändert".

Vielleicht zieht die Schwerkraft die Dinge nicht so herunter wie üblich.
Vielleicht wirbelt Wasser in einem Muster, das die normale Strömungsmechanik widerspricht.
Vielleicht verhalten sich Teilchen so, als wären sie durch unsichtbare Fäden verbunden, die in unserer realen Welt nicht existieren.

Die KI kennt diese Regeln nicht. Sie muss sie herausfinden, indem sie beobachtet, wie sich die Objekte bewegen.

2. Die Herausforderung: Das „Hinweis-Budget"

Hier kommt der Teil „MaD" ins Spiel. Die KI hat ein Budget (wie eine Brieftasche mit einer festen Anzahl von Münzen).

Das Ansehen eines Objekts kostet Geld.
Das genaue Hinsehen (hohe Präzision) kostet viel.
Das Sehen aus der Ferne (geringe Präzision) kostet wenig.
Das Warten, um länger zu schauen, kostet mehr Zeit.

Die KI muss kluge Entscheidungen treffen: „Sollte ich mein gesamtes Budget dafür ausgeben, ein Objekt sehr genau zu untersuchen, oder sollte ich ein wenig ausgeben, um zehn verschiedene Objekte zu prüfen und so einen groben Überblick zu bekommen?"

Wenn die KI ihr Geld für falsche Vermutungen verschwendet, gehen ihr die Münzen aus, bevor sie das Rätsel lösen kann. Sobald das Geld weg ist, endet das Spiel, und die KI muss vorhersagen, wo sich die Objekte in der Zukunft befinden werden, basierend nur auf den Hinweisen, die sie kaufen konnte.

3. Die drei Welten

Um sicherzustellen, dass die KI nicht einfach Fakten aus der realen Welt auswendig lernt, testeten sie sie in drei verschiedenen „Universen":

Die Welt der springenden Bälle (Klassische Mechanik): Objekte, die hüpfen und kollidieren, aber mit einer seltsamen, unsichtbaren „Erinnerung", die es in bestimmten Richtungen schwieriger macht, sie zu bewegen.
Die Welt des wirbelnden Wassers (Strömungsmechanik): Eine Flüssigkeit, die fließt, aber mit einer unsichtbaren „fremden Kraft", die sie in seltsamen, sich drehenden Mustern vorantreibt.
Die Welt der Geisterpartikel (Quantenmechanik): Winzige Teilchen, die sich wie Wellen verhalten, aber mit einem Twist: Die Regeln dafür, wie sie erscheinen, wenn man sie betrachtet, unterscheiden sich vom echten Leben.

4. Die Testpersonen

Die Forscher testeten vier verschiedene Versionen der Gemini-KI-Modelle von Google (von einem kleineren, schnelleren bis zu einem größeren, intelligenteren), um zu sehen, wie gut sie bei diesem Spiel waren.

5. Die Ergebnisse: Was die KI falsch machte

Die Ergebnisse waren für die KI etwas demütigend:

Sie hatten Schwierigkeiten, „strategisch" zu sein: Die KI gab ihr Budget oft ineffizient aus. Manchmal sah sie die falschen Dinge an oder betrachtete Dinge, die nicht wichtig waren, zu genau, und blieb ohne Geld zurück, bevor sie das Muster verstanden hatte.
Sie konnten keine neuen Gesetze „erfinden": Wenn die Physik verändert war, versuchte die KI oft, die Regeln der realen Welt auf die neue Welt zu erzwingen. Es war, als würde man versuchen, ein Sudoku-Rätsel mit den Regeln des Schachs zu lösen.
Bessere Modelle machten es besser, aber nicht perfekt: Die intelligenteren KI-Modelle (wie Gemini 3) machten weniger Fehler und waren besser darin, die Zukunft vorherzusagen, aber sie konnten den „geheimen Code" der veränderten Physik immer noch nicht perfekt entschlüsseln.
Visuelle Darstellungen machten es schwieriger: Wenn die KI Bilder der sich bewegenden Objekte betrachten musste, anstatt nur Zahlen, wurde sie noch verwirrter.

Das Fazit

Die Studie kommt zu dem Schluss, dass KI zwar sehr gut darin wird, Fragen zu beantworten, deren Antworten sie bereits kennt, aber sie hat immer noch Schwierigkeiten mit echter wissenschaftlicher Entdeckung: der Fähigkeit, hinauszugehen, begrenzte Ressourcen klug einzusetzen, neue Daten zu sammeln und Regeln herauszufinden, die noch nicht existieren.

Stellen Sie es sich so vor: Die KI ist großartig darin, eine Bibliothekarin zu sein (bestehende Bücher zu finden), aber sie lernt noch, wie man ein Entdecker wird (eine Karte eines Gebiets zeichnet, das noch niemand gesehen hat). MaD Physics ist eine neue Landkarte für Forscher, um genau zu sehen, wo die KI den Weg verliert, damit sie ihr helfen können, besser zu lernen, wie man Entdeckungen macht.

Technische Zusammenfassung: MaD Physics – Bewertung der Informationsbeschaffung unter Einschränkungen in physikalischen Umgebungen

Problemstellung
Wissenschaftliche Entdeckung ist inhärent ein ressourcenbeschränkter Prozess, der von Agenten erfordert, Zielkonflikte zwischen der Qualität und Quantität von Messungen aufgrund physischer, zeitlicher und finanzieller Grenzen zu navigieren. Während bestehende Benchmarks für wissenschaftliche Entdeckung sich auf statisches, wissensbasiertes Schlussfolgern (z. B. Beantwortung von Fragen auf Basis auswendig gelernter Fakten) oder unbeschränktes experimentelles Design konzentrieren, versagen sie darin, die Fähigkeit eines Agenten zu bewerten, strategische Messungen vorzunehmen und unter strengen Einschränkungen zu planen. Darüber hinaus verlassen sich Standard-Benchmarks oft auf bekannte physikalische Gesetze, was es Agenten ermöglicht, durch Wissensabruf statt durch empirische Entdeckung erfolgreich zu sein. Es besteht eine kritische Lücke bei der Bewertung von Agenten, die aktiv Informationen sammeln, ein begrenztes Budget verwalten und zugrunde liegende Dynamiken aus verrauschten, spärlichen Daten in Umgebungen ableiten müssen, in denen die governing Gesetze unbekannt oder verändert sein können.

Methodik: Der MaD Physics Benchmark
Um diese Lücke zu schließen, schlagen die Autoren MaD Physics (Measuring and Discovering Physics) vor, einen Benchmark, der entwickelt wurde, um die Fähigkeit von Agenten zu bewerten, informative Messungen vorzunehmen und unter Einschränkungen bezüglich der Messqualität und -quantität Schlussfolgerungen zu ziehen.

Umgebungsdesign: Der Benchmark besteht aus drei verschiedenen parametrischen Umgebungen, die auf Klassischer Mechanik, Strömungsmechanik und Quantenmechanik basieren. Um zu verhindern, dass Agenten sich auf vortrainiertes Wissen über Standardphysik verlassen, enthält jede Umgebung „veränderte" physikalische Gesetze (z. B. anisotrope Trägheitsmasse, modifizierte Gravitationsgesetze wie $1/R$ oder Welleneffekte, nichtlineare Verschränkungsinitialisierung und verallgemeinerte Born-Regeln mit $L_p$ -Normen).
Bewertungsprotokoll: Die Bewertung erfolgt in zwei Phasen:
1. Messphase: Der Agent operiert unter einem festen Budget $B$ . Er muss sequenziell wählen, was zu messen ist (z. B. spezifische Teilchen oder Koordinaten), wann zu messen ist (Zeitschritt) und mit welcher Fidelität (Rauschpegel). Jede Beobachtung verursacht Kosten $C(o_k, \sigma_k)$ , die mit der Fidelität steigen (geringeres Rauschen). Der Agent muss den Informationsgewinn innerhalb des Budgets maximieren.
2. Vorhersagephase: Sobald das Budget erschöpft ist oder eine maximale Zeit $T_{max}$ erreicht wurde, muss der Agent das zugrunde liegende physikalische Gesetz ableiten und den Zustand des Systems zu einem zukünftigen Abfragezeitpunkt $T_{query} > T_{max}$ vorhersagen.
Agenten-Implementierung: Die Autoren bewerten vier Gemini-Modelle (2.5 Flash Lite, 2.5 Flash, 2.5 Pro und 3 Flash) unter Verwendung eines minimalen Agentengerüsts mit Code-Ausführungsfähigkeiten. Zwei Prompting-Strategien werden getestet: ein „Base"-Prompt, der allgemeinen Kontext liefert, und ein „Strategy"-Prompt, inspiriert vom Bayesschen experimentellen Design, der den Agenten anweist, den Erwarteten Informationsgewinn (EIG) pro Kosteneinheit zu maximieren.

Hauptbeiträge

Neuartige Benchmarking-Methodik: Die Arbeit stellt ein Framework zur Bewertung von informationsbeschaffenden Agenten in physikalischen Domänen vor, das den Zielkonflikt zwischen Kosten und Fidelität im experimentellen Design explizit betont und über statische Schlussfolgerungsaufgaben hinausgeht.
Parametrische Umgebungen mit veränderten Gesetzen: Die Suite aus drei Umgebungen (Klassisch, Fluid, Quanten) enthält spezifische, dokumentierte Änderungen an Standard-physikalischen Gesetzen. Dies stellt sicher, dass Agenten sich auf aktive Entdeckung einlassen müssen, anstatt auswendig gelerntes Wissen abzurufen.
Umfassendes Benchmarking von Frontier-Modellen: Die Autoren bewerten mehrere Gemini-Modelle auf MaD Physics, analysieren die Leistung über verschiedene Grade der Gesetzesänderung hinweg und demonstrieren die Auswirkungen strategischen Promptings auf die Navigation wissenschaftlicher Unsicherheit.

Empirische Ergebnisse

Modellleistung: Im Allgemeinen verbessert sich die Leistung mit der Modellkapazität (von Flash Lite zu Pro zu 3 Flash). Selbst die leistungsfähigsten Modelle haben jedoch Schwierigkeiten mit veränderten Konfigurationen.
Vorhersagegenauigkeit: Agenten produzieren häufig Vorhersagen, die außerhalb der Grenzen liegen oder ungenau sind, selbst in normalen physikalischen Konfigurationen. Während der „Strategy"-Prompt die Leistung im Allgemeinen durch die Erzwingung systematischer Datensammlung verbessert, bestehen signifikante Fehler fort.
Symbolische vs. Vorhersagegenauigkeit: Ein zentrales Ergebnis ist die Diskrepanz zwischen Vorhersagegenauigkeit und symbolischer Wiederherstellung. Agenten versagen häufig darin, die korrekte symbolische Form des zugrunde liegenden physikalischen Gesetzes zu identifizieren (z. B. Unterscheidung zwischen $1/r^2$ - und $1/r$ -Gravitation), selbst wenn sie vernünftige Vorhersagen treffen können.
Multimodalität und In-Context-Lernen:
- Visuelle Beobachtungen: Wenn Agenten visuelle Darstellungen anstelle numerischer Daten erhalten, steigen die Vorhersagefehler signifikant an, obwohl die Trends bezüglich der Modellkapazität konsistent bleiben.
- In-Context-Lernen: Über mehrere Versuche hinweg zeigt Gemini 3 Flash die Fähigkeit, den Vorhersagefehler zu reduzieren, während Gemini 2.5 Pro in veränderten Konfigurationen nicht lernt.
Parameterinferenz: In einer Variante, bei der die strukturelle Form bekannt ist und das Ziel darin besteht, einen einzelnen Parameter ( $\kappa$ ) zu inferieren, neigen Agenten dazu, den Parameter zu unterschätzen, was eine Verzerrung hin zu Standardphysik zeigt.

Bedeutung und Behauptungen
Die Arbeit positioniert MaD Physics als einen Meilenstein auf dem Weg zu Benchmarks, die den explorativen und unstrukturierten Charakter wissenschaftlicher Entdeckung erfassen. Die Autoren behaupten, dass MaD Physics effektiv Mängel in Frontier-Modellen hinsichtlich dynamischer informationsbeschaffender Aufgaben identifiziert. Insbesondere hebt der Benchmark hervor:

Schlechte nachgelagerte Vorhersageleistung, wenn Agenten sich nicht auf auswendig gelernte Gesetze verlassen können.
Schwierigkeiten bei der Wiederherstellung genauer symbolischer Ausdrücke für physikalische Gesetze, selbst wenn Daten verfügbar sind.
Die Notwendigkeit strategischer Planung unter Einschränkungen, eine Fähigkeit, bei der aktuelle Modelle erheblichen Verbesserungsbedarf aufweisen.

Die Autoren schließen, dass aktuelle Modelle zwar vielversprechend im Schlussfolgern sind, aber mit den praktischen Realitäten wissenschaftlicher Untersuchung kämpfen: die Zuteilung begrenzter Ressourcen zur Maximierung des Informationsgewinns und die Inferenz neuer Dynamiken aus eingeschränkten, verrauschten Daten. Als zukünftige Arbeit wird vorgeschlagen, ausgefeiltere Agentengerüste, optimiertes Prompting und Erweiterungen auf komplexere physikalische Systeme zu erforschen.