OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

Die Physik ist die Lehre davon, wie das Universum funktioniert, vom Weg eines Balls, der einen Hügel hinunterrollt, bis hin zu den unsichtbaren Kräften, die den Strom durch einen Draht leiten. Seit Jahrhunderten lernen Menschen diese Regeln, indem sie Texte lesen, Diagramme betrachten und Probleme lösen, die erfordern, Text mit Bildern zu verknüpfen. Heute sind Computer unglaublich gut darin geworden, Texte zu lesen und Bilder anzusehen, was oft als multimodale Modelle bezeichnet wird, da sie beide Arten von Informationen gleichzeitig verarbeiten können. Diese Maschinen können Geschichten schreiben, Fragen beantworten und sogar beschreiben, was auf einer Fotografie geschieht. Wenn es jedoch um die strenge, logische Welt der Physik geht, reicht es nicht aus, lediglich ein Bild zu erkennen oder einen Satz zu lesen. Wahres Verständnis erfordert, dass der Computer sieht, wie ein Diagramm und eine Beschreibung zusammenpassen, um eine einzige, unzerbrechliche Logikkette zu bilden. Wenn eine Maschine dies nicht kann, rät sie lediglich, anstatt zu schlussfolgern.

Ein Team von Forschern der East China Normal University hat ein neues Werkzeug entwickelt, um genau zu testen, wie gut diese Computer wie Physiker denken können. Sie haben eine riesige Sammlung von Problemen namens OmniPhys erstellt, die aus echten chinesischen Lehrbüchern und Prüfungen reicht, die von der Mittelschule bis zur Universität reichen. Dies ist nicht nur eine Liste von Fragen; es ist ein strenger Test, der Computer dazu zwingt, mehr zu tun, als nur die richtige Antwort aus einer Liste auszuwählen. Die Sammlung umfasst über 15.000 Fragen und fast 20.000 Bilder, die Mechanik, Elektrizität, Licht, Wärme und Schall abdecken. Die Forscher haben es so konzipiert, dass es schwierig ist und sicherstellt, dass die Probleme erfordern, komplexe Zeichnungen und Texte gleichzeitig zu interpretieren. Entscheidend ist, dass der Test die Computer auch dazu auffordert, etwas zu tun, was sie selten tun: ihre eigenen Diagramme zu zeichnen. Anstatt nur ein Bild auszuwählen, muss der Computer ein neues Bild generieren, das korrekt zeigt, wie Licht reflektiert wird oder wie Kräfte wirken, und dabei die strengen Gesetze der Physik einhält.

Als die Forscher ihre Tests durchführten, stellten sie fest, dass selbst die fortschrittlichsten Computer, einschließlich der leistungsfähigsten, die der Öffentlichkeit zur Verfügung stehen, erheblich Schwierigkeiten hatten. Die besten Modelle konnten etwa 70 Prozent der Probleme korrekt lösen, aber als die Forscher genauer untersuchten, wie die Modelle zu diesen Antworten gelangten, änderte sich das Bild. Viele Modelle erhielten die richtige Antwort durch Zufall oder durch das Auswendiglernen von Mustern, anstatt durch echtes Verständnis der Logik. Sie übersahen oft entscheidende Schritte in ihrer Argumentation oder scheiterten daran, die visuellen Hinweise im Diagramm mit dem Text zu verknüpfen. Die Situation war sogar noch schlimmer bei der Aufgabe des Zeichnens. Wenn sie aufgefordert wurden, ein Physikdiagramm zu erstellen, produzierten die Computer häufig Bilder, die auf den ersten Blick plausibel erschienen, aber grundlegende Fehler enthielten. Sie zeichneten vielleicht einen Lichtstrahl, der in die falsche Richtung gebogen wird, oder eine Kraft, die in die entgegengesetzte Richtung zeigt, wodurch sie gegen die Naturgesetze verstießen, die sie eigentlich demonstrieren sollten.

Die Studie zeigte auch, dass diese Computer immer schlechter werden, je schwieriger die Aufgaben werden. Sie schnitten bei Fragen der Mittelschule recht gut ab, aber ihre Genauigkeit sank drastisch, wenn die Probleme auf das Niveau der Sekundarstufe I und der Universität anstiegen. Dieser Rückgang deutet darauf hin, dass diese Maschinen zwar gut darin sind, einfache Aufgaben zu bewältigen, aber noch nicht das tiefe, vielschichtige Denken gemeistert haben, das für komplexes wissenschaftliches Denken erforderlich ist. Die Forscher entdeckten auch, dass es der Computer besserte, wenn man ihm ein Bild des Problems gab, als wenn er nur den Text hatte, was beweist, dass visuelle Informationen essenziell für das Lösen dieser Rätsel sind. Sie fanden jedoch auch heraus, dass einige Modelle tatsächlich schlechter abschnitten, wenn ihnen ein Bild gegeben wurde, was darauf hindeutet, dass der Computer das Bild manchmal eher als verwirrendes Rauschen denn als hilfreiche Information behandelt.

Die überraschendste Erkenntnis war vielleicht, dass die Computer, die die Arbeit bewerteten, oft zu gütig waren. Als die Forscher eine künstliche Intelligenz baten, die von anderen Computern gezeichneten Diagramme zu bewerten, vergab der Notengeber hohe Punktzahlen für Bilder, die von menschlichen Experten als falsch eingestuft wurden. Der automatisierte Notengeber übersah subtile physikalische Fehler, die ein Mensch sofort bemerken würde. Das bedeutet, dass es derzeit unzuverlässig ist, sich auf Maschinen zu verlassen, um die Qualität wissenschaftlicher Argumentation zu bewerten. Die menschlichen Experten, die die Arbeit sorgfältig überprüften, fanden, dass die Computer nicht in der Lage waren, die Kernkonzepte der Physik zu erfassen, selbst wenn das Endergebnis zufällig richtig war.

Diese Arbeit behauptet nicht, dass Computer nutzlos für die Wissenschaft sind, aber sie zeigt, dass sie noch einen weiten Weg vor sich haben, bevor sie die physische Welt wirklich verstehen können. Die Forscher haben ihre Sammlung von Problemen und Bildern der Öffentlichkeit zugänglich gemacht, damit andere Wissenschaftler sie nutzen können, um bessere Modelle zu bauen. Indem sie genau identifizieren, wo diese Maschinen scheitern – sei es beim Zeichnen eines korrekten Diagramms, beim Befolgen einer logischen Kette oder beim Verständnis einer komplexen visuellen Szene – bietet die Studie eine klare Landkarte für zukünftige Verbesserungen. Das Ziel ist nicht nur, Computer zu erschaffen, die einen Test bestehen können, sondern Systeme zu schaffen, die die Gesetze der Natur mit derselben Strenge und Genauigkeit wie ein menschlicher Physiker durchdenken können. Bis dahin bleibt die Lücke zwischen dem, was diese Modelle sagen können, und dem, was sie wirklich verstehen, groß.