OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

物理学とは、丘を転がるボールの動きから、電線を導く目に見えない力に至るまで、宇宙がどのように機能しているかを研究する学問です。何世紀もの間、人類は言葉を読み、図解を観察し、テキストと画像を結びつけることを必要とする問題を解くことで、これらの規則を学んできました。今日、コンピュータはテキストを読み、写真を眺めることに非常に長くなっており、これらは両方の情報を同時に扱うことができるため、マルチモーダルモデルと呼ばれています。これらの機械は、物語を書き、質問に答え、さらには写真で起きていることを説明することさえできます。しかし、厳格で論理的な物理学の世界においては、単に画像を認識したり文章を読んだりするだけでは不十分です。真の理解には、コンピュータが図解と記述がいかにして一つの壊れることのない論理の鎖を形成するかを理解することが求められます。もし機械がこれを実行できなければ、それは単なる推測に過ぎず、推論をしているとは言えません。

華東師範大学の研究チームは、これらのコンピュータがどれほど物理学者のように思考できるかをテストするための新しいツールを構築しました。彼らは、中学校から大学レベルまでの実際の中国の教科書や試験から抽出された、「OmniPhys」と呼ばれる膨大な問題集を作成しました。これは単なる問題のリストではありません。コンピュータに対して、単に選択肢から正解を選ぶ以上のことを強いる、厳格なテストなのです。このコレクションには、力学、電気、光、熱、音を網羅する15,000問以上の問題と、20,000近い画像が含まれています。研究者たちは、コンピュータが複雑な図解とテキストを同時に解釈することを要求するように、このテストを難しく設計しました。決定的なのは、このテストがコンピュータに、彼らが滅多にしないこと、すなわち自ら図解を描くことを要求している点です。単に画像を選択するのではなく、コンピュータは光がどのように反射するか、あるいは力がどのように作用するかを正しく示す、物理法則に則った新しい画像を生成しなければなりません。

研究者がテストを実施したところ、最も強力な公開モデルを含む、最先端のコンピュータであっても著しく苦戦することが判明しました。優れたモデルでも約70パーセントの問題を正しく解くことができましたが、研究者がそれらの回答に至るプロセスを詳しく調査すると、景色は一変しました。多くのモデルは、真に論理を理解したのではなく、偶然正解に当たったり、パターンを暗記したりすることで正解に到達していました。彼らはしばしば推論の重要なステップを見落としたり、図解の中の視覚的な手がかりとテキストを結びつけることに失敗したりしました。状況は、描画のタスクにおいてさらに悪化しました。物理図解を生成するよう求められたとき、コンピュータは一見すると妥当に見えるものの、根本的な誤りを含む画像を頻繁に生成しました。例えば、光の線が間違った方向に曲がっていたり、力が反対方向に向いていたりするなど、本来示すべき自然の法則に違反していることがありました。

また、この研究は、問題が難しくなるにつれてコンピュータの性能が段階的に低下することも明らかにしました。彼らは中学校レベルの問題については合理的にこなせましたが、高校や大学レベルへと進むにつれて精度が急激に低下しました。この低下は、これらの機械が単純なタスクを処理することには長けているものの、複雑な科学的思考に求められる深く層状になった推論をまだ習得していないことを示唆しています。研究者たちは、問題の画像を与えることがテキストのみの場合よりもパフォーマンス向上に役立つことを発見し、視覚情報がこれらのパズルを解くために不可しいことを証明しました。しかし、一部のモデルは画像を与えると実際には性能が悪化することも分かり、コンピュータが画像を役立つ情報としてではなく、混乱を招くノイズとして扱っている場合があることを示唆していました。

おそらく最も驚くべき発見は、コンピュータによる採点がしばなしばしば寛容すぎたことです。研究者が、他のコンピュータが描いた図解を採点するために人工知能を使用した場合、その採点者は、人間の専門家が間違いであると判定した画像に対して高いスコアを与えました。自動採点システムは、人間が見れば即座に気づくような微妙な物理的誤りを見逃していました。これは、科学的な推論の質を評価するために機械に頼ることは、現在は信頼できないことを意味します。作業を注意深くレビューした人間の専門家は、最終的な答えが正しかったとしても、コンピュータが物理学の核心的な概念を把握できていないことを発見しました。

この研究は、コンピュータが科学において役に立たないと主張しているわけではありませんが、彼らが物理的世界を真に理解するまでには、まだ長い道のりがあることを示しています。研究者たちは、他の科学者がより優れたモデルを構築するために使用できるよう、問題と画像のコレクションを公開しました。コンピュータがどこで失敗するのか（正しい図解を描くこと、論理の連鎖に従うこと、あるいは複雑な視覚的シーンを理解することなど）を正確に特定することで、この研究は将来の改善のための明確な地図を提供しています。目標は、単にテストに合格できるコンピュータを作ることではなく、人間の物理学者と同じ厳格さと正確さで自然の法則を推論できるシステムを作ることです。それまでは、これらのモデルが「語ること」と、彼らが「真に理解すること」の間の溝は広いままです。