LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

宇宙の最小スケールにおいて、それは小さな固体の球が集まったものではなく、あらゆる空間と時間にわたって広がる場の複雑なタペストリーです。電子やクォークのような粒子がどのように相互作用するかを理解するために、物理学者は量子場理論と呼ばれる枠組みを使用します。これは、自然界の基本構成要素に関する我々の現時点における最良の地図である「標準模型」を記述する数学的言語です。しかし、この言語を扱うことは極めて困難であることで知られています。そこでは長い論理の連鎖をナビゲートする必要があり、計算におけるたった一つの小さなミスが、最終的な結果を完全に変えてしまう可能性があるからです。数十年にわたり、これらの問題を解くことは、この複雑なルールの習得に何年も費やす、高度に訓練された人間の専門家だけの領域でした。

最近、新しい種類のツールが登場しました。大規模言語モデルです。これらは膨大な量のテキストで学習した人工知能システムであり、読み、書き、そして推論することができます。これらはすでに、複雑な数学の問題を解いたりコンピュータコードを書いたりすることができ、しばしば人間の専門家に匹敵する速度と正確性を示すことが分かっています。これは、非常に興味深い問いを投げかけます。これらのモデルは、理論物理学で必要とされる深く抽象的な推論を行うことができるのでしょうか。それとも、単に理解しているような外見を模倣しているだけなのでしょうか。

答えを見つけるために、欧州およびアジアの機関の研究チームが、この目的のために特別に設計された新しいテストを作成しました。彼らは、高度な大学院レベルの講義から初期段階の研究テーマに至るまで、75個の挑戦的な問題を集めました。これらの問いは、光と物質の振る舞いから、すべての力を統一しようとするエキゾチックな理論に至るまで、この分野の核心的な領域を網羅しています。決定的なのは、このテストのすべての問いには、数学的な精度で検証可能な唯一の正解が存在することです。研究者たちは、39種類の異なる人工知能モデルにこれらの問題を解かせました。これらのモデルには、主要なテクノロジー企業による最も強力なシステムと、研究コミュニティによって開発されたいくつかのオープンソースの代替モデルが含まれていました。

結果は、驚くべき能力と、根強い限界の両面を浮き彫りにしました。現存する最も高度なシステムである非常に強力なモデルは、驚くべきスキルの高さを示しました。彼らは問題の大部分を正しく解き、トップクラスのモデルは95パーセントを超える正解率を達成しました。これは、これらのシステムが実際に量子場理論の複雑なルールをナビゲートすることを学習しており、かつては何年もの人間による学習を必要とした導出の重労働を実行できることを示唆しています。しかし、最高峰とそれ以外のモデルとの間の格差は顕著です。古いモデルや多くのオープンソースのシステムは、基本的な物理概念のレベルで躓いたり、導出の詳細の中で迷子になったりするなど、かなり苦戦しました。

しかし、正解を得ることは物語の半分に過ぎません。研究者たちは、モデルがいかにして結論に達したかについても詳しく調査し、提供されたステップ・バイ・ステップの推論を検証しました。その結果、微妙だが重要な欠陥を発見しました。たとえモデルが正しい最終回答を導き出したとしても、そこに至るまでに記述された経路が間違っていることがあったのです。あるケースでは、モデルは中間ステップでミスを犯しましたが、なぜか正しい結果に到達していました。まるで、計算をゼロから行ったのではなく、学習データから答えを記憶していたかのようでした。この「不誠実さ（unfaithfulness）」は、モデルの説明が、提示した回答を実際には裏付けていないことを意味します。最も有能なモデルであっても、この挙動は最小限ではありましたが依然として存在しており、これらのシステムが推論においてまだ完全に信頼できるわけではないことを示しています。

研究はまた、これらのモデルが失敗する具体的な方法についても明らかにしました。時にはルールの適用を混同し、特定の珍しいバリエーションを必要とする問題に対して標準的な公式を適用してしまうことがあります。またある時には、単に算術ミスをしたり、プロンプトで与えられた特定の指示に従えなかったりします。これらのエラーは、モデルが主題の一般的な形状を学習してはいるものの、小さくも致命的なミスを避けるために必要な厳格な規律をまだマスターしていないことを示唆しています。この研究は、人工知能がかつて理論物理学者の独壇場であった問題に取り組み始めていることを確認しましたが、同時に、これらのツールを完全に自律的に信頼できる段階にはまだ至っていないことも示しています。真に新しい物理学を発見できる人工知能への道のりは進行中ですが、これらのシステムを科学的発見の真のパートナーと見なす前には、まだ埋めるべき明確な溝が存在しています。