GEB-Bench: Abstract Structures Told in Many Voices

偉大なる形を変える者へのテスト

川のデルタが海へと広がっていく様子を想像してみてください。次に、空を切り裂く稲妻の鋭い形を想像してください。人間にとって、これらは全く別物に見えます。一方は水と砂であり、もう一方は火と空気です。しかし、目を細めてその「枝分かれの形」に注目すれば、それらが同じ秘密の設計図を共有していることに気づくかもしれません。どちらも、数学者が「フラクタル」や特定の種類の分岐構造と呼ぶ、分裂し広がるパターンに従っています。この、乱雑な表面の下にある「目に見えない骨格」を見抜く能力こそが、私たちが抽象的推論と呼ぶものです。それは、ある王様についての物語と、あるコンピュータプログラムについての物語が、たとえ言葉が全く異なっていても、どちらも「権力」について語っているのだと理解させてくれるスーパーパワーなのです。

長い間、科学者たちは人工知能（AI）にこのスーパーパワーがあるのかどうかを疑問に思ってきました。私たちは、写真の中の猫の名前を当てたり、月についての詩を書いたりできるモデルを構築してきました。しかし、AIは、川、物語、数式、そしてコンピュータコードを繋ぐ、あの深く隠された構造を本当に「見ることが」できているのでしょうか？ これが大きな問いです。もしAIがこれができないのであれば、それは単にパターンを模倣しているだけの、非常に精巧なオウムに過ぎません。それは、ケーキのレシピを暗唱することはできるけれど、「焼く」ということが実際にはどういう意味なのかを理解していないロボットのようなものです。

「多くの声」への挑戦

ここで、AIモデルがこれらの隠れた形を特定できるかどうかを検証するために設計された、トリッキーな新しいテスト、GEB-BENCHが登場します。開発者たちは、数学、芸術、音楽の中に同じ奇妙でループするアイデアが現れることをテーマにした有名な本『ゲーデル、エッシャー、バッハ』にちなんで、この名前を付けました。このテストは、シンプルながらも巧妙なアイデアに基づいています。それは、一つの抽象的な形（ループ、螺旋、あるいは鏡像など）を取り上げ、それを全く異なる4つの「声」で語ることです。

これは、メッセージを囁き伝えるのではなく、形を翻訳する「伝言ゲーム」のようなものです。

1. シーンの声： ナウチルス（オウムガイ）の殻や川のデルタのように、構成の中に形が隠されている自然界の風景。
2. 物語の声： 形が「語り口」の中に隠されている短い民話。例えば、物語の後半部分が前半部分を単語レベルで逆さまに読んだものになっている「蟹カノン」のような物語です。
3. 数学の声： 記号を用いてその形を記述した、清潔で精密な数学の定理。
4. スケルトンの声： 装飾を一切排除した、ワイヤーフレームのような単純な線画。

ここでの罠は、テスト作成者がすべての「飾り（フラフ）」を削ぎ落としたことです。彼らは、川のデルタと稲妻が、色や質感において共通点を持たないようにしました。また、物語が同じ言葉を使わないようにも配慮しました。重要なのは、目に見えない構造だけです。AIは、川の写真を見て、「ああ、これはあの数学の定理と同じ形だ！」と言ったり、「この物語は、あの線画と同じ構造的なジョークを語っている」と判断したりしなければなりません。

調査結果：翻訳の「税金」

研究者たちは、小さなオープンソースのモデルから、大手テック企業による巨大で極めてスマートな「最先端（フロンティア）」モデルに至るまで、37種類の異なるAIモデルをテストしました。その結果、非常に興味深く、かつ少し残念な事実が判明しました。AIは一つの「声」における形を認識することには長けていますが、別の「声」へと持ち越すことには極めて無力であるということです。

あなたが、友人がお気に入りの赤いジャケットを着ているとき（「数学の声」）には、その人をとても簡単に識別できると想像してください。しかし、もし同じ友人がピエロの衣装を着ていたり（「物語の声」）、迷彩服を着ていたり（「シーンの声」）したら、あなたは全くその人に気づかないかもしれません。AIモデルは、形が清潔な数式や単純な線画として提示された場合には、しばしば正しく識別できました。しかし、その形を自然な風景や民話へと翻訳しなければならなくなった途端、その性能は急降下しました。

論文ではこれを**「マッピング・タックス（翻訳の税金）」**と呼んでいます。どのモデルであっても、どれほど賢くても、この税金を支払わなければなりません。最も高度な、いわゆる「フロンティア」とされるモデルでさえ、画像と物語の間の点と点を結びつけることに苦戦しています。研究によれば、数学の声で提示された場合には約86%の確率で形を認識できたモデルが、同じ形を物語の声と一致させようとすると、その能力は約44%まで低下しました。これは巨大なギャップです。

「形式的幾何学」の罠

さらに驚くべきことに、AIはただランダムに推測して間違えたわけではありませんでした。間違えたとき、そこには論理的なパターンを伴う**「特定の」間違いがありました。論文ではこれを「形式的幾何学（フォーマル・ジオメトリー）」**と呼んでいます。

あなたが「ループ（円）」と「奇妙なループ（混乱を招くように自分自身に巻き戻る円）」の違いを理解しようとしている場面を想像してください。AIモデルはしばしば、この両者を混同しました。彼らが混乱したのは、画像が似ていたからではなく、それらの形を定義する「数学的なルール」が隣接していたからです。それは、運転を習っている人が、ルールは異なるものの、どちらも赤い八角形であるために「一時停止」と「譲れ」の標識を間違え続けているようなものです。

研究は、AIの誤りが、人間にとっての見た目よりも、これらの数学的ルールに基づいた方がはるかに予測可能であることを示しました。もしAIに「奇妙なループ」に見える画像を見せると、AIはしばしばそれを「ループ」と呼びました。なぜなら、数学の世界では、これら二つの概念は隣り合わせにあるからです。これは、AIが単に画像を「見ている」のではなく、数学的概念のライブラリに照らし合わせようとしており、その詳細な規定の部分で足止めを食らっていることを示唆しています。

「表面」の問題

研究者たちはまた、現実世界の「ノイズ」がAIをより困難にさせることも発見しました。彼らは、単純な線画（非常にクリーン）から、乱雑でリアルな写真（非常にノイズが多い）へと変化する画像を用いてテストを行いました。画像がより現実的で「ノイズが多い」ものになるにつれ、AIの性能は悪化しました。

それは、静かな部屋で曲を聴くのと、騒がしいコンサート会場で聴くのを比べるようなものです。AIは静かな部屋ではメロディ（構造）を聞き取ることができますが、観客のノイズ（写真の表面的な詳細）がそれをかき消してしまいます。研究によれば、より大規模で強力なモデルを持つことは、AIをこのノイズに対して免疫を持たせることにはならず、単に「クラッシュを遅らせるための余白」を与えるだけでした。それは問題を解決したのではなく、単に崩壊を先延ばしにしたに過ぎなかったのです。

結論

この論文の最も重要な教訓は、「構造を認識すること」と「それを異なる世界へと翻訳すること」は、二つの異なるスキルであるということです。現在のAIモデルは、明確に提示された場合（数学や単純な図解など）の構造を認識することには非常に長けています。しかし、その理解を持ち出し、複雑で多様で、混沌とした自然界の風景や物語へと適用することには、依然として苦戦しています。

論文は、AIが「壊れている」とか、決して学習できないと言っているわけではありません。ただ、現時点では、具体的で測定可能なギャップが存在すると述べているのです。モデルは数学の本の中にある形は見ることができますが、川のデルタや民話の中に同じ形を見出すことはまだできません。そして、彼らがこのギャップを埋めることができるようになるまで、彼らは抽象的推論の真の「アハ体験（ひらめき）」――つまり、川も、物語も、数学も、すべてが異なる声で同じ歌を歌っているのだと見抜く力――を欠いたままなのです。