Bongards at the Boundary of Perception and Reasoning: Programs or Language?
本論文は、ボガルド問題（Bongard problems）を解決するために、パラメータ化されたプログラムを生成するための大規模言語モデルと、パラメータ適合のためのベイズ最適化を組み合わせたニューロシンボリックなアプローチを導入し、それによって視覚的知覚と抽象的推論の間の溝を埋めるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ビッグピクチャー： 「視覚的な謎解き」への挑戦
想像してみてください。あなたは12枚の図面を与えられました。そのうち6枚は「良い（ポジティブ）」もので、残りの6枚は「悪い（ネガティブ）」ものです。あなたの仕事は、良いものと悪いものを分ける「秘密のルール」を見つけ出すことです。
これは**ボンガルド問題（Bongard Problem）**と呼ばれるものです。これらは単なる「仲間外れ探し」のような単純なパズルではありません。ルールは驚くほど巧妙です。
- 例： 例えば、「良い」絵にはすべて「首」の部分が水平な形があり、「悪い」絵の首は垂直である、といったルールかもしれません。あるいは、「良い」形は「うねうねしている」が、「悪い」形は「滑らかである」といったルールかもしれません。
この論文は、大きな問いを投げかけています。人工知能（AI）は、人間と同じようにこれらの謎を解くことができるのか？ 人間は、目の前の新しい状況を見て、即座に新しい概念（例えば「水平な首」など）を編み出し、それを適用することに長けています。現在のAIは、既知の物体（「これは猫だ」など）を認識することには長けていますが、ゼロから新しい概念を生み出すことには苦戦することがよくあります。
問題点：AIは「硬すぎる」か「曖昧すぎる」
研究者たちは、AIには主に2つの思考方法があり、どちらもこの謎解きにおいては欠陥があることを発見しました。
「チャットボット」的アプローチ（自然言語）：
- 仕組み： AIは画像を見て、探偵が報告書を書くように、ルールを言葉で説明しようとします。
- 欠点： 大きな概念には強いですが、精密さに欠けます。「形が尖っている」とは言えても、「少し尖っている」のか「非常に尖っている」のかの区別がつきません。レシピに「塩をひとつまみ入れる」と書いてあることは分かっていても、正確にどれくらいの量なのかを知らないシェフのようなものです。
「プログラマー」的アプローチ（コード）：
- 仕組み： AIは画像をチェックするためのコンピュータプログラムを記述します。距離、角度、個数などを正確に測定できます。
- 欠点： 精密さには優れていますが、創造性に欠けます。もしルールが「形が悲しい顔に見える」というものだった場合、コンピュータプログラムで「悲しみ」を数学的に定義するのは困難です。部屋の寸法をミリ単位で測れるけれど、「居心地が良い」という概念は理解できないロボットのようなものです。
解決策： 「翻訳チーム」
著者らは、2人のスペシャリストが協力し合うチームのように機能する新しいシステムを構築しました。彼らはこれを「ニューロシンボリック（神経回路的・記号的）」なアプローチ（ニューラルネットワークと記号論理学／プログラムの融合）と呼んでいます。
このチームのステップ・バイ・ステップの仕組みは以下の通りです。
ステップ1：アイデア生成器（「チャットボット」）
まず、強力なAI（視覚言語モデル）に謎解きを見せ、普通の英語でいくつかの可能性のあるルールを推測させます。
- 比喩： クリエイティブなライターが、「たぶんルールは形の『首』に関するものだ！」とブレインストーミングをしている場面を想像してください。
ステップ2：翻訳者（「プログラマー」）
次に、システムはその英語による推測を取り込み、コンピュータコードへと変換しようと試みます。
- ひねり： AIは単にコードを書くだけではありません。トリッキーな数値の部分に「空白」を残します。例えば、ルールが「首の長さがXより長い形」である場合、AIはコードを書きますが、Xを未知の変数として残しておきます。
- 比喩： ライターが「首は[空白]よりも長くなければならない」と言い、プログラマーがその機械をセットアップして首の長さを測る準備をしますが、正確な数値が出るのを待っている状態です。
ステップ3：チューナー（ベイズ最適化）
これが「秘伝のソース」です。システムは、それらの空白に完璧な数値を当てはめるための「試行錯誤」プロセスを実行します。さまざまな数値（例えば5ピクセル、10ピクセル、15ピクセルなど）をテストし、どれが「良い」絵と「悪い」絵を完璧に分けることができるかを確認します。
- 比喩： ラジオのチューニングをしているところを想像してください。ステーションが90から100の間にあることは分かっていますが、正確な周波数は分かりません。ダイヤルをゆっくり回して、ノイズが消えて音楽が完璧に聞こえるポイントを探します。システムは数学的にこの作業を行い、ルールの正確な「境界点」を見つけ出します。
ステップ4：審判（検証器）
最後に、システムはこうチェックします。「このコードは、すべての訓練用画像に対して実際に機能するか？」
- もしコードが完璧に機能すれば、システムはそのルールを採用します。
- もし失敗すれば、システムは「チャットボット」に戻り、「そのアイデアはうまくいかなかった。もう一度試して」と伝え、サイクルを繰り返します。
何が分かったのか？
研究者たちは、この「チーム・アプローチ」を、利用可能な最高峰のAIモデル（GPT-4oやClaude 3.7など）や、平均的な人間のパフォーマンスと比較検証しました。
- チームの勝利： 「チャットボット」の創造性と「プログラマー」の精密さを組み合わせることで、彼らのシステムは100問のボンガルド問題のうち51問を解きました。
- 人間を凌駕： 過去の研究における平均的な人間は、約47問を解いていました。彼らのAIチームは51問を解き、この特定のテストにおいてAIが平均的な人間のパフォーマンスを上回った初めての事例となりました。
- 異なる強み：
- 問題が幾何学や数学に関するもの（例：「これらの線は平行か？」）であった場合、チームの「プログラマー」の部分がヒーローとなりました。
- 問題が抽象的な概念に関するもの（例：「この形は『開いている』か『閉じている』か？」）であった場合、チームの「チャットボット」の部分がヒーローとなりました。
- 「チャットボット」または「プログラマー」のどちらか一方のみを使用した場合は、成績が悪化しました。彼らには両方が必要だったのです。
「暗記」のチェック
研究者たちは、AIがインターネット上の答えを暗記して「カンニング」しているのではないかと懸念しました（これらのパズルは古く、有名であるため）。これをテストするために、彼らはルールを反転させました。つまり、「悪い」絵が実は「良い」絵であるとAIに伝えたのです。AIは依然として高いパフォーマンスを示しました。これは、AIが単に暗記した答えを復唱しているのではなく、実際に論理を導き出していたことを証明しています。
結論
この論文は、難しい視覚的パズルを解くためには、AIは単に人間のように「考え」たり、コンピュータのように「計算」したりするだけでは不十分であることを示しています。AIはその両方を行う必要があります。クリエイティブなAIにアイデアを提案させ、精密なコンピュータで正確な数学を用いてそれを検証させることで、私たちは新しい視覚的概念を、人間と同等、あるいは時には人間以上に学習できるシステムを構築できるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。