Distilling Answer Set Programming Theories from Large Language Models

技術要約：大規模言語モデルからの回答集合プログラミング（ASP）理論の蒸留

問題提起
回答集合プログラミング（ASP）の理論をゼロから記述することは、非自明な推論タスクのオペレータをカバーするために数百のルールを必要とする、労働集約的な作業である。手書きの理論はドメイン固有であることが多く、スキーマの異なるデータセット間では転移しない。本論文では、大規模言語モデル（LLM）が、ソルバーをループ内に組み込んだ自律的なエージェントとして機能することで、空のファイル、固定されたプロンプト、および訓練例へのアクセスのみを与えられた状態で、ゼロから完全かつ正しいASP理論を反復的に作成できるかどうかを調査する。目標は、人間によるテンプレートや部分的なルールパターンの提供なしに、LLMが理論を蒸留できるかどうかを判断することである。

手法
著者らは、視覚的質問応答（VQA）ドメインに即した、データセットに依存しない蒸留プロトコルを提案している。システムは、LLMが推論モジュールの作成者として機能し、標準的なASPソルバー（clingo）が実行エンジンとして機能する「ニューロシンボリック」フレームワーク内で動作する。

• エージェント・ハーネス: LLMは、OpenCodeエージェントCLIを使用し、サンドボックス環境（Dockerコンテナ）内に組み込まれている。モデルは、ファイル操作ツール（read, edit, write, glob, grep）と、訓練データに対してASPソルバーを実行するための uv run solve および構文チェックのための uv run lint を実行するための制限付きbashインターフェースへのアクセス権を持つ。
• プロトコル:
  1. 初期化: エージェントは、空の理論ファイルと、訓練例に対して ans(A) を導出するように指示する最小限のシステムプロンプトから開始する。
  2. 反復: エージェントは少数の訓練例を読み取り、構文的に正しい初期理論を書き込み、それをソルバーに対してテストする。
  3. フィードバックループ: ソルバーの出力（または出力の欠如）に基づき、エージェントは失敗モードを特定し、理論を編集し、反復を行う。
  4. 終了: エージェントが完了を自己宣言するか、1時間の制限時間に達するまでループは継続される。

5. 評価: 最終的な理論は、保持された検証セット（held-out validation set）でスコアリングされる。作業の単位は、多くの編集サイクルにわたって作成された理論全体である。

• 実験設定: 本研究では、3つのVQAベンチマークを用いて9つのモデルを評価する：
  • CLEVR: 構成的推論に焦点を当てた合成3Dシーン。
  • GQA: 多様なオブジェクトと関係の語彙を持つ実世界の画像。
  • CLEVRER: 時間的、因果的、および反事実的な推論を必要とする短いビデオ。
  • モデルティア: 4つのフロンティアモデル（Claude Sonnet 4.6, Claude Opus 4.7, GPT-5, DeepSeek V4 Pro）、2つの中位ティアモデル、および3つの小規模なオープンウェイトモデル。
  • リファレンス・アブレーション: 他のデータセットからの手書きのリファレンス理論の有無（0、1、または2個のリファレンス）を変化させ、転移性をテストする実験を行う。

主な貢献

1. 統一された蒸留プロトコル: 著者らは、すべてのデータセットとモデルに対して同一の固定エージェント・ハーネス、システムプロンプト、およびツールセットを確立した。これにより、プロンプトエンジニアリングを混同要因から排除し、モデルの能力を主要な変数として孤立させている。
2. 理論蒸留の実証: 本研究は、エージェントがゼロから完全なASP理論を蒸馏できるという経験的な証拠を提供している。4つのフロンティアモデルのうち3つが、特定のベンチマークにおいて手書きのリファレンス理論に匹敵するか、それを上回る性能を達成した。
3. 失敗モードの分類: 観察された失敗を、構文エラー、グラウンディングの失敗、「回答なし」（理論が沈黙している状態）、および意味論的エラーに分類した。また、モデルの規模とリファレンス理論がこれらの失敗モードとどのように相互作用するかについても分析している。

結果

• フロンティアモデルの性能:
  • CLEVR: 3つのフロンティアモデル（Sonnet, Opus, DeepSeek V4 Pro）が100%の精度に達した。GPT-5は98.7%であった。
  • GQA: Sonnet, Opus, DeepSeek V4 Proは92.8%から98.8%のスコアを記録し、手書きのリファレンスの上限である77.5%を超えた。GPT-5は主に「回答なし」の失敗により、41.8%へと大幅に低下した。
  • CLEVRER: 成功した3つのフロンティアモデルは、92.7%から95.3%のスコアを記録した。GPT-5は86.7%であった。
• リファレンス理論の影響:
  • Sonnet, Opus, DeepSeek V4 Proについては、他のデータセットからのリファレンス理論を追加しても、影響は軽微であった（±3.4パーセントポイント以内）。
  • GPT-5については、リファレンスを与えることで一貫して精度の低下が見られた（3〜19パーセントポイントの低下）。著者らは、GPT-5がリファレンスを与えられた際に著しく短い理論を書くことを観察しており、これはリファレンスが執筆に必要なコンテキスト予算を消費していることを示唆している。
• モデル規模とサブ・フロンティアの性能:
  • 27Bパラメータの閾値を下回るモデル（例：qwen3.5-9b, gpt-oss-20b）は、ほとんどの場合、構文解析可能な理論を作成できないか、執筆前に停止した。
  • DeepSeek V4 Flash（中位ティア）はCLEVRとGQAで良好な性能を示したが、CLEVRERでは、特にリファレンスがある場合に性能が低下した。
  • 小規模なモデルは、不適切なツール呼び出しや、有効なclingo構文を生成できないといった特有の失敗モードを示すなど、高い分散を示した。
• 理論の特徴: 成功したフロンティアモデルは、多様な長さの理論を生成した（例：GPT-5はGQAに対して65個のルールを書き、Opusは343個を書いた）。しかし、両者とも高い精度を達成しており、これはルール数がカバレッジではなく、執筆スタイルに依存することを示している。

意義と主張
本論文は、ニューロシンボリックエージェントがゼロから完全かつ正しいASP理論を正常に蒸留できることを主張しており、そのような理論は手作業で作成されなければならないという概念に異議を唱えている。本研究は、フロンティアモデルが構成的および実世界のVQAタスクにおいて最先端の結果を達成できる一方で、その性能がすべてのトップティアモデル間で一様ではないことを強調している。GPT-5のGQAにおける特有の失敗は、エージェントのループが特定のモデルや特定のタスクにおいて「マイナスの影響」を与える可能性があることを示唆している。

著者らは、このプロトコルは高能力のモデルには機能するものの、「能力の閾値」は純粋にパラメータの規模による関数ではなく、ツール使用や構文生成における特定のコンピテンシーに関わるものであると控えめに結論付けている。彼らは、蒸留された理論は現在静的なものであることを指摘し、既存の関数プログラムのアノテーションに依存するのではなく、訓練ループ（例：NS-CL）への統合や、質問パーサーの自動生成を行う将来の研究を提案している。本研究は、VQAをエンドツーエンドで解決することを主張するものではなく、むしろニューロシンボリック・パイプラインにおけるシンボリックな推論コンポーネントの自動化の実現可能性を実証するものである。