Feynman: Knowledge-Infused Diagramming Agent for Scalable Visual Designs

本論文は、ドメイン知識に基づいたコード計画と反復的フィードバックを経てペンローズシステムで描画するエージェント「Feynman」を提案し、これにより 10 万組以上の高品質な図解とキャプションの対データを生成するとともに、視覚推論能力を評価するための新たなベンチマーク「Diagramma」を構築したことを報告するものである。

要約

この論文は、**「FEYNMAN（ファインマン）」**という、AI が専門的な図解（ダイアグラム）を自動で作り出すための新しい仕組みについて紹介しています。

一言で言うと、**「AI に『絵を描くこと』と『知識を教えること』を分けて、お互いの得意分野を活かして、教科書レベルの図を大量に作らせる方法」**です。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. なぜこの研究が必要だったの？（問題点）

今の AI（GPT-4V や Gemini など）は、文章の会話は得意ですが、「図を描くこと」が苦手です。
例えば、「水の分子構造を描いて」と頼むと、AI は以下のような失敗をします。

• 絵は綺麗だが中身が嘘: 見た目はきれいな球体だが、原子の数が間違っていたり、結合の仕方が物理的にありえない。
• 中身は正しいが絵が崩壊: 正しい知識は持っているが、描かれた図がぐちゃぐちゃで、誰にも読めない。

これは、AI が**「知識（何を描くか）」と「絵の技術（どう描くか）」**を同時にやろうとして、両方に失敗してしまうからです。

2. FEYNMAN の仕組み：料理人の例え

FEYNMAN は、この問題を解決するために、「料理のプロセス」を 4 つのステップに分けました。

ステップ 1：アイデア出し（知識の収集）

まず、AI に「化学の授業で使う面白い図を 10 個考えて」と頼みます。

• 役割: 料理人が「今日はどんな献立にするか」を考える段階。
• 例: 「水素と酸素の結合」「化学反応の式」など、**「何を描くべきか（知識）」**だけをリストアップします。まだ絵は描きません。

ステップ 2：レシピ作成（計画）

次に、そのアイデアを元に「どう描くか」の計画を立てます。

• 役割: 料理人が「材料をどう切るか、どの鍋で炒めるか」という**レシピ（手順書）**を書く段階。
• 特徴: ここではまだ実際の料理（絵）は作りません。「ボールとスティックで分子を表す」「結合線は太くする」といった**「コード（指示書）」**の設計図を作ります。

ステップ 3：試作と審査（反復改善）

設計図に基づいて、実際に図を描き始めます。そして、**「審査員（他の AI）」**にチェックさせます。

• 役割: 料理人が一度作って、味見をさせて「塩味が足りない」「見た目が悪い」と指摘され、**「直して、また作る」**を繰り返します。
• ポイント: 審査員は「知識が正しいか」「文字が見やすいか」を厳しくチェックします。ダメなら修正して、また描き直します。

ステップ 4：完成とバリエーション（レンダリング）

最後に、**「PENROSE（ペンローズ）」**という特別なツールを使って完成させます。

• 役割: 料理人が「同じレシピでも、盛り付けを変えたり、器を変えたりして、10 種類の違う見た目の料理を作る」段階。
• すごいところ: 同じ「水の分子」という知識（レシピ）でも、**「配置や色、形をランダムに変えて、1 つの知識から何十種類もの違う図」**を作ることができます。これにより、AI が「同じような絵ばかり」を作るのを防ぎます。

3. この研究で何を作ったの？

この「FEYNMAN」というシステムを使って、研究者たちは以下の成果を出しました。

1. 10 万枚以上の図解データセット:
   人間が手作業で作るには何年もかかるような、10 万枚以上の「図と説明」のペアを、わずか 400 ドル（約 6 万円）以下のコストで生成しました。
2. DIAGRAMMA（ダイアグラム）というテスト:
   生成された図を使って、AI の「図を読み解く力」を測る新しいテスト問題を作りました。
   • 結果: 最新の AI 17 種類にテストさせたところ、「グラフの読み取り」や「複雑な図の理解」では、どの AI もまだ人間に遠く及ばないことがわかりました。

4. まとめ：なぜこれが重要なのか？

この論文の核心は、**「AI に全部を一度にやらせず、得意なことを分業させる」**というアイデアです。

• 知識は AI の得意分野（膨大なデータを持っている）。
• 絵を描くのは「PENROSE」というツールの得意分野（数学的に正確に配置できる）。

この 2 つを「FEYNMAN」というマネージャーが繋ぐことで、**「教科書に載っているような、正確で美しい図」**を、安く、速く、大量に作れるようになりました。

これは、今後の AI が「図解を使って教えてくれる先生」や「複雑なデータを視覚化する助手」として活躍するための、重要な第一歩と言えます。

技術概要

FEYNMAN: スケーラブルな視覚的デザインのための知識注入型図解生成エージェント

技術的サマリー（日本語）

本論文は、カルネギーメロン大学の研究チームによって提案された、FEYNMAN（Knowledge-Infused Diagramming Agent）と呼ばれる新しいマルチモーダル AI エージェントと、その基盤となる大規模な合成データ生成パイプラインについて述べています。

1. 背景と課題

視覚的デザイン（図解）は、複雑な概念を効率的に理解・解決するための重要な手段です。しかし、現在の最先端のマルチモーダル大規模言語モデル（MLLMs）は、以下の点で課題を抱えています。

• 視覚的理解の欠如: 単純な視覚オブジェクトやグラフ構造の理解、視覚属性の組み合わせ的理解が苦手。
• 知識と視覚の統合の難しさ: 抽象的な概念（知識）を抽出し、それを適切な視覚要素に変換し、さらにレイアウトを設計するという一連のタスクを、一度に行うことが困難。
• 高品質なデータ不足: 教育や研究に用いるような、知識が豊富で視覚的に整合性の取れた「画像 - テキスト」ペアのデータが、インターネット上でも不足している。
• 既存手法の限界: 拡散モデルは視覚的に美しいが概念を無視しがち、TikZ などのグラフィックプログラム生成はコンパイル成功率が低く、大規模なスケーリングが困難。

2. 提案手法：FEYNMAN エージェント

FEYNMAN は、**「知識の抽出（Knowledge Elicitation）」と「視覚的生成（Visual Production）」**を分離（デカップリング）することで、大規模かつ高品質な図解生成を実現するエージェントです。

主要なワークフロー（4 ステップ）

1. アイデア（Idea）:
   • LLM を用いて、特定のドメイン（例：化学反応、幾何学）に特化した知識コンポーネント（「アイデア」）を列挙します。
   • 単に画像を生成するのではなく、図解に含めるべき概念的要素を明確にします。
2. 計画（Plan）:
   • 抽出された各アイデアに対して、視覚的要素（例：化学結合、原子）を特定し、それらをPENROSE言語の「Substance（物質）」コードに変換する計画を立てます。
   • この段階では実行可能なコードは書かず、視覚化のロジックを構造化します。
3. 反復的視覚精査（Iterative Visual-Refine）:
   • 計画に基づき PENROSE のプログラム（Substance + Style）を生成します。
   • 生成されたプログラムをコンパイルし、画像を生成します。
   • 視覚ジャッジ（Vision Judges）: 複数の MLLM を「ジャッジ」として導入し、生成された図解の品質（知識の正確性、可読性、関係性の正しさなど）を評価させます。
   • 評価が閾値を下回る場合、ジャッジからのフィードバックに基づいて LLM がコードを修正し、再度生成・評価するプロセスを反復します（アルゴリズム 1）。
4. レンダリング（Render）:
   • 最終的に承認された PENROSE プログラムを、PENROSE 図解システムでレンダリングします。
   • PENROSE は制約付き最適化問題としてレイアウトを解くため、同じ「Substance（概念）」からでも、ランダムな初期値に基づいて多様な視覚的バリエーション（レイアウト、色、配置）を生成できます。これにより、視覚的多様性と意味的一貫性を両立します。

追加機能

• Grounded QA 生成: 生成された図解とコードに基づき、多肢選択式の質問応答（QA）ペアを自動生成します。これにより、視覚推論の評価用データセットが作成されます。
• 重複排除: 生成された Substance コード間の類似度（Levenshtein 距離）を計算し、知識の多様性を確保するために重複するものをフィルタリングします。

3. 主要な貢献

1. FEYNMAN エージェントの開発: 教科書レベルの図解を生成可能なエージェント。PENROSE を活用することで、多様な視覚コンテンツを持つ図解を生成。
2. 大規模データセットの構築:
   • FEYNMAN を用いて、106,930 組の整合性の取れた「図解 - キャプション」ペアを生成。
   • 生成には GPT-4o-mini を使用し、約 15 億トークン（入力 + 出力）で400 ドル未満のコストで実現。
   • 10,693 個のユニークな Substance プログラムから、最適化レンダリングにより 10 倍のバリエーションを生成。
3. 新しいベンチマーク「DIAGRAMMA」の公開:
   • FEYNMAN によって生成された、インターネット上に存在しない新鮮なデータに基づく視覚推論ベンチマーク。
   • 1,058 問の多肢選択問題（数学、CS、科学、チャート、常識、統計の 6 分野）を含む。
4. 分析と知見:
   • 知識密度の高いドメインではトークン数に対して生成数が線形に増加し、スケーラビリティが確認された。
   • 知識計画（KP）とコード計画（CP）の両方が、生成の成功率とコスト効率に不可欠であることを示した。

4. 実験結果

• ベンチマーク評価（DIAGRAMMA）:
  • 17 種類の最先端 MLLM（GPT-4o, Claude-3.5, Gemini-1.5, Llama-3.2-VL など）を評価。
  • 結果: モデルのサイズが大きくなるほど精度が向上する傾向を確認。しかし、全体的な精度は依然として低く（最上位モデルでも 60% 前後）、特にグラフ推論（CS 分野）や多段階推論が必要な問題で多くのモデルが失敗した。
  • 知見: Gemini-1.5 Flash が Pro よりも高い性能を示すなど、モデルの「鮮度（Freshness）」が Out-of-Distribution な図解理解に重要である可能性が示唆された。
• ベースライン比較:
  • 拡散モデル（Flux-Pro）は視覚的に多様だが、テキストや概念の正確性に欠け、ハルシネーションが多発。
  • TikZ 生成エージェント（AUTOMATIKZ）はコンパイル成功率が低く、大規模生成には不向き。
  • FEYNMAN は、知識と視覚を分離し、PENROSE の最適化エンジンを用いることで、これら両方の課題を克服し、高品質な図解を安定的に生成。

5. 意義と将来展望

• 科学的・教育的価値: 高品質で多様な図解データを安価に生成できるため、MLLM のトレーニングデータ不足を解消し、視覚推論能力の向上に寄与する。
• 研究の方向性: 「知識」と「視覚デザイン」を分離するアプローチが、複雑な視覚タスクを扱う AI エージェントの設計において有効であることを示した。
• オープンソース: データセット、ベンチマーク、エージェントパイプライン全体をオープンソースとして公開予定。

結論:
FEYNMAN は、LLM の知識能力と、PENROSE の視覚的最適化能力を組み合わせることで、大規模かつ高品質な図解生成を実現しました。これにより、視覚推論の限界を明らかにする新しいベンチマーク「DIAGRAMMA」を提供し、マルチモーダル AI の発展に重要な貢献を果たしています。