Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams
本論文は、図表からコードへのパース、編集、および回答におけるMLLMの評価を行うために、3.7k個の科学的図表と18.3k個の検証済み問題で構成されるマルチモーダル・ベンチマークであるDiagram-MMUを導入し、モデルは推論には長けているものの、エージェント的な設定下でない限りコード生成タスクに苦戦することを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、新しい発見について論文を書いている科学者だと想像してください。あなたには、データを示す美しいグラフや、実験の回路図、あるいは新しい薬の分子構造があります。昔なら、これらを手書きしたり、コンピュータプログラムを使って画像ファイル（PNGやJPGなど）を作成して文書に貼り付けたりしていたことでしょう。しかし、現代の科学者は、プロフェッショナルな見た目になり、数学を完璧に処理できるため、LaTeXと呼ばれる特別な言語を使って論文を書くことがよくあります。LaTeXの中には、TikZという非常に強力なツールがあります。TikZは、精密な指示を与える「ロボット・アーティスト」のようなものだと考えてください。完成した絵を与えるのではなく、「ここに赤い円を描け」「この線をあの線に接続せよ」「ここに数字の5と書け」といった一連のコマンドを与えます。もしロボットがその指示に完璧に従えば、あなたが必要とする正確な図面を描き出すことができます。
ここで、**マルチモーダル大規模言語モデル（MLLM）**という、超スマートなコンピュータの脳を想像してみてください。あなたはこう思うかもしれません。「この脳は画像を見てその意味を理解できるのだから、私の図面を見て、それを再現するためのTikZの指示を書いてくれるのではないか？」これが、この論文が取り組んでいる大きな問いです。科学者たちは、これらのAIの脳が図面を見て、その背後にある科学を理解し、そして単純なリクエストを聞くだけで、その図面を再現したり（例えば、棒グラフを折れ線グラフに変えるなど）、変更したりできることを期待しています。これは「バイブ・ライティング（vibe writing）」と呼ばれる新しいトレンドの一部です。つまり、やりたいことを説明するだけで、AIが重労働をすべて引き受けてくれるというものです。しかし、AIは本当にそのようなスキルを持っているのでしょうか、それとも単に理解しているふりをしているだけなのでしょうか？
Diagram-MMUの開発者たちは、これを知るために、巨大で厳格なテストを構築することに決めました。彼らは、3,744個のユニークな科学的図面と、18,305個の異なる質問およびタスクを備えたベンチマーク（標準化されたテスト）を作成しました。これらの図面は、チャート（グラフなど）、平面幾何学、3D形状、ネットワークグラフ、化学分子、電気回路という6つの異なる科学の世界をカバーしています。彼らは単にAIに画像を見るよう求めただけでなく、以下の3つの特定の課題でテストを行いました：
- パース（解析）: 図面を見て、それを描画するためのコードを一から書き出すこと。
- 編集: 図面とコードを見て、新しい指示（例：「抵抗器を青くしろ」や「この並列回路を直列回路に変えろ」など）に合わせてコードを変更すること。
- 質問回答: 図面を見て、その中の科学に関する質問に答えること（例：「合計抵抗値はいくらか？」）。
彼らはまた、AIが情報を検索すべきタイミングを知っている「有能なアシスタント」として機能できるかどうかもテストしました。AIが詰まった場合に、TikZの構文（言語のルール）を調べるための特別な「検索ツール」を与え、さらにAIがステップを計画できるか（「まず図面を理解し、次にルールを調べ、それからコードを書く」など）をテストしました。
さて、結果はどうだったのでしょうか？ 結果は「驚き」と「困ったこと」が混ざり合ったものでした。AIモデルは、図面について考えることに関しては非常に優れていました。質問に対して「どの棒が一番高いか？」や「これらのコンポーネントは接続されているか？」といった問いを投げかけると、モデルはほとんどの場合正解しました（最大86%の精度）。彼らは科学を理解しているのです！
しかし、図面を描くためのコードを書くことになると、モデルは著しく苦戦しました。最も優れたモデルでさえ、基本的な構成要素（円、線、テキストなど）を正しい場所に配置できたのは、わずか**31%から57%**でした。それはまるで、AIが完璧な家の詳細を詳しく説明できるのに、いざレンガを使って実際に家を建てようとすると、窓を屋根に、ドアを床に置いてしまうようなものです。この論文は、これらのモデルは推論には優れているものの、画像を精密なコードへと変換するために必要な、きめ細かな視覚的知覚にはまだかなり欠けていることを示唆しています。
研究では、AIに「検索ツール」（ルールを調べる機能）を与えることが役に立つかどうかも調査しました。編集タスクにおいては、少し効果がありました。しかし、質問回答タスクにおいては、情報が多すぎて混乱したり、間違った質問をしてしまったりするため、多くの場合、状況を悪化させてしまいました。Claude-4.6 Opusというモデルは最も一貫性があり、検索ツールを与えられたことで3つのタスクすべてにおいて向上しましたが、他のほとんどのモデルはつまずきました。
要約すると、この論文は面白いギャップを明らかにしています。今日のAIは、あなたの図面を完璧に理解する素晴らしい科学者になれる一方で、TikZという言語を使って図を描こうとすると、まだ不器用な芸術家になってしまうのです。著者たちは、このテストが開発者にとってより良いツールを作る助けとなり、将将来、科学者がコードを気にすることなく、単に「バイブス（感覚）」で図面を生み出せるようになることを願っています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。