ChartAnno: Evaluating MLLMs for Chart Annotation Generation

あなたは宇宙船のキャプテンだと想像してください。あなたのコンピュータが、美しく複雑な星の地図を描き出しました。その地図は完璧ですが、沈黙しています。それは星々を示してはいますが、なぜそこに星があるのか、どれが最も危険なのか、あるいはどこに宝が隠されているのかまでは教えてくれません。地図を役に立つものにするには、メモや矢印、ラベルを追加する必要があります。これが「チャート・アノテーション（図表注釈）」と呼ばれるものです。それは、単なる生の絵を、誰もが理解できる「物語」へと変える技術なのです。

人工知能の世界には、マルチモーダル大規模言語モデル（MLLM）と呼ばれる超スマートなロボットたちがいます。これらは、テキストを読み、画像を見、コンピューターコードを書くことを同時にこなせるロボットだと考えてください。私たちはすでに、彼らにチャートを理解させ、ゼロから新しいチャートを描かせることさえ教えてきました。しかし、そこにはトリッキーなギャップがあります。既存のチャートを見て、適切な注釈を加えることができるのでしょうか？ それは単に線を引くことではありません。その線が何を「意味」しているのかを理解し、その上で、ラベルを正確な場所に配置するためのコードを書く必要があるのです。これが、この論文が取り組んでいる課題です。AIに、単なる地図製作者ではなく、データの有能なツアーガイドになってもらうことです。

そこで登場するのが、研究者たちがAIロボットがこの特定の仕事においてどれほど優秀かをテストするために作成した新しい「訓練場」、CHARTANNNOです。研究者たちは、ニュースのグラフィックから科学論文に至るまで、1,200個の実世界のチャートからなる膨大なライブラリを構築し、それぞれに一連の指示を組み合わせました。彼らはロボットに単一種の指示を与えたわけではありません。ビデオゲームの難易度が上がっていくように、3つの詳細レベルでテストを行いました：

1. 「漠然とした目標」レベル： ロボットには「最も重要な傾向を強調せよ」と告げられます。ロボットはそれが何を意味し、どのように示すべきかを推測しなければなりません。
2. 「アクションプラン」レベル： ロボットには「1890年から1900年の間に紫色のボックスを描き、その中央にラベルを置け」と告げられます。何をすべきかは分かっていますが、正確な色やサイズを判断しなければなりません。
3. 「設計図」レベル： ロボットにはレシピが与えられます。「x=0からx=10までの範囲に紫色のボックスを描き、特定の紫色のシェードを使い、座標(4, 15)にテキストを配置せよ」。

研究者たちは、10種類の異なるAIモデル（大手テック企業によるものもあれば、オープンソースのものもあります）に、これらの注釈を追加するためのコンピューターコードを書かせました。彼らは、そのコードが実際に機能するか、チャートの外観が正しいか、意味が明確か、そしてデザインが美しいかどうかをチェックしました。

以下に、彼らが発見した内容を記します。これは少し「混ざり合った結果（mixed bag）」となっています。まず、大手テック企業のモデル（GoogleやOpenAIなどのもの）は依然としてチャンピオンであり、一般的に「漠然とした目標」を理解し、美しいデザインを作成することにおいて最も優れた成果を出しています。しかし、一部のオープンソースモデルは急速に追いついており、Kimi K2.5と呼ばれるモデルは、高価なクローズドソースの巨人たちとほぼ同等の性能を発揮しています。

この研究は、これらのロボットがどのように思考しているかについても、驚くべき真実を明らかにしました。指示が非常に具体的（「設計図」レベル）であるとき、ロボットは素晴らしい仕事を見せました。しかし、指示が漠然としている（「漠然とした目標」レベル）とき、彼らはしばしばつまずき、チャートの「最も重要な部分」が実際には何であるかを推測するのに苦労しました。それは、シェフに正確な分量を含むレシピを与える場合と、単に「美味しいものを作って」と言う場合の違いのようなものです。ロボットはレシピに従うことは得意ですが、クリエイティブなシェフになるための学習はまだ始まったばかりです。

もう一つの興味深い発見は、ロボットが何を見る必要があるかについてです。チャートの画像を見せることが、ロボットにとって大きな助けになると考えるかもしれません。しかし、研究者たちは、ロボットにチャートを作成したコードを与えることの方が、はるかに重要であることを発見しました。画像は、注釈を見た目通りに綺麗に見せるためには多少役立ちましたが、コード（実際のデータ数値や構造が含まれているもの）がなければ、ロボットは迷子になってしまいました。実際、画像だけを見せてコードを隠すと、彼らのパフォーマンスは崩壊しました。AIロボットにとって、画像そのものを見ることよりも、その背後にある「数学」を知ることの方が有用であるということです。

最後に、研究者たちは、チャートが複雑になるにつれてタスクが格段に難しくなることを指摘しました。もしチャートに大量のデータポイントがあったり、注釈を追加するために長く複雑なコードの変更が必要だったりする場合、最も賢いロボットであっても間違いを犯し始めます。彼らは、実行できないコードを書いたり、ラベルを間違った場所に配置したりすることがあります。

要約すると、CHARTANNOは、AIがチャートを描いたり読んだりすることには非常に長けている一方で、それらに注釈を付けて「説明」させることは、まだ発展途上の課題であることを示しています。ロボットは厳格な指示に従うことは得意ですが、自力で「全体像」を見出すにはまだ助けが必要です。研究者たちは、この新しいテストが、どんなに混乱したチャートでも、あらゆる人々にとって明確で役立つ物語へと変えられるような、より優れたAIツールの構築に貢献することを期待しています。