Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

あなたは、一連の色彩豊かな図画——ニュース記事や学校のレポートで見られるような、さまざまな高さの棒が数字の物語を伝える棒グラフ——だけを手がかりに、謎を解こうとしている探偵だと想像してください。人間にとってこれらを読み解くのは簡単です。私たちは棒の高さを見て、数字を推測します。しかし、コンピュータにとって、チャートは単なるピクセルの集まりに過ぎません。コンピュータは、高い青い長方形が「500ドル」を意味することや、横にある小さな目盛りが「100」であることを知りません。機械にとって、データは芸術の中に隠されているのです。

ここで、「コンピュータビジョン」と呼ばれる分野が登場します。これは、コンピュータに画像を「見て」、理解することを教える科学の一分野です。通常、コンピュータにチャートを読ませる方法を教えるには、人間がすでに答えを書き込んだ何千もの例を見せる必要があります。これは、教師がコンピュータの隣に座り、すべての棒を指差して「これは50、これは100だ」と教えているようなものです。しかし現実の世界では、完璧な答えが書き込まれた何千ものチャートを見つけることは、非常に困難で時間がかかります。それは、干し草の山の中から針を探すようなものです。ただし、その干し草は紙でできており、針が見当たらないという状況です。この論文では、人間によるラベル付けを事前に行うことなく、コンピュータにチャートを読ませるための巧妙な新しい方法について探究しています。

ドイツのウルム大学のプーナム・プーナム（Poonam Poonam）氏とそのチームによるこの研究者たちは、「チャートのデレンダリング（de-rendering）」を解決したいと考えました。それは、「チャートの写真を撮り、それを元の生の数値に戻す」という、少し凝った言い方をするプロセスです。彼らは、コンピュータが猫や車を認識することには長けている一方で、チャート特有の幾何学的な構造、特にチャートのサイズが異なったり背景が乱雑だったりする場合に苦戦することに気づきました。

これに対処するため、彼らは「JEPA（Joint-Embedding Predictive Architecture）」と呼ばれる特別な種類のAIアーキテクチャを使用しました。JEPAを、答えを暗記する学生としてではなく、推測ゲームを通じて学ぶ「好奇心旺盛な探検家」として考えてみてください。AIは「この棒は50だ」と言われる代わりに、チャートの写真の一部が大きく隠された（マスクされた）状態を見せられます。そして、見える部分に基づいて、隠された部分がどのような見た目であるかを推測しなければなりません。このゲームを何百万ものチャートを用いて何度も繰り返すことで、AIはチャートがどのように機能するかという「ルール」――棒が目盛りとどのように関係しているか、軸がどのように描かれているか、そして数学的な深い意味において「棒」とはどのようなものか――を学習します。これは、人間が教科書を与えてくれるのを待つのではなく、データの中に見つけたパターンを使ってコンピュータ自身が教え合うため、「自己教師あり学習（self-supervised learning）」と呼ばれます。

チームは「Bar-JEPA」と呼ぶパイプラインを構築しました。まず、このAI探検家を10万個のコンピュータ生成された棒グラフの膨大なライブラリを用いて訓練しました。彼らは標準的な画像を使用しただけでなく、チャートが縦長であったり横長であったりしても混乱しないように、あらゆる形状やサイズのチャートを扱えるようAIを改良しました。AIがチャートの「言語」を習得した後、彼らはシンプルで軽量な「デコーダー」をそれに取り付けました。このデコーダーの仕事は、AIの理解に基づき、どこに棒や数字があるかを正確に指し示すことです。

結果は非常に有望なものでした。彼らが実世界のチャート（新聞などで見られるようなもの）でシステムをテストした際、この自己教師あり推測ゲームを通じて学習したAIは、この方法で訓練されていない標準的なAIよりも、棒を見つけ出し数字を読み取る能力がはるかに優れていました。実際、この特別な訓練がなければ、コンピュータはほとんど完全に迷走し、値を一つも見つけることができませんでした。JEPAの訓練を用いることで、高い精度でデータを復元することができました。この論文は、大量のラベル付け済みデータが手元になくても、この方法がコンピュータにチャートを理解させるための強力で効率的な手段であることを示唆しています。

しかし、著者たちはこれが最終的で完璧な解決策であると主張することには慎重です。彼らは、自分たちのシステムがまだ少し単純であり、垂直棒グラフしか読むことができず、積み上げ棒グラフや3Dチャートのようなより複雑なタイプには苦戦することを認めています。また、まだ世界で最高レベルのシステムでもありませんが、チャートの構造を「推測」することをコンピュータに先に教えることが、強力なトリックであることを証明しています。彼らは将来、このスマートな「探検家」AIが、さらに強力なツール、例えば大規模言語モデルと組み合わされることで、単に数字を読むだけでなく、「どの棒が一番大きいか？」「合計はいくらか？」といったデータに関する質問に答えられるようになる可能性があると示唆しています。しかし今のところ、Bar-JEPAは、コンピュータに「見る」方法を教える最善の方法は、時にはパズルを自力で解かせてみることであるということを教えてくれます。