CompareBench: A Benchmark for Visual Comparison Reasoning in Vision-Language Models

人間の視覚は、単に「見る」ことだけではありません。それは「比較すること」でもあります。部屋を見るとき、私たちは単に椅子やテーブルが存在することを認識するだけでなく、どの椅子がより高く、どのテーブルがより近く、カウンターにカップがいくつあるのか、あるいは写真が過去のシーンか現在のシーンであるのかといったことを瞬時に判断しています。このように、あるものを他のものと比べる能力は、私たちが世界を理解するための根本的な部分です。近年、コンピュータは驚くべきスキルで「見る」ことを学習し、画像の内容を説明したり、その中に何が含まれているかという質問に答えたりできるようになりました。これらのシステムは「視覚言語モデル（vision-language models）」と呼ばれ、チャートを読み取ったり、写真を説明したり、視覚的なパズルを解いたりする現代のツールの背後にあるエンジンとなっています。しかし、これらの機械は認識や記述には長けてきましたが、人間が日々当たり前に行っているような直感的な比較の把握能力を備えているかどうかは、依然として不明なままです。

ある研究者が、この問いに答えるための専門的なテストを構築しました。彼らは、視覚情報の比較という特定の行為を分離して評価するために設計された、新しい評価スイートを作成しました。その結果、最も高度なコンピュータシステムは一般的なタスクでは優れた性能を発揮する一方で、数量、大きさ、距離、または時間に関する直接的な比較を求められると、著しく苦戦することが分かりました。この研究は、賢明なモデルであっても、はっきりと見える物体を数え間違えたり、2つのアイテムのうちどちらが長いかを誤判したり、あるいは2人の人物のうちどちらがカメラに近いかを混乱したりすることがあることを明らかにしています。研究者は、これらのシステムが人間にとっては些細なタスクでつまずくことが多いことを発見しました。これは、視覚的な詳細を比較する能力が、現在の人工知能における体系的な弱点であることを示唆しています。

このギャップを調査するために、研究者は「CompareBench」と呼ばれる包括的なテストセットを構築しました。これは、彼らが開発した他の2つのリソース、「TallyBench」と「OmniCaps」によって支えられています。TallyBenchは2,000枚の画像コレクションであり、各画像には犬、本、スプーンといった特定の種類の物体を数えるようコンピュータに求める単純な質問がペアになっています。このリソースは、モデルが個々のアイテムをどの程度正確に数えられるかをテストするための基礎となり、また数量比較タスクのためのソース画像も提供します。OmniCapsは、歴史的な出来事、有名なランドマーク、著名な人物を含む716枚のより小さな画像セットで、それぞれに特定の年代が付与されています。このコレクションにより、研究者はモデルが画像を時系列順に並べることで、時間の経過を理解できるかどうかをテストすることができます。メインのテストであるCompareBenchは、これらの要素を統合し、コンピュータに直接的な比較を行わせる1,200の質問で構成されています。これらの質問は、数量の比較、長さや厚さといった幾何学的特性の比較、奥行きや高さといった空間関係の判断、そして出来事の時系列順の整理という4つのカテゴリーに分かれています。数量比較のサブセットは、特にTallyBenchから抽出された600の質問で構成されています。

研究者は、3つの主要なテクノロジー企業による9つの異なるバージョンの最先端コンピュータビジョンシステムをテストしました。彼らはこれらのモデルに対し、1,200の比較質問と2,000の計数タスクを解くよう求めました。結果は、人間のパフォーマンスと機械のパフォーマンスの間に明確な隔たりがあることを示しました。人間はほぼすべてのタスクにおいて完璧に近いスコアを達成し、物体を数えたりサイズを判断したりすることを容易に行いました。しかし、コンピュータモデルは持続的なエラーを示しました。計数タスクにおいて、最高のモデルでも正解率は約87パーセントであり、これは10枚に1枚以上の割合で物体を見落としたり数え間違えたりしていることを意味します。比較タスクについては、カテゴリーによって性能が異なりました。モデルは数量の比較については比較的良好でしたが、空間推論においては大きく苦戦し、どちらの物体がカメラに近いか、あるいはどちらの点が地面から高い位置にあるかを判断できず、しばしば失敗しました。また、どちらの本がより厚いかといった幾何学的な比較についても困難を示しました。

最も驚くべき発見の一つは、時間（temporal）に基づく比較のカテゴリーで現れました。このセクションでは、モデルに対して歴史的な場面、ランドマーク、または著名人の画像を見せ、どれが歴史的に早い時期のものかを判断させました。ここで、コンピュータモデルは人間の被験者を実際に上回りました。画像の視覚的証拠のみに限定されていた人間は、画像が非常に似ていたため、正しい順序を判断できないことがよくありました。しかし、コンピュータモデルは、歴史、建築、著名人に関する膨大な既存知識にアクセスできました。彼らはこの内部データベースを活用することで、視覚的な手がかりだけでは不十分な場合でも、画像を正しく並べることができたのです。これは、モデルが空間やサイズに関する真の視覚的理解を欠いている一方で、外部知識を必要とする問題を解決するために、膨大な事実の記憶によって補完できる場合があることを示唆しています。

こうした時折の成功にもかかわらず、この研究は、視覚的要素を比較する核心的な能力は、人工知能によってまだ完全には習得されていないことを浮き彫りにしています。研究者は、モデルが物体の長さと高さを頻繁に混同したり、前景の物体と背景の物体を区別できなかったりすることに注目しました。また、カウントを行う際に、人間は本能的に処理できるような「一部が隠れた物体」を見落とすことも多いことを発見しました。研究者は、現在のシステムは微細な視覚的比較を必要とするタスクにおいて、まだ信頼できるレベルには達していないと結論付けました。そして、これらの失敗は単なるランダムなミスではなく、モデルが視覚情報を処理する方法における体系的な限界であると述べています。これらの特定のスキルを分離した焦点の絞られたテストを提供することで、この新しいベンチマークは、この分野における進歩を測定する明確な方法を提供しています。研究者は、自身のデータと手法を公開することで、他の科学者たちがこれらのツールを使用して、人間のように見て、比較し、私たちの周囲の世界を理解できる、より優れたモデルを構築できるようになることを期待しています。