Can Argus Judge Them All? Comparing VLMs Across Domains

あなたは、巨大でハイテクなサーカスのスカウトマンだと想像してください。あなたは最高の「視覚言語モデル（VLM）」、つまり画像を見て何が起きているかを伝えたり、似た画像を見つけたり、画像に関するパズルを解いたりできる超スマートなロボットを雇う必要があります。

通常、ロボットを選ぶときは、その成績表だけを見ます。「数学のテストで95％」といったスコアを見て、「完璧だ！この子に決まりだ！」と思うかもしれません。しかし、この**「Argusは彼らをすべて裁けるのか？（Can Argus Judge Them All?）」**と題された論文は、その成績表が一種のトリックであることを主張しています。それは、ロボットがテストでは満点を取ったとしても、教室の外の、予測不能で混沌とした現実世界に連れ出された途端に崩壊してしまう可能性があることを示唆しています。

著者たちはこれを**「能力と信頼性のギャップ（Capability-Reliability Gap）」**と呼んでいます。それは、ジムの柔らかいマットの上で完璧なバク転を見せるはずの体操選手を雇ったものの、バンジーキャッスルや風の吹くステージの上でそれをやらせたら、よろけて転んでしまうようなものです。

新しい採点システム：ARGUS-EVAL

これを解決するために、研究者たちはARGUS-EVALと呼ばれる新しい判定システムを構築しました。単に一つの最終スコアを見るのではなく、以下の4つの要素でロボットをチェックします。

1. テストスコア（能力/Capability）： 標準的な試験でどれくらいうまくこなせるか？
2. 一貫性スコア（Consistency Score）： 同じ種類のテストでも、質問や画像がわずかに異なる場合、依然として高いパフォーマンスを維持できるか？
3. 「タフネス」スコア（Toughness Score）： 画像を崩したり（ぼかしたり）、テキストを乱したり（誤字を追加したり）した場合、それでも正しく理解できるか、それともクラッシュしてしまうのか？
4. 効率スコア（Efficiency Score）： どれくらいの速さで、どれだけのバッテリー（またはコンピュータメモリ）を消費するか？

レース：勝者は誰か？

チームは5つの有名なロボットモデル、CLIP、BLIP、LXMERT、Gemma-3-4B、Qwen-2.5VL-3B-Instructをこの新たな試練にかけました。彼らは主に3つの仕事、すなわち、画像とテキストの照合（検索/Retrieval）、画像の記述（キャプション生成/Captioning）、論理パズルの解決（推論/Reasoning）についてテストを行いました。

結果は以下の通りですが、ここにはちょっとしたプロットツイスト（どんでん返し）があります。

「スター生徒」（Qwen）：
もし従来の成績表だけを見たのであれば、Qwen-2.5VL-3B-Instructが明らかな勝者でした。あらゆる面で最高のスコアを叩き出したのです。

• 画像検索ゲームでは、トップのマッチングの**82.7%**を正解しました（R@1）。
• 画像を記述する際、BLEU-4スコアは47.2、CIDErスコアは141.6という文章を作成しました。
• 論理パズルでは、CLEVRテストにおいて**97.4%**の正解率を記録しました。

この論文は、もし精度がすべてであるような仕事において絶対的な賢さが必要なら、Qwenを選ぶべきだと示唆しています。

「信頼できるベテラン」（Gemma）：
しかし、ここに落とし穴があります。「一貫性」と「タフネス」のスコアを加えると、ランキングが逆転したのです。Gemma-3-4Bが、実際には最も信頼できる総合的なモデルとなりました。

• Qwenは生のテストにおいてはわずかに優れていましたが、Gemmaの方がより安定していました。テストが変なものになったり、画像がぼやけたりしても、Gemmaはあまりパニックになりませんでした。
• 実際に、著者たちが新しい信頼性スコアを加えたところ、Gemmaの総スコアは0.891に跳ね上がったのに対し、Qwenは0.868に低下しました。
• この論文は、物事がややこしくなった時に壊れないロボットが必要なら、Gemmaの方が良い選択肢であると示唆しています。

「スピードスター」（CLIP）：
次にCLIPです。パズルを解いたり凝った説明を書いたりすることには長けていませんでした。しかし、最も速く、最も軽量でした。

• 画像1枚をわずか**31ミリ秒（ms）**で処理できました。
• メモリ使用量はわずか0.9 GBでした。
• 論文では、バッテリー容量が小さいデバイスや計算能力の低いコンピュータ（Raspberry Piなど）を使用する場合、CLIPがリソースを食いつぶさないため、明確な勝者であると述べています。

大きな教訓

この論文の主要な発見は、**「単にテストスコアが最も高いロボットを選んではいけない」**ということです。

著者たちはさまざまなデータセットにわたってこれを注意深く測定し、テストスコアが似通っているモデルであっても、現実世界での振る舞いは大きく異なる可能性があることを明らかにしました。彼らは、「高い能力は常に高い信頼性を意味する」という考えに対して明確に異を唱えています。見た目上の成績が良いロボット（Qwen）が、実際には、見た目が少し控えめなロボット（Gemma）よりも不安定である可能性があることを示したのです。

また、彼らはこれらのロボットが異なるハードウェア上でどのように動作するかについても測定しました。強力なサーバー（NVIDIA A100）上では、CLIPは31 msの速さでしたが、Gemmaは138 ms、Qwenは142 msでした。しかし、より小さなデバイス上では、速度とメモリ使用量の差はさらに劇的になり、CLIPが軽量かつ高速であり続けた一方で、他のモデルは重くなっていくことが分かりました。

これが教えてくれないこと

論文は、自分たちが「やっていないこと」についても慎重に述べています。彼らはあらゆる現実世界のシナリオをテストしたわけではなく、特定の仕事のために特別に訓練された（ファインチューニングされた）ロボットもテストしていません。彼らがテストしたのは、あくまで「そのままの状態（ゼロショット）」のロボットです。

また、あらゆる種類の「乱れた」画像についてもテストしたわけではなく、特定のぼやけやノイズを含む画像のみを対象としています。したがって、彼らはGemmaがより信頼性が高く、Q

まとめ

もし、絶対的な回答が必要で、強力なコンピュータを使えるシステムを構築しているのであれば、Qwenが最良の選択かもしれません。しかし、もし物事がうまくいかなくなった時にも冷静さを保てるロボットが必要であったり、スピードが重要な小型デバイスで運用したりするのであれば、GemmaやCLIPの方が賢い選択となるでしょう。

論文は、単に成績表の数字一つだけを見るのをやめる必要があると結論づけています。ロボットがいかに賢いか、いかに安定しているか、そしてどれだけのエネルギーを使うかという、全体像を見る必要があります。そうして初めて、私たちはそのロボットが本当に現実世界に備えているのかを真に判断できるのです。