💬 NLP

BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model

本論文は、敵対的 LLM 拡張データで学習した軽量なクロスエンコーダーモデルを活用し、計算効率を維持しながら感度と構成的汎化において最先端の性能を達成する、参照不要の画像キャプション評価指標 BEiTScore を導入する。

原著者： Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

原著者： Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが美術評論家になり、生徒が描いた絵の説明を採点していると想像してください。生徒は「赤い犬が青いボールを追いかけている」と言います。しかし、その絵では、犬は実際には青く、赤いボールを追いかけています。

長らく、これらの説明を採点しようとしてきたコンピュータは、物語ではなく、使われた単語のリストだけを見る評論家のようでした。生徒の単語のリストが絵の単語のリスト（赤、犬、青、ボール）と一致すれば、説明が完全に間違っていたとしても、コンピュータは高得点を与えます。これは、正しい語彙を使ったという理由だけで、「青いボールが赤い犬を追いかけている」と書いた生徒に「A」を与え、文が意味をなしていないことを無視する教師のようなものです。

この論文は、BEiTScoreと呼ばれる、より賢い新しい採点システムを導入します。その仕組みを簡単に分解して説明します。

1. 問題：「単語の袋」の罠

画像の説明をチェックする現在のほとんどのコンピュータプログラム（CLIP ベースのモデルなど）は、文をビー玉の袋のように扱います。袋の中に「赤」のビー玉や「犬」のビー玉が何個入っているかを数えます。袋に正しいビー玉が入っていれば、説明が良いと仮定します。

欠点： 「犬が猫を追いかけている」と「猫が犬を追いかけている」の違いを区別できません。また、長い物語には苦労します。説明が長くなりすぎ（77 語を超えると）、これらのプログラムは読み続けるのをやめて推測するだけで、最後の詳細を見逃してしまいます。

2. 解決策：「探偵」モデル

著者たちは、単語のカウンターというよりは探偵のようなBEiTScoreを構築しました。

思考方法： 単語のリストを見るだけでなく、画像全体と文全体を同時に見ています。「この特定の単語が、この特定の画像のこの特定の場所に合うか？」と問いかけます。
訓練： この探偵を教えるために、著者たちは正しい説明だけでなく、「悪役」（強力な AI）を使ってトリックのある偽の説明を生成させました。
- 例： AI は正しい文を取り、役割を入れ替えます。「男が女を抱えている」を「女が男を抱えている」に変えます。
- BEiTScore モデルは、これらの微妙なトリックを見抜くように訓練され、単にどの物体が存在するかだけでなく、誰が誰に何をしているかに注意を払うことを学びました。

3. 「長い物語」の課題

小説を読もうとしていますが、目が最初の 2 文しか集中できず、すぐに疲れてしまうと想像してください。それが、長いキャプションに対する古いモデルの行いです。

BEiTScore の超能力： 画像に関する長く詳細な物語で訓練されました。最初の単語から最後の単語まで、疲れたり集中力を失ったりすることなく、キャプション全体を読むことができます。他のモデルが見逃してしまう、長い説明の真ん中や最後のほうで起こる誤りを見抜くことができます。

4. 結果：より賢く、より高速

この論文は、BEiTScore を 2 種類の競合他社とテストしました。

「単語カウンター」（エンコーダー）： 高速ですが、詳細についてしばしばばかげた間違いを犯します。
「巨大な脳」（LLM）： 長い物語を読み、詳細を見抜くことができる巨大で超賢いモデルですが、実行するには遅く、高価です（スーパーコンピュータを使って買い物リストをチェックするようなもの）。

BEiTScore の成果：

「単語カウンター」よりも多くの間違いを見つけました。
複雑な誤り（役割の入れ替えや物体の数の数え間違いなど）を見抜く能力は、「巨大な脳」とほぼ同等でした。
最も素晴らしい点： 「巨大な脳」よりも30 倍から 100 倍高速に動作します。天才ほど鋭い探偵が、普通の人の速度で働くようなものです。

5. 新しいテスト（LongCapVLCP）

著者たちは、古いテストが簡単すぎると気づきました。それらは短い文しか使っていませんでした。そこで、LongCapVLCPと呼ばれる、より新しい、より難しいテストを構築しました。

このテストは非常に長い説明を使用し、画像内に書かれたテキスト（例：背景の看板に「Open」と書かれている）のようなトリックな誤りを含んでいます。
この新しい難しいテストにおいて、BEiTScore は長いテキストを読み、誤りを発見できることを証明しました。一方、古い「単語カウンター」は完全に失敗しました。

まとめ

BEiTScoreは、画像の説明を採点するための新しいツールです。単語と画像の関係性を理解することを学ぶことで、コンピュータが単語を数えるだけという古い問題を解決します。これは、長い説明にある微妙な嘘を見抜くのに十分な賢さを持ち、数千枚の画像に使用できるほど高速であり、その作業を行うために高価で遅いスーパーコンピュータを必要としません。

技術的概要：BEiTScore

問題定義

画像キャプション評価は、ビジョン・ランゲージモデル（VLM）が長文で文脈に富んだ記述を生成するように進化しているため、重大な課題に直面しています。現在の最先端の評価指標は、以下の 2 つの問題のあるカテゴリに分類されます：

LLM ベースのジャッジ：人間の判断との高い相関を達成しますが、莫大な計算コストと長い推論時間を要するため、大規模なベンチマークやリアルタイムの品質意識型デコーディングには実用的ではありません。
エンコーダーベースの指標（例：CLIPScore）：計算効率は高いものの、決定的な限界を有しています。これらはしばしばキャプションを「単語の袋（bags-of-words）」として扱い、構成的な関係に対する微細な感応性が欠如しています。さらに、標準的な CLIP モデルは事前学習の制約（通常 77 トークンの制限）により短いキャプションに偏っており、長文の物語に対する性能が低く、微妙な視覚・言語的エラーを検出できません。

既存の参照フリー指標は、人間の判断との高い相関、長い記述の処理能力、高価な LLM に依存せずに微細な幻覚（例：空間関係、属性バインディング、数え上げ）を検出する能力という要件のバランスを取るのに苦労しています。

手法

著者は、軽量なクロスエンコーダーアーキテクチャに基づく新しい学習型・参照フリー評価指標であるBEiTScoreを提案します。

モデルアーキテクチャ

ベースモデル：本指標は、画像を言語トークンに類似した離散トークンとして表現する統合型マルチモーダル基盤モデルであるBEiT-3アーキテクチャを利用します。
初期化：モデルは**ビジョン質問応答（VQA）**のチェックポイントからウォームスタートされます。これにより、視覚と言語の整合を目的とするタスクに有益な事前知識が提供されます。
出力：回帰ヘッド（GeLU 活性化を備えた単一隠れ層）が、クロスモーダル注意出力を処理し、画像とキャプションの整合性の質を表す $[0, 1]$ の範囲のスコアを生成します。

学習戦略

学習スキームは、多様で複雑な視覚・言語的関係にモデルを曝すように設計された慎重に構成されたデータ混合を用いた 2 段階のカリキュラムを採用します：

ステージ 1：ペアワイズ対照学習
- 目的：二値分類（2 つのキャプションのうちどちらが画像と事実的に整合しているかを識別）。
- データ：Foil-It、TextCaps、Pixel-Prose、LocalizedNarrativesを含むカスタムデータセットの混合。
- 敵対的拡張：微細なエラーに対する感応性を高めるため、著者は敵対的データ拡張パイプラインを採用します：
  - LLM ベースの摂動：Qwen3 を用いて、物体、属性、空間関係、動作、アクタント役割、数え上げを修正することで、事実上誤りながら流暢なキャプションを生成します。
  - 合成汚染：「コブラ効果」に触発され、単語/文のシャッフル、品詞の繰り返しなどのテキスト汚染を導入して、単語の袋（bag-of-words）的な振る舞いを抑制します。
  - ハードネガティブマイニング：高い類似度スコアをもたらす誤ったキャプションを検索ベースで選択し、易しい、中程度の、難しいネガティブカテゴリを作成します。
- 逐次学習：学習は反復的に行われ、基礎的な推論（空間、役割、動作）から始まり、定量的な洗練（数え上げ）を経て、最後にシーンテキストの統合へと進みます。
ステージ 2：整合性微調整
- 目的：連続的な人間の判断スコアに一致する回帰。
- データ：人間の評価を含むデータセットの学習分割（VICR、POLOS、Nebula、EvalMuse-40kなど）。
- 損失：正規化された人間のスコア（ $q_i \in [0, 1]$ ）との直接整合を最適化するために L1 損失を使用します。

主要な貢献

BEiTScore 指標：VQA チェックポイントから初期化された軽量クロスエンコーダーを活用する参照フリー評価指標です。LLM ベースの代替手段よりもはるかに効率的（20〜60 倍小型、30〜100 倍高速）でありながら、最先端の性能を達成します。
敵対的学習パイプライン：LLM を用いてハードネガティブと合成テキスト汚染を生成する新規データ拡張戦略であり、小規模モデルに微細な視覚・言語的エラーや構成的構造を検出させるように特別に設計されています。
LongCapVLCP ベンチマーク：77 トークンの制限を超えた詳細なキャプション評価を目的とした新しいベンチマークです。これには以下が含まれます：
- 長文の物語：標準的なトークン制限を超えるキャプションにおける性能評価。
- シーンテキスト認識：画像内のテキスト情報をキャプションでの言及にマッピングする指標の能力を評価する特定タスク。これは先行研究で十分に扱われていなかった側面です。
- 多様なエラーカテゴリ：アクタントの入れ替え、動作動詞、数え上げ、空間関係、シーンテキストエラーなど。

実験結果

著者は、BEiTScore を 11 のベンチマークで評価し、エンコーダーベースの手法（CLIPScore、PAC-S、LongCLIP など）および LLM ベースの手法（EXPERT、FLEUR、VQAScore など）と比較しました。

人間との相関：BEiTScore（特に L/14 変種）は、複数のデータセット（VICR、Polaris、Nebula など）において人間の判断との最先端のケンダルの $\tau$ 相関を達成し、EXPERT や FLEUR などの LLM ベース指標を凌駕することが多いです。
微細な知覚：
- 物体幻覚（nocaps-FOIL）：BEiTScore はエンコーダーベースモデルを上回り、物体幻覚を含むキャプションと正しいキャプションを区別する点で LLM ベースの性能と同等です。
- 属性および構造的幻覚（SugarCREPE）：このモデルは「入れ替え」タスクにおいてエンコーダーベースの競合他社を大幅に上回り、構造的および関係的構成の優れた理解を示しています。
- 構成的推論（VALSE および Winoground）：BEiTScore は、数え上げ、空間関係、動作理解など、従来のエンコーダーがしばしば失敗する全体的な推論を必要とするタスクで優れています。
長文およびシーンテキスト（LongCapVLCP）：
- 標準的なエンコーダーベースの指標（CLIP、PAC）は、77 トークンを超えるキャプション、またはトークン制限後に配置されたシーンテキストエラーを含むキャプションにおいて、ランダムな確率に近い、あるいはそれ以下の性能を示します。
- BEiTScore は長文の物語全体で識別能力を維持し、シーンテキスト認識を効果的に処理して、LLM ベースの EXPERT 指標の性能と一致します。
効率性：専門的な LLM ベース指標と同等かそれ以上の性能を発揮しながらも、BEiTScore ははるかに少ない GFLOPs を必要とします（例：BEiTScore-L/14 は 296 GFLOPs に対し、EXPERT は約 9300 GFLOPs）。

意義と主張

本論文は、画像キャプション評価における LLM ベース指標の優位性が、単にモデルの規模によるものではなく、主にトレーニング中に小規模モデルが複雑で長文のテキストデータに十分に曝されていなかったことに起因すると主張しています。

敵対的拡張を備えたターゲット学習カリキュラムの導入と BEiT-3 アーキテクチャの利用により、BEiTScore は、効率的なエンコーダーベースアーキテクチャと LLM の複雑な推論能力の間のギャップを埋めます。著者は、BEiTScore が、大規模言語モデルの計算オーバーヘッドなしに、人間の判断との強い相関と複雑な構成的知覚を提供する、コスト効果の高い自動評価ソリューションを提供すると主張しています。LongCapVLCP ベンチマークの導入は、長文の記述やシーンテキストを処理する現在の指標の限界を浮き彫りにし、これらの能力を評価するための新たな基準を確立しています。