技術要約：視覚的活動認識のロバストな評価に向けて

問題提起

視覚的活動認識システムの評価は、動詞の意味論および画像解釈に内在する曖昧さによって根本的な課題を抱えている。標準的な評価は**完全一致（exact-match）**指標に依存しており、モデルの予測が単一の「ゴールドラベル」となる動詞と一致する場合のみ、正解とみなされる。このアプローチは、以下の2つの主要な曖昧さを考慮できていない。

1. 類義性（Synonymy）: 複数の同義の動詞（例：「教えている（teaching）」と「講義している（lecturing）」）が同じイベントを記述できる。
2. 多角的視点（Multi-perspectives）: 単一の画像が、異なる視点を反映した異なる動詞によって妥当に記述できる（例：バンドに対して「行進している（marching）」と「演奏している（performing）」）。

その結果、完全一致評価は、意味的には妥当であるが語彙的に異なる予測に対してペナルティを課すことで、モデルの性能を系統的に過小評価してしまう。CLIPScoreのような指標も存在するが、それらは微細な動詞の意味の違いや視点の変化を捉えるには不十分な、一般的な類似度測定に依存していることが多い。

手法

これらの限界に対処するため、著者らは「動詞の意味クラスター」を構築する視覚言語クラスタリング・フレームワークを提案している。このフレームワークは、画像と動詞を、各クラスターが活動の特定の視点または意味を表すような一貫したクラスターへとグループ化する。手法は以下の3つの段階で進行する。

1. 画像と動詞のペアの取得

元のimSituデータセットに内在するラベル・バイアス（動詞ベースのGoogle検索によって画像が取得されていることによるもの）を軽減するため、著者らは2つのマルチモーダル大規模言語モデル（LLM）であるGPT-4o miniとLlama-3.2-90Bに対して、各画像に対して適切なすべての動詞を生成するようクエリを投げた。imSituの語彙（504個の動詞）に含まれる動詞のみを保持し、<画像, 動詞>のペアを表すノードを構築した。これらのノードは、テキストと画像の両方の入力を同時に処理するマルチモーダルLlamaモデル（Llama-3.2-11B）を用いて、クロスアテンション層の後の最終隠れ状態を抽出することで埋め込み（embedding）化された。

2. 2段階クラスタリング・フレームワーク

本フレームワークは、これらの<画像, 動詞>のペアをグループ化するために、2段階のクラスタリングプロセスを採用している。

• ステップ1：同一動詞クラスタリング（Same-Verb Clustering）: 504個の各動詞について、関連する画像をクラスタリングし、その特定の動詞の微細な意味（sense）を判別する。各動사의最適なクラスター数（$k$）は、$k \in [2, 16]$の範囲で**シルエット係数（Silhouette score）**を最大化することによって決定される。K-Means法と階層的凝集クラスタリング（HAC）の両方がテストされる。
• ステップ2：動詞間クラスタリング（Cross-Verb Clustering）: ステップ1で得られたクラスターをさらにクラスタリングし、異なる語彙項目間で共通の意味を持つ動詞をグループ化する。最終的なクラスター数（$k_r$）は、総動詞数（504）に適用される比率$r$によって決定され、シルエット係数を通じて最適化される。

3. 評価プロトコル

得られたクラスターは、評価のためのグランドトゥルース（正解）として機能する。モデルの予測は、ターゲットとなる画像を含むいずれかのクラスターに予測された動詞が含まれている場合に正解とされる。これは以下と比較される：

• 完全一致（Exact Match）: 標準的なゴールドラベルとの照合。
• WordNet-Synset 一致: 予測がゴールドラベルと共通のシンスセット（synset）を共有しているかどうかの確認。
• 人間による判断: 100個のサンプル画像に対する手動アノテーションによる整合性の評価。

主な結果

クラスタリングの質と曖昧さの分析

• クラスター構造: 分析の結果、平均して各画像は約4つの意味クラスターにマッピングされ、各クラスターには約2つの動詞が含まれていることが明らかになった。
• 曖昧さの定量化:
  • 類義性: 約54%の動詞が複数のクラスターにまたがっており（多義性）、クラスターには平均1.59〜1.97個の動詞が含まれている。これは類義語の蔓延を裏付けている。
  • 多角的視点: 70%以上の画像が複数のクラスターに属しており、単一の画像がしばしば複数の妥当な記述的視点をサポートしていることを示している。
• 指標の性能: Llama-3.2-90Bの埋め込みを用いたK-Meansクラスタリングが、内部の凝集性（シルエット係数、Calinski-Harabasz指数）と外部の妥当性（WordNet純度）の最高のバランスを実現した。

モデル評価の改善

様々な教師ありモデル（ResNet-50, CLIP, Llama-11B）およびゼロショットLLM（GPT-4o mini, Llama-3.2-90B）を評価した結果、クラスターベースの指標において大幅な性能向上が見られた：

• 精度の向上: すべてのモデルで大幅なTop-1精度の向上が見られた。例えば、Llama-11Bの教師ありモデルは、56.0%（完全一致）から72.1%（クラスターベース）へと向上した。ゼロショットLLMではさらに大きな相対的利得が見られた（例：GPT-4o miniのクローズド・プロンプトは17.3%から39.2%へ向上）。
• 向上の要因: 内訳分析によれば、多角的視点の理解が向上の大部分（8〜27%の改善）を占めており、類義語の解決はより小さいが有意な部分（3〜6%）を占めている。
• 人間との整合性: クラスターベースの評価は、人間による判断と最も高い一致を示し、Kendallの$\tau$（ランキングの一致）およびKrippendorffの$\alpha$（ラベルの一致）の両方において、完全一致およびVLM-as-a-judge（判定器としてのVLM）のベースラインを上回った。プロンプトのバリエーションによって不安定な挙動を示したVLM-as-a-judgeとは異なり、クラスターベースの手法は一貫した堅牢な整合性を提供した。

代替指標の限界

本論文は、CLIPScoreが動詞中心の評価には適していないことを示している。フルキャプションを使用した場合でも、CLIPScoreは文脈的な単語に支配されるため、動詞の変化が無視される。動詞のみのCLIPScoreは、Top-1精度がわずか約25%であり、人間が検証したラベルを信頼性高く検索できなかった。

重要性と貢献

本論文は主に3つの貢献を主張している：

1. 新しいフレームワーク: 画像と活動動詞に基づいて意味グループを構築する、視覚言語クラスタリング・フレームワークの提案と、内部および外部指標による検証。
2. 優れた評価: クラスターベースの評価が、従来の完全一致精度よりも、視覚的活動認識システムの真の意味的能力をより正確かつ微細に反映した、より正確でニュアンスのある評価を提供することを実証したこと。
3. 曖昧さの定量化: imSituデータセットの定量的分析により、類義性と多角的視点の曖昧さがどの程度存在するかを明らかにし、標準的な評価指標がこれらの固有の複雑さを捉えきれていないことを示したこと。

著者らは、実験がimSituに焦点を当てているものの、フレームワークは他の視覚的活動データセットにも適応可能であると結論付けている。LLM生成の動詞への依存や、オフライン・クラスタリング・プロセスの計算コストといった限界についても認めているが、結果として得られる固定されたターゲット集合は、将来の評価におけるこれらのコストを相殺すると主張している。