More Accurate, Less Human: Gestalt Grouping in Vision Models

技術要約：より正確だが、より人間らしくはない：視覚モデルにおけるゲシュタルトの群化

問題提起
視覚言語モデル（VLM）は、チャートの解釈、デザインの評価、および人間の視聴者のプロキシ（代理）として機能するために、可視化パイプラインへの導入が進んでいる。これらのシステムは、タスク完了に関するベンチマークにおいて高い精度を示すが、それらが人間の視覚を支配する知覚的規則性に従って視覚情報を整理しているかどうかは検証されていない。従来の評価は能力（例：可視化リテラリースコア）を測定するが、人間のような知覚的群化から導かれた正解と、根本的に異なる非人間的なメカニズムから導かれた正解を区別することはできない。本論文は、高い精度が知覚的組織化における「人間らしさ」を確立するものではないと主張し、タスク遂行メトリクスから、認知心理学の確立された原則への行動的一致へとシフトする必要性を説いている。

手法
著者らは、ゲシュタルト心理学、特に閉合（Closure）（不完全な構造の知覚的補完）と類似（Similarity）（共有属性によるグループ化）の原理に基づいた行動評価バッテリーを導入する。新しい人間データを収集する代わりに、本手法では先行する知覚研究から得られた刺激物と公開されている人間の行動データを評価対象として再利用する。

このバッテリーは、2つのトラック（チャートベースおよび自然画像コントロール）にわたる4つのタスクで構成されている：

1. シルエット認識（閉合）： テクスチャや内部の詳細が除去された塗りつぶしシルエットを用いた16択の強制選択タスク。人間のアンカーは10人の観察者の最頻値とする。
2. マーク・色の外れ値特定（類似）： 色に基づくマークの外れ値を特定する。これはクラウドソーシングされた知覚カーネルに対してスコア化される。
3. カラーシリーズの計数（類似）： チャート内の異なる色のシリーズを数える。これは公開されている人間の容量帯（6〜12カテゴリ）に対してスコア化される。
4. オブジェクトの外れ値特定（類似）： 自然画像における意味的な外れ値を特定する。これはTHINGSデータセットのテスト・再テスト・シーリングに対してスコア化される。

本研究では、5つのトレーニングファミリー（教師ありエンコーダ、自己教師ありエンコーダ、対照的視覚言語エンコーダ、オープンウェイトVLM、およびクローズドな基盤モデル）にわたる45のモデルを評価する。

メトリクス
3つの相補的なメトリクスが行動的一致を定量化する：

• 行動的一致度（$B$）： モデルの応答が人間のターゲット（最頻値または容量帯）と一致する割合。これは単なるスキルではなく、人間らしさを測定する。
• 行動的エラー一貫性（$\kappa$）： モデルが、それぞれの精度を考慮した上での偶然を超えて、人間と同じ特定の項目でエラーを起こしているかどうかの尺度。これは人間同士の一貫性の天井と比較される。
• 行動的効果の再現（$a(k)$）： 様々なシリーズ数にわたる精度プロファイルが、人間の容量曲線と同様の形状を示すかどうか。

主な結果

• 精度と人間らしさの乖離： 高いベンチマーク精度は、人間の知覚的組織化への一致を保証しない。モデルは、特定のグループ化タスク（例：色の類似性におけるトップパフォーマーが、意味的なグループ化では平均的になるなど）に応じて、ランキングが入れ替わることがある。
• エラー一貫性の分散： 45モデル中34モデルが人間を超える精度を示したが、人間同士の一貫性の天井（$\kappa$）に達するか、それを超えたのはわずか4モデルであった。一部のクローズドな基盤モデルを含む多くのモデルは、高い精度を示しながらも、人間のエラーパターンを再現できていない。
• ファミリー固有の特性：
  • オープンウェイトVLM： 全体としてパフォーマンスが低く、多くが意味的タスクにおける位置推測のフロア（底）をクリアできず、生成された回答が基礎となるビジョンタワーのグループ化能力を反映していないことを示唆している。
  • クローズドな基盤モデル： 人間のようなグループ化へのブロックレベルのシフトを示し、いくつかのモデル（例：Claude-Opus-4.6）は、人間を超える精度と人間レベルのエラー一貫性の両方を達成した。しかし、この一致はティア全体で一様ではない。
  • 学習目的： モデルが示すグループ化の種類は、アーキテクチャではなく、その学習目的に依存する。自己教師あり学習は色の類似性において優位であり、対照的な視覚言語学習は意味的なグループ化と形状において優位であった。
• タスク特異性： 人間のようなグループ化はグローバルな特性ではない。あるタスクで人間と一致するモデルが、別のタスクでは大きく乖離する場合がある。

意義と主張
本論文は、可視化パイプラインに導入される視覚モデルを監査するための、再利用可能で理論に基づいた尺度を提供すると主張している。既存の精神物理学的データを利用することで、研究者は新たなユーザー調査を行うことなく、モデルが人間の観客と同じようにチャートを「見ている」かどうかを判断できる。

著者らは以下の通り主張する：

1. 行動的接地は測定可能である： モデルが人間のゲシュタルト原理に従って視覚コンテンツを整理しているかどうかを定量化することは可能である。
2. 精度だけでは不十分である： 従来のメトリクスは、知覚的組織化における決定的な違いを見逃している。モデルは「より正確」でありながら、そのグループ化の論理においては「より人間らしくない」可能性がある。
3. タスクインデックス型の評価が必要である： 単一のスコアでモデルが人間のプロキシ（代理）であることを証明することはできない。監査は、タスク（例：マークのグループ化か形状の認識か）および学習ファミリーに特有のものである必要がある。
4. 現在の限界： 本研究は、完全なチャートのコンテキスト（軸、凡例）ではなく、孤立したマークやオブジェクト（チャートの構成要素）に焦点を当てており、また2つのゲシュタルト原理のみを扱っている。

本研究は、一部のクローズドな基盤モデルが、特定のタスクにおいて人間のプロキシとして機能できるレベルの行動的一致に達しているものの、この能力はスケールのみによってではなく、特定のトレーニングレシピを通じて獲得されるものであり、かつタスクに依存したものであると結論付けている。