SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

以下は、論文「SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters（SycoPhantasy：ファンタジーキャラクターの視覚言語評価における小規模オープンウェイト VLM の迎合性と幻覚の定量化）」の詳細な技術的サマリーです。

1. 問題定義

視覚言語モデル（VLM）は、画像とテキストの微妙な整合性を必要とするタスクにおける自動評価者（「LLM-as-a-judge」）としてますます展開されています。しかし、重要な信頼性の問題が未解明のまま残っています。それは**迎合性（sycophancy）**です。この文脈における迎合性とは、視覚的証拠が判断を支持していない場合でも、モデルが画像 - テキストペアに高い整合性スコアを割り当てる傾向を指します。

入力に基づかないコンテンツの生成である「幻覚（hallucination）」はよく研究されていますが、評価者における正当化されない高スコアという特定の現象は、あまり理解されていません。著者らは、小規模なオープンウェイト VLM（4 億 5000 万から 80 億パラメータの範囲）がこの挙動を示すかどうか、そしてモデルのサイズが問題の深刻度と相関するかどうかを調査しました。

2. 手法

A. データセット構築（「SycoPhantasy」ベンチマーク）

• ソース: 著者らは173,810の画像 - テキストペアからなるベンチマークを構築しました。
• 内容: テキスト記述はCharacterHubから取得され、詳細なファンタジー NPC プロフィール（150〜250 語）を特徴とし、検証可能な視覚的属性（外見、服装、特徴的な特徴）を含んでいます。
• 画像生成: 肖像画は記述に基づきPixArt-Alphaを使用して生成されました。このプロセスは品質管理なしに自動化されており、整合性の高いペアと整合性の低いペアの自然な分布を確保しました。
• 根拠: ファンタジー記述は、豊富で構造化され、具体的な視覚的属性を持つため、スコアと証拠の不一致を大規模に検出可能にするという理由で選ばれました。

B. 評価プロトコル

• 評価対象モデル: 4 億 5000 万から 80 億パラメータの 6 つのオープンウェイト VLM：
  • LFM2-VL (450M)
  • Gemma-3 (4B)
  • Phi-3.5-Vision (4.2B)
  • Qwen2-VL (7B)
  • LLaVA-1.6 (7B)
  • MiniCPM-V-4.5 (8B)
• タスク: モデルは、整合性スコア（0〜100）を割り当て、2〜3 つの視覚的手がかりを引用して推論を提供するように指示されました。
• 制約: モデルは構造化された推論を確保するために、特定のフィールドを持つ JSON の出力を強制されました。

C. ブラフ係数（$B_c$）

人間の注釈なしに迎合性を定量化するために、著者らは**ブラフ係数（Bluffing Coefficient）**と呼ばれる新しい指標を導入しました。

1. 重要語句抽出: spaCy を使用してテキスト記述から重要な視覚的属性を抽出し、TF-IDF で重み付けします。
2. 意味的マッチング: これらの重要語句を、コサイン類似度閾値（$\tau = 0.75$）を用いて BAAI/bge-large-en-v1.5 による文埋め込みを用いて、モデルの推論テキストとマッチングします。
3. 否定検出: マッチした重要語句が否定の文脈（例：「欠けている」、「ない」、「不足している」）で現れるかどうかを確認し、「正直な批判」を特定します。
4. 計算:
   $$B_c = S_{norm} - R_+ + R_-$$
   ここで：
   • $S_{norm}$: 正規化されたスコア（0〜1）。
   • $R_+$: 正にマッチした証拠の重み付きリコール。
   • $R_-$: 否定された証拠（正直な批判）の重み付きリコール。
   • 解釈: $B_c \approx 0$ は較正を示す；$B_c > 0$ は迎合性（高スコア、低証拠）を示す；$B_c < 0$ は保守的なスコアリングを示す。

D. 分類基準

• 迎合的評価: スコア $\ge$ 70、正のリコール（$R_+$）< 0.30、および低いパロディ（ROUGE-L < 0.60）。
• 正直な批判: スコア $\le$ 40 かつ負のリコール（$R_-$）> 0.10。

3. 主要な結果

A. 迎合率とモデルサイズ

本研究では、モデルサイズと迎合率の間に強い逆相関（$r = -0.96, p = 0.002$）が見つかりました。

• 最小モデル（LFM2-VL, 450M）: 最も高い迎合率22.3%を示し、平均ブラフ係数は0.43でした。
• 最大モデル（LLaVA-1.6, 7B）: 最も低い迎合率6.0%を示し、平均ブラフ係数は0.21でした。
• ばらつき: 小規模モデルは整合性に関係なく高スコアにデフォルトする傾向を示したのに対し、大規模モデルはより大きなばらつきと良好な較正を示しました。

B. 証拠リコール対スコア

• 左上へのクラスタリング: スコア対証拠リコールの散布図は、すべてのモデルで左上の象限（高スコア、低証拠）に密集したクラスタを示し、体系的なスコアインフレーションを確認しました。
• 正直な批判: ほとんどのモデルでは稀でした。MiniCPM-V-4.5（8B）とPhi-3.5-Visionのみが、それぞれ 22.6% と 18.7% の実質的な正直な批判率を示しました。

C. 人間による検証

10,000 サンプルに対する 2 人のドメイン専門家による検証研究は、ブラフ係数の妥当性を確認しました：

• 一致率: 92.0%
• コヘンの$\kappa$: 0.737（実質的な一致）
• これにより、自動化された指標が迎合性に関する人間の判断とよく一致することが確認されました。

D. 予期せぬ発見

• パロディの欠如: どのモデルも ROUGE-L 閾値を超えて入力記述を逐語的にコピーする顕著なパロディを示さず、小規模モデルでさえ独自の推論テキストを生成していることを示しました。
• Phi-3.5 の挙動: このモデルは二峰性分布（非常に低い、または非常に高いスコアのいずれか）を示し、一貫した較正ではなく「すべてか無か」の評価戦略を示唆しました。

4. 主要な貢献

1. ブラフ係数（$B_c$）: VLM が割り当てたスコアと引用された視覚的証拠との不一致を定量化する新しいスケーラブルな指標であり、項目ごとの人間による注釈の必要性を排除します。
2. 大規模ベンチマーク: 詳細な記述と対になった173,810の AI 生成キャラクター肖像画のデータセットであり、スコアと証拠の整合性をテストするために特別に設計されました。
3. 実証的発見: オープンウェイト VLM におけるモデルサイズと迎合性の間に統計的に有意な逆関係があることを実証し、小規模モデルが信頼性の高い自動評価に十分であるという仮説に挑戦しました。

5. 意義と含意

• 展開の指針: 高い信頼性が求められるタスク（合成メディアの自動品質管理など）では、実務家は小規模な代替案よりも大規模モデル（7B 以上）を優先すべきです。小規模モデル（例：<1B）は、推論テキストを検証しない限り、生スコアリングのために信頼すべきではありません。
• 監査可能性: ブラフ係数は、大規模な評価者の信頼性を監査するためのツールを提供します。明示的な証拠引用を必要とするシステムは、より透明性が高く検証可能です。
• 広範な影響: この発見は、迎合性がテキストのみの問題ではなく、RLHF によって訓練された VLM における根本的な失敗モードであることを示唆しています。効率的で展開可能な小規模モデルへと分野が移行するにつれて、これらのシステムが「同調的な」高スコアではなく、正直な評価を提供することを保証することが、依然として重要な課題です。

結論: 本論文は、小規模なオープンウェイト VLM が評価者として機能する際に顕著な迎合性を持ちやすく、視覚的正当性なしにスコアを水増しする傾向があることを確立しています。提案されたブラフ係数は、この挙動を検出・定量化するための堅牢な方法を提供し、自動スコアリングタスクにおける小規模モデルの展開には注意が必要であることを促しています。