Would you still call this Dax? Novel Visual References in VLMs and Humans

要約

想像してみてください。あなたはロボットに、全く新しい物体に対して新しい言葉を教えています。あなたは奇妙で光り輝く生き物の写真を見せながら、「これは**ダックス（Dax）**です」と言いました。すると、あなたはロボットに対して、少しずつ見た目が変わっていくダックスの写真を次々と見せていきます。あるものはぼやけており、あるものは逆さま、あるものは色が異なり、またあるものは腕が一本増えています。

この論文が問いかけているのは、**「ロボットは、どの時点で『これはもうダックスではない』と言うのか？」ということです。そしてより重要なのは、「ロボットは人間と同じ判断を下すのか？」**という点です。

研究結果の簡単な内訳は以下の通りです。

1. 「ダックス」テスト（セットアップ）

研究者たちは、NVRD（新規視覚リファレンス・データセット）と呼ばれる膨大なデータセットを作成しました。これは、90種類のユニークな架空の物体を集めた巨大なアートギャラリーのようなものです。

• いくつかの物体は実在するもの（椅子）に似ていますが、架空の名前（「ブロムウィッチ」など）が与えられています。
• いくつかはハイブリッドです（トースターにイノシシの頭がついたものなど）。
• いくつかは完全に異質な、現実世界には存在しないものです。

それぞれの物体に対して、徐々に「悪化」したり歪んだりしていく20個のバージョンを作成しました。彼らは5つの異なるAIモデル（「ロボット」）と2,400人の人間を対象に、物体が変化したときに彼らがどのように反応するかをテストしました。

2. 「既知の知識」の問題

最初の大きな発見は、AIはすでに何かを知っている場合、苦戦するということです。

• 人間の比喩： もしあなたが人間に本物の犬の写真を見せて、それを「ダックス」と呼んだら、その人はおそらく「いいえ、それは犬です」と言うでしょう。彼らは、犬には特定の名前があるという強い記憶を持っています。
• AIの結果： AIモデルも同様の挙動を示しました。物体が馴染みのあるもの（椅子など）であった場合、AIは新しい名前である「ダックス」を学習することを拒み、それを「椅子」と呼び続けました。しかし、物体が全く新しく奇妙なものであった場合、AIは喜んでその新しい名前を受け入れました。

3. 「形状 vs テクスチャ」のバイアス

次に、研究者たちは物体をねじ曲げ始めました。色を変えたり、ノイズを加えたり、物体の形状を完全に変えたりしました。

• 人間の比喩： 人間は彫刻家のようなものです。もしあなたがダックスの粘土像の顔を潰したり、腕を折ったりしたら、私たちは「これはもう同じダックスではない！」と言います。私たちは形状を深く重視します。もし単に青く塗ったり、絵画のように見せたりしただけであれば、私たちは「よし、これはまだダックスだ」と言います。
• AIの結果： AIモデルはこれについて人間と一致しました！彼らもまた、形状を最も重視しました。形状が変われば、AIはそれをダックスと呼ぶのをやめました。色やテクスチャが変わっただけであれば、AIは問題ありませんでした。

4. 「寛容すぎる」ロボット

これが最も重要な発見です。AIと人間は「何が重要か（形状）」については一致していましたが、「どの程度の変化が許容できないレベルか」については意見が分かれました。

• 人間の比喩： 人間は厳しいです。もしあなたがダックスの首を伸ばしてキリンのように見せたら、私たちは「いや、それはもうダックスではない」と言います。
• AIの結果： AIモデルは寛容すぎました。物体が引き伸ばされたり、変形したり、パーツが増えたりしても、AIはそれを「ダックス」と呼び続けました。AIは、人間よりもはるかに広い範囲の「奇妙さ」を受け入れる用意がありました。

比喩： 人間とロボットが、2枚の写真を見て同じ動物かどうかを当てるゲームをしていると想像してください。

• 人間： 「あれは猫だ。そして、あれは……長い尻尾を持った猫だ。まだ猫だ。でも、あれは？ あれは犬の頭を持った猫だ。いや、あれはもう猫ではない。」
• ロボット： 「あれは猫だ。あれは長い尻尾を持った猫だ。あれは犬の頭を持った猫だ。あれは木が生えている猫だ。はい、これはまだ猫です。」

5. なぜこれが重要なのか（論文による結論）

論文は、AIは新しいことを即座に学習する能力は向上しているものの、人間が持つような「常識的な境界線」は持っていないと結論付けています。

もし人間とAIが、現実世界で新しい物体についてコミュニケーションを取ろうとした場合、人間は「これは壊れすぎていて、もはや同じものとは言えない」と考える一方で、AIは「いいえ、これはまだ同じものです」と言い張るかもしれません。このミスマッチは、将来的に両者が効果的に協力することを困難にする可能性があります。

要約すると： AIは新しい言葉を学ぶことができますが、その言葉の定義を広げすぎる傾向があります。特に、物体が元の姿から大きく変わってしまった場合に、その傾向が顕著になります。

技術概要

問題提起

視覚言語モデル（VLM）は、人間の学習者と同様に、初期トレーニングの後に新しい視覚的概念に頻繁にさらされる。しかし、これらのモデルが新しい視覚的参照をどのように言語へとマッピングするか、特にそれらの参照が事前学習による既知の知識と矛盾する場合のメカニズムについては、未だ十分に解明されていない。既存の研究では、馴染みのある概念に対する視覚的な拡張については調査されているが、「真に新しい」概念（ゼロから構築されたオープンエンドな刺激）に関するベンチマークは不足している。著者らは以下の問いを投げかける。モデルは、新しい刺激にさらされた後、どのようにそれらを分類するのか？ それらは（作られた）非定型な名称（nonce names）にどの程度うまくマッピングできるのか？ モデルは同一のインスタンスを超えて汎化するのか、そしてその振る舞いは人間の学習者と比較してどのような違いがあるのか？

手法

これらの問いに対処するため、著者らは**Novel Visual References Dataset (NVRD)**を導入し、VLMと人間の判断との比較評価を実施した。

1. Novel Visual References Dataset (NVRD)

• 構成: 本データセットは、90の視覚的概念にわたる19,176枚の画像で構成されている。これらの概念は以下の3つのタイプに分類される：
  • 既知のエンティティ: 馴染みのある物体（例：ランプ）に非定型な名称を与えたもの。これは、既知の知識と矛盾する場合のマッピングをテストするために用いられる。
  • 合成エンティティ: 既存の物体のハイブリッド（例：形状-形状、または形状-テクスチャの組み合わせ）。
  • 完全に新しいエンティティ: 実世界のアイテムに存在しない、あるいは類似していない物体。
• 摂動（Perturbations）: 各ベース画像には、11の軸にわたる最大20レベルの制御された視覚的摂動が加えられている。これらには以下が含まれる：
  • 低レベルの編集: ガウスノイズ、スケーリング、ピクセル化、JPEG圧縮、およびカラーシフト。
  • 高レベルの編集: テクスチャの変化、背景の変化、芸術的スタイルの劣化、形状の変形、パーツの追加、およびパーツの削除。
• 生成: 画像はGemini-3 Pro ImageおよびGemini-2.5 Flashを使用して生成され、その後、2段階の自動品質管理パイプラインと手動検証が行われた。

2. 実験設定
本研究では、インコンテキスト学習（ICL）の設定下で、3つのオープンソースモデル（Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B）と2つのクローズドソースモデル（GPT-4o Mini, Gemini-2.5 Flash）を、3つのプロンプティング・パラダイムを用いて評価している：

• 名称生成（Name Generation）: モデルにベース画像と非定型な単語を示し、次に摂動を加えた画像と穴埋め形式のキャプションを示し、モデルがその非定型な単語を生成するかどうかを確認する。
• トークン確率（Token Probabilities）: モデルに対して、非定型な単語に対して割り当てられた対数確率を、「バニラ（馴染みのある）」なラベルと比較して照会し、真の獲得（acquisition）か、あるいは近接効果（recency effects）かを測定する。
• 二画像リッカート尺度評価（Dual-Image Likert-Scale Rating）: モデル（および人間）に対し、非定型な単語が付与されたベース画像と摂動を加えた画像を示し、両方の画像が同じラベルを共有しているかどうかの合意度を（1〜7の尺度で）評価させる。

3. ヒューマンスタディ
ベースラインを確立するため、著者らはProlificを通じて30人の英語ネイティブスピーカーから2,400件の判断を収集した。参加者は、NVRDのサブセットを用い、高レベルの摂動に焦点を当てた、上述の二画像リッカート尺度タスクを実行した。

主な結果

• 獲得 vs 既知の知識: モデルはインコンテキストで新しい視覚的参照を獲得することができるが、この能力は、新しい刺激が事前の概念的知識と矛盾する場合（例：既知の物体に新しい名前を与えた場合）、著しく低下する。これは、学習者が既存の名前を持つ物体に対して新しいラベルを適用することに抵抗を示す、人間の単語学習で見られる「相互排他性（mutual exclusivity）」のバイアスを反映している。
• 摂動への感受性: モデルは人間と同様に**形状バイアス（shape bias）**を示す。モデルは構造的な摂動（形状の変形、パーツの追加・削除）に対して最も敏感であり、これらの歪みが増すにつれて合意度が急激に低下する。対照的に、低レベルの編集（カラーシフト、ノイズ、スケーリング）はモデルの判断に最小限の影響しか及ぼさず、評価は高いまま（強い合意）を維持する。
• 過剰汎化（Over-generalization）: モデルと人間は、摂動の種類に対する感受性の相関関係（両者とも、テクスチャや色の変化よりも構造的な変化の方がアイデンティティを脅かすとランク付けする）を示す一方で、モデルは著しく過剰汎化する。モデルは、人間が拒絶するような激しい摂動を受けた刺激に対しても、ラベルを拡張する傾向がある。例えば、人間は形状が変形した物体を（中程度の摂動レベルにおいて）「不一致」（スコア3未満）と評価するが、モデルはしばしば「中立」から「同意」の範囲（スコア4〜6）に留まる。
• 敵対的乖離（Adversarial Divergence）: モデルに全く異なる物体に対して同じラベルを割り当てるよう求めるアブレーション研究において、モデルは頻繁に同意（スコア3以上を割り当て）したが、人間は一貫して不同意であった。これは、モデルが特定の文脈において、メインのタスクとは異なる、あらゆるものに「同意する」という広範なパターンを持っている可能性を示唆している。

貢献と意義

本論文は、人間と機械の両方における視覚的概念学習を研究するためのコーパスおよびベンチマークとしてNVRDを寄与させている。その意義は以下の点にある：

1. ギャップの架け橋: 馴染みのある物体に関する視覚的バイアス（形状 vs テクスチャ）の研究を、真に新しい、オープンエンドな概念へと拡張したこと。
2. 人間とモデルの比較: VLMがどのように新しい概念を汎化するかについて、人間との直接的な定量的比較を提供し、モデルが人間と同様の感受性の階層構造を共有している一方で、激しく歪んだ刺激を拒絶するための識別的な厳密さに欠けていることを明らかにしたこと。
3. 相互作用への示唆: 発見事項は、信頼性の高い人間とエージェントの相互作用における決定的な不一致を浮き彫りにしている。エージェントが新しいラベルを過剰に汎化する一方で人間がそうでない場合、進化する環境において共通の参照対象を維持することに苦労する可能性がある。

著者らは、NVRDがこれらの認知的なギャップを調査し、人間が見せるような接地性（grounding）と感受性を持った視覚言語システムの開発を促すためのツールとして機能すると結論付けている。