🧬 biology

Characterizing Universal Object Representations Across Vision Models

本論文は、162 の多様な視覚モデルにわたって、アーキテクチャや訓練の差異に依存せず、かつマカクおよび人間の生物学的視覚と強く相関する、普遍的で意味的に解釈可能な物体表現を特定する。

原著者： Florian P. Mahner, Johannes Roth, Ka Chun Lam, Michael F. Bonner, Francisco Pereira, Martin N. Hebart

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

原著者： Florian P. Mahner, Johannes Roth, Ka Chun Lam, Michael F. Bonner, Francisco Pereira, Martin N. Hebart

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

162 種類の異なる「視覚脳」を持つ巨大な図書館を想像してみてください。一部は古典的なカメラ（CNN）のように構築され、一部は現代のトランスフォーマーのように構築され、一部は猫の認識のために訓練され、他は言葉と画像の関係を理解するために訓練されています。それらはすべて、異なる設計図、異なる教師、異なる目標を持っています。

研究者たちが問いかけた大きな疑問は、**「これらすべての異なる脳が同じ対象（例えば犬）を見たとき、それらは同じように見ているのか？」**というものです。

実験：「視覚」の分解

この疑問に答えるため、研究者たちはコンピューターに「これは犬ですか？」と尋ねるだけでなく、コンピューターが犬を内部的にどのように表現しているかを調べました。

各コンピューターの画像に対する内部視覚を、50 種類の異なる材料（次元）からなる複雑なレシピだと考えてください。

材料 A は「どれほど毛むくじゃらか」を表すかもしれません。
材料 B は「どれほど車のように見えるか」を表すかもしれません。
材料 C は「特定の茶色の色合い」を表すかもしれません。

研究者たちは、162 種類のすべての視覚モデルから得られた「レシピ」を分析し、どの材料が普遍的（ほぼすべてのレシピに登場する）で、どの材料がモデル固有（1 つまたは少数のレシピにのみ固有）かを特定しようとしました。

発見：「普遍的」な材料

彼らは、これらのモデルがどのように構築されたかという違いにもかかわらず、すべてが特定の普遍的次元のセットに収束していることを発見しました。

これらの普遍的次元が特別である理由を、簡単なアナロジーを用いて説明します。

それらは「ピクセル」ではなく「概念」に関するものである：
- 普遍的次元は「動物」や「車」というアイデアのようです。これらの次元を構成する画像を見ると、明確な犬の群れ、あるいは明確な車の群れが見えます。それらは対象の意味を捉えています。
- モデル固有の次元は、特定の犬がわずかに曲がった耳を持っていることに気づいたり、特定の車が錆の特定の質感を持っていることに気づいたりするようなものです。これらは、モデル間で大きく変動する低レベルの視覚的特徴（色、質感、エッジ）を捉えています。
それらは人間にとって理解しやすい：
- 研究者が人間に、これらの次元によってグループ化された画像を見てもらうと、人間は簡単に「ああ、このグループはすべて『食べ物』に関するものだ」と言えました。
- モデル固有の次元は、人間にとってはしばしば混乱するごちゃ混ぜでした。人間はそれらが何を示しているのかを簡単に説明できませんでした。

「なぜ」と「どのように」

研究者たちは、なぜこれらの普遍的次元が存在するのかを知りたがりました。彼らはそれが以下の理由によるものかどうかをテストしました。

モデルが同じ方法で構築されたからか？ いいえ。（CNN とトランスフォーマーの両方に存在しました）。
同じデータで訓練されたからか？ いいえ。（異なるデータセットで訓練されたモデルでも共有されていました）。
大きくて賢かったからか？ いいえ。（性能やサイズは関係ありませんでした）。

結論： 普遍性はコードやデータのトリックではありません。それは、世界を見ることを学ぶことの自然な結果のようです。これらすべてのモデルが同じ物理的世界を理解しようとしているため、それらは対象を理解するために有用な同じ「概念的なショートカット」（「犬らしさ」や「椅子らしさ」など）を自然に発見します。

「生物学的」なつながり

最も興奮すべき点は、これらの普遍的次元が、実際の生物学的な脳が機能する方法と一致するということです。

研究者がモデルをマカク猿（視覚システムが人間に似ている）と比較したところ、モデルの「普遍的次元」は「モデル固有の次元」よりもはるかに良く、猿の脳活動を予測しました。
また、それらは人間が対象間の類似性を判断する方法も、はるかに良く予測しました。

教訓

2 人の人が夕焼けを説明しようとしているのを想像してください。

人 A（モデル固有） は言います。「それは、特定のピクセルノイズのパターンを伴い、#FF5733 のヘックスコードのグラデーションが#C70039 に消え入るものです。」
人 B（普遍的） は言います。「それは、美しく、温かく、オレンジ色の空です。」

この論文は、ディープラーニングモデルが視覚に優れるようになると、人 A のような話し方をするのをやめ、人 B のような話し方をするようになることを示しています。それらはすべて、世界を理解する最も有用な方法は、単なる生々しいピクセルではなく、概念（「オレンジ色の空」や「犬」など）を通じて行うことを、独立して発見します。そして、私たちの脳も世界を見るためにこれらの概念を使用しているため、これらの「普遍的次元」は、人工知能と生物学的視覚の間の架け橋なのです。

技術的サマリー：ビジョンモデル全体にわたる汎用的な物体表現の特性評価

問題定義

多様なアーキテクチャ、目的関数、データセットで訓練された深層ニューラルネットワーク（DNN）は、類似した視覚表現に収束することが観察されており、この現象は「プラトニック表現仮説」として知られることがある。しかし、これらの共有表現が捉える具体的な視覚的特性や、この収束を駆動する要因については依然として十分に理解されていない。重要な未解決の問いは以下の通りである：

汎用的な表現は、高次な概念的性質（例：物体カテゴリ）を反映しているのか、それとも低次な知覚的性質（例：エッジ、色）を反映しているのか？
どの帰納的バイアス（アーキテクチャ、目的関数、訓練データ、モデルサイズ、または性能）が、これらの汎用的な次元の出現を駆動しているのか？
これらの共有次元は、生物学的視覚（神経活動および人間の行動）とどのように関連しているのか？

先行研究は、モデル間で表現構造が重複することを確立したが、大規模で多様なモデル群において、汎用的なコンポーネントとモデル固有のコンポーネントを区別するために、これらの構造を解釈可能で非負の次元に体系的に分解することは行われていなかった。

手法

著者らは、ImageNet、LAION、Taskonomy などのさまざまなデータセットと、教師あり、自己教師あり、ビジョン・ランゲージなどの目的関数で訓練された 162 の多様なビジョンモデル（CNN、Transformer、MLP-Mixer、ハイブリッドを含む）を分析した。分析パイプラインは以下のステップから構成される：

データと表現の抽出：
- 刺激：1,854 の基本レベルの物体カテゴリを網羅する THINGS データベースからの 22,248 枚の物体画像。
- 特徴量：全 162 のモデルから、最終層の直前の層（penultimate-layer）の表現を抽出した。この層は、高次な概念的および微細な知覚的情報を統合し、行動出力に最も近いため選択された。
対称非負行列因子分解（Symmetric NMF）：
- 異なる特徴空間を持つモデル間での表現を比較可能にするため、著者らはまず、各モデルに対してラジアル基底関数（RBF）カーネルを用いてペアワイズ物体類似度行列（ $S_m$ ）を計算した。
- 各類似度行列を、Symmetric NMF を用いて少量の非負次元（ $r=50$ ）に分解した： $S_m \approx W_m W_m^\top$ 。
- これにより、各モデルに対して非負の埋め込み $W_m$ が得られ、各列は同じ画像セットに対する負荷によって定義された次元を表す。このアプローチにより、次元が「部分ベース」の特徴として解釈可能であることが保証される。
汎用性の定量化：
- 各モデルの各次元に対して「汎用性スコア」を計算した。これは、二乗コサイン類似度に基づき、対象モデルの次元とすべての他のモデルの次元との間の 1 対 1 対応（ハンガリー法を用いて）を見つけることを含んだ。
- モデル $m$ における次元 $k$ のスコアは、他のすべての $M-1$ モデルにおける最良のマッチング次元との平均類似度である。
- スコアは、偶然の一致および非負性に起因するベースライン類似度を補正するため、置換によるヌル分布に対して較正された。
特性評価と検証：
- 解釈可能性：1,059 の代表的な次元を、クラウドソーシング参加者によって「意味的」、「視覚的」、「両方」、または「どちらでもない」とラベル付けした。
- 構造分析：次元が物体カテゴリによって画像をグループ化するか（カテゴリ間分散）、カテゴリ内の視覚的特徴によってグループ化するか（カテゴリ内分散）を判断するため、カテゴリ一貫性（ $\eta^2$ ）を計算した。
- 生物学的整合性：汎用的な次元とモデル固有の次元の予測能力を、以下のものに対して検証した：
  - マカク猿の側頭葉下側皮質（IT 野）における多ユニット活動。
  - 人間の行動的類似性判断（オッドワンアウト三つ組タスク）。
- 統制比較：アーキテクチャ、目的関数、訓練データ、モデルサイズ、性能の影響を特定し、それらが汎用性に与える影響を決定した。

主要な結果

1. 汎用的な次元の存在

本研究は、162 の多様なモデルにわたって一貫して現れる解釈可能な汎用的な次元のセットを特定した。汎用性スコアは、偶然に近い値（0.0003）から 0.54 まで広がり、最も汎用的な次元はモデル内安定性の天井の 64% に達した。これらの汎用的な次元は、特定のモデルファミリーや画像セットのアーティファクトではなく、THINGS と ObjectNet のような画像セットの変更やブートストラップリサンプリング下でもランキングが安定していた。

2. 汎用的な次元とモデル固有の次元の性質

汎用的な次元：これらは人間に対して著しく解釈可能である。高い汎用性レベルでは、80% の次元が「意味的」または「意味的・視覚的混合」とラベル付けされ、強いカテゴリ一貫性（物体カテゴリによる画像のグループ化）を示した。
モデル固有の次元：これらは主に解釈不可能であり（低い汎用性において 78% が「どちらでもない」とラベル付け）、概念的構造ではなく知覚的画像特性（テクスチャ、色、視点）によって駆動される。これらは高いカテゴリ内分散を示す。
再構成の重要性：重要なことに、汎用性は次元がモデル全体の類似度構造に寄与する度合い（再構成の重要性）とは相関しない。汎用的な次元もモデル固有の次元も、モデルの表現幾何学に対して同様に寄与する。

3. 汎用性の駆動要因

著者らは、単一の帰納的バイアスが汎用的な次元の出現を説明するものではないことを発見した：

アーキテクチャ：CNN、Transformer、MLP-Mixer、またはハイブリッドの間で汎用性に有意な差は見られなかった。
目的関数：Taskonomy ファミリー内では意味的タスクが幾何学的タスクよりも多くの汎用的な次元を生み出したが、より広範なモデル群全体において、単一の目的関数（例：対照的 vs 非対照的、ビジョン・ランゲージ vs 視覚のみ）が一貫して汎用性を駆動したわけではない。
訓練データ：データセットの規模（ImageNet-1K vs 21K）も、特定のウェブスケールデータセット（LAION、DFN、MetaCLIP）も、汎用性スコアを有意に変化させなかった。
モデルサイズ/性能：汎用性はパラメータ数や ImageNet のトップ 1 精度とは相関しなかった。

4. 生物学的視覚との整合性

汎用的な次元の割合が高いモデルは、以下をよりよく予測する：

神経活動：マカク猿の IT 野における多ユニット活動（ $r = 0.74$ ）。
人間の行動：オッドワンアウトタスクにおける人間の類似性判断（ $r = 0.76$ ）。
さらに、モデルの次元のうち「汎用的な半分」（スコア上位 25）は、「モデル固有の半分」よりも、神経データおよび行動データの予測において著しく優れていた。

意義と主張

本論文は、汎用性は、特定のアーキテクチャや訓練選択の結果ではなく、成功した視覚表現学習の創発的性質であると主張する。この発見は以下を示唆している：

多様なモデルは、生物学的視覚と整合する共有された概念的で解釈可能な物体表現のセットに収束する。
この収束は、モデル固有の帰納的バイアスではなく、視覚世界自体の制約によって駆動される。
解釈可能性、概念的コンテンツ、生物学的整合性は、モデルが収束する構造において共起する。

著者らは、この研究を、視覚表現学習の「なぜ」を理解するための一歩として位置づけ、モデル固有の特徴の「分断された」性質にもかかわらず、生物学的視覚システムの組織を反映する堅牢で汎用的なコアが存在することを示した。彼らは明示的に、この収束は完全ではないこと（汎用的な次元は完璧なスコアを持たず、モデル固有の次元は依然として重要である）を述べているが、共有構造は脳や行動との整合性を説明するのに十分であると結論づけている。

本論文は、このフレームワークが、共通の入力を処理する任意のモデル群における共有表現と固有表現を理解するための一般化可能なアプローチを提供し、単純な表現整合性メトリクスを超えて、収束の内容を特徴づけるものであると結論付けている。