Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement

本論文は、視覚言語モデルの凍結された特徴空間にテキスト生成経路では表現され得ない連続的な幾何学情報が埋め込まれており、軽量な線形プローブを用いることで微調整やテキスト生成なしに高精度な物理測定が可能であることを実証しています。

要約

この論文は、**「最新の AI（基盤モデル）は、実は『几何学（形や角度）』をすごくよく理解しているのに、それを『言葉』で表現するのが下手くそなんだよ」**という驚くべき発見を伝えています。

まるで、**「天才的な料理人がいるのに、その味を説明する言葉が全く出てこない」**ような状況です。

以下に、難しい専門用語を避け、日常の例えを使ってわかりやすく解説します。

---

🍳 料理人の例え：「味はわかるけど、説明できない」

想像してください。
世界一の料理人がいます（これが**AI の「視覚部分」**です）。
彼の前にお皿に盛られた料理（写真）が置かれます。

• 料理人の能力（AI の内部）：
  彼は料理の「角度」や「形」を、6.1 度という驚くほど正確な数値で感じ取ることができます。まるで、目で見ただけで定規を当てたように正確です。
• 料理人の口（AI の「言葉」部分）：
  しかし、彼に「この料理の角度は何度？」と聞くと、彼は**「20 度くらいかな…？」とぼんやりとした答えしか返せません。
  さらに、彼に「詳しく説明して」と頼むと、「139 度！」**など、ありえない嘘をつき始めます（これは AI が「推論」しようとして失敗する様子です）。

この論文の結論はこうです：
「料理人（AI）の味覚（視覚）は完璧なのに、『説明する口』が不器用なだけなんだよ。だから、無理に言葉で答えさせず、直接『味（数値）』を読み取る方法を使えば、驚くほど正確な答えが得られるよ！」

---

🔍 3 つの重要な発見

1. 「言葉の壁」は、AI の能力不足じゃない（3.3 倍の差）

AI が写真を見て「手の指の角度」を測る実験をしました。

• 直接読み取る方法（プローブ）： 6.1 度の誤差で正解。
• 言葉で答える方法： 20 度の誤差。

これは、AI が「形」を知らないからではなく、「形」を「言葉」に変換するプロセスが下手なだけです。
まるで、**「英語がペラペラな人が、日本語で説明するときはつっかえてしまう」**ようなものです。

2. 「勉強方法」が重要（形は「何」で覚えるかが大事）

AI の種類（ViT という仕組みや CNN という仕組みなど）を変えても、**「何を目的に学習させたか」**が結果を左右しました。

• 自発的に学習させた AI（DINO など）や、画像と言葉をセットで学習させた AI（CLIP など）は、「形」を非常に上手に覚えていることがわかりました。
• 逆に、文章生成に特化した AI は、細かい角度の記憶が少し弱まりました。

これは、「どんな教科書で勉強したか」が、「料理人の味覚」に最も影響するという発見です。

3. 「同じ味」でも「違う舌」がある（機能は同じ、中身は違う）

驚くべきことに、全く異なる仕組みの AI 5 種類が、同じくらい正確に「形」を測れることがわかりました。

• 彼らが使っている「脳の回路（内部表現）」は、似ているようで似ていません（41% しか似ていない）。
• でも、「料理の味（幾何学的な情報）」を抽出する能力だけは、全員が同じレベルで揃っています。

これは、**「全く違う料理店（AI）でも、同じ名前の料理（形）を作れる」**という現象です。AI の中身はバラバラでも、必要な機能だけが集約されているのです。

---

💡 この発見がなぜすごいのか？（実用的なメリット）

この研究は、AI を使う人にとって**「魔法のツール」**を提供します。

1. 安くて軽い「ものさし」が手に入る
   これまで、手の角度やカメラの位置を測るには、専用の重い AI を作らないといけませんでした。でも、この研究では、すでに世の中に普及している巨大な AI（基盤モデル）をそのまま使い、小さな「読み取り器（プローブ）」をくっつけるだけで、高精度な測定が可能になります。

   • コスト： 既存の AI（3 億パラメータ）＋ 小さな読み取り器（6,000 パラメータ）。
   • データ： 必要な学習データも、たった 6,400 枚で OK。

2. LoRA（ロウラ）という「翻訳機」で、言葉にも変えられる
   「言葉で答えさせたい！」という人のために、LoRAという軽い技術を使うと、AI が「形」を言葉で説明する能力が劇的に向上します。

   • 元々 20 度の誤差だったものが、6.5 度まで改善されました。
   • つまり、「味覚（視覚）」はそのままに、「説明する口（LoRA）」を少し鍛えるだけで、完璧な答えが得られるのです。

---

🎯 まとめ

この論文は、**「AI は実は几何学（形や角度）の天才だが、それを言葉で喋るのが下手なだけ」**と告げています。

• 問題： 言葉で聞くとボロが出る。
• 解決： 直接内部の「感覚」を読み取れば、プロのレベル。
• 未来： 既存の AI に小さな「読み取り器」をつけるだけで、誰でも高精度な 3D 測定ができるようになる。

まるで、**「AI という巨大な図書館から、必要な『形』の情報を、直接本棚から抜き取るだけで、もう誰も辞書（言葉）で探す必要がなくなる」**ような、とても便利な新しい使い方が見つかったのです。

技術概要

論文要約：「Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement」

この論文は、大規模な視覚言語モデル（VLM）や基礎モデル（Foundation Models）が、そのテキスト生成経路では表現できない「連続的な幾何学的情報」を、凍結された（学習済みの）特徴量の中に暗黙的に保持しているかどうかを検証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、基礎モデルは定量的な視覚タスクに頻繁に利用されていますが、その内部表現が連続的な物理量（関節角度、姿勢、カメラ内パラメータなど）をどの程度正確にエンコードしているかは不明確でした。

• 現状の課題: ユーザーが VLM に「この手の関節角度は？」と質問しても、モデルは不正確な回答（誤差 20〜39 度）しか返しません。
• 核心的な問い: この不正確さは、モデルの表現そのものの限界（表現欠陥）によるものか、それともテキスト生成経路のボトルネック（経路訓練の欠陥）によるものか？
• 先行研究: 以前の研究では VLM の視覚特徴が深度や対応関係を含んでいることが示されましたが、連続的な計測値をどう取り出すかという構造的な解決策は提示されていませんでした。

2. 手法 (Methodology)

著者らは、14 種類の異なる基礎モデルの「凍結された特徴量」に対して、軽量な線形プローブ（Linear Probe）を適用し、連続的な幾何学的量を直接推定する実験を行いました。

• データセット:
  • FreiHAND: 手の 3D 関節角度（21 個のキーポイント、5 本の指）。
  • BIWI: 頭の姿勢（ヨー、ピッチ、ロール）。
  • YCB-Video: 剛体オブジェクトの 6DoF 姿勢。
  • MPIIFaceGaze: 視線方向。
• モデル:
  • 自己教師あり学習（DINOv2/3）、対照的学習（CLIP, SigLIP）、ハイブリッド、生成型 VLM（Qwen, Gemma）、CNN ベース（ConvNeXt）など、14 種類のアーキテクチャを評価。
• 評価手法:
  • 線形プローブ: 凍結された特徴量から線形回帰（低ランク正則化回帰：RRR）を用いて角度を予測。
  • テキスト経路との比較: 同一モデルのテキスト生成出力（Few-shot プロンプトや LoRA 微調整後）との精度を比較。
  • 統計的検証: TOST 等価性検定、Friedman ランク検定、ネストされた 10 回交差検証（CV）を使用。

3. 主要な貢献と発見 (Key Contributions & Findings)

① テキストボトルネックは「表現欠陥」ではなく「経路訓練の欠陥」である

• 発見: 凍結された特徴量に線形プローブを適用すると、手の関節角度の平均絶対誤差（MAE）が 6.1 度 まで達成されました。一方、同じモデルのテキスト生成出力（Few-shot プロンプト）では 20.0 度 であり、3.3 倍の誤差差 が生じています。
• 解釈: 幾何学的情報はすでに特徴量の中に存在しており、テキスト経路がそれを「読み出す」ことに失敗しているだけです。
• LoRA による改善: 少量のデータ（2,000 画像）で LoRA 微調整を行うと、テキスト経路の MAE は 6.5 度 まで改善され、プローブレベルの精度に近づきました。これは、幾何学的信号が保持されており、LoRA がそれをテキスト経路へ適切にルーティングする能力を回復させることを示しています。

② アーキテクチャよりも「学習目的」が精度を決定する

• 発見: 自己教師あり学習（DINOv3）、対照的学習（CLIP, SigLIP）、ハイブリッド学習など、異なる学習目的を持つ 5 つのエンコーダは、統計的に同等の精度（$R^2 \approx 0.55$） に収束しました。
• 表現の多様性: これらのモデル間の表現類似性（CKA: Centered Kernel Alignment）は最大でも 0.88、最小では 0.41 であり、表現は大きく異なるにもかかわらず、幾何学的タスクに対する機能は収束 しています。
• 結論: 「プラトニック表現仮説」を連続的な幾何学的ターゲットに拡張し、機能収束は表現収束を必要としないことを示しました。また、制御されたアブレーション実験により、アーキテクチャ（ViT vs CNN）の違いよりも、事前学習の目的（教師あり vs 自己教師あり）が精度に与える影響の方が大きいことが確認されました。

③ 幾何学情報は空間的にタスク依存である

• 発見: 空間的集中性の分析により、幾何学情報の分布はタスクによって異なります。
  • BIWI（顔）: 顔がフレーム内に広く配置されている場合、重要な幾何学情報は特定のパッチに集中しており、Attention Pooling を適用すると精度が大幅に向上します。
  • YCB-Video（物体）: 物体が厳密に切り抜かれている場合、情報は全パッチに分散しており、Attention Pooling の効果はほとんどありません。
• 層ごとの挙動: 視覚エンコーダでは幾何学情報が深層で強化されますが、LLM デコーダ（生成経路）では、自己回帰処理により微細な関節角度の情報が早期の層で失われる傾向があります。

4. 結果の定量的サマリー

• 手の関節角度 (FreiHAND):
  • 最良の凍結プローブ (SigLIP 2): MAE 6.14°, $R^2$ 0.559
  • 最良のテキスト出力 (Qwen-3B Few-shot): MAE 20.0°
  • LoRA 微調整後 (Gemma 3): MAE 6.51°
  • 専用モデル (MediaPipe Hands, 3D ランドマーク): MAE 16.3°（ゼロショット評価時）
• 頭部姿勢 (BIWI):
  • Attention Pooling 適用により、DINOv2 の $R^2$ が 0.532 から 0.892 へ劇的に向上。
• 剛体オブジェクト (YCB-Video):
  • 全てのモデルで $R^2 \approx 0.70$ の高い精度を達成し、VLM 特有の精度低下は見られませんでした。

5. 意義と応用 (Significance)

• 科学的重要性: 基礎モデルが「幾何学を知っている」ことを実証し、テキスト生成の限界がモデルの能力不足ではなく、デコーダの訓練不足であることを明らかにしました。
• 実用性（モジュラー幾何学センシング）:
  • 既存の凍結されたバックボーン（約 3 億パラメータ）を共有し、各タスク（手、頭、物体、カメラ内パラメータ）に対してわずか約 6,000 パラメータのプローブを追加するだけで、高精度な幾何学推定が可能になります。
  • 専用モデルをゼロから訓練する必要がなく、コスト効率が高いマルチタスク幾何学測定システムを構築できます。
• 人間可読出力: LoRA 微調整により、この幾何学情報を自然言語で出力する経路も復元可能であり、VLM の「知覚」と「言語化」のギャップを埋める道筋を示しました。

結論

この研究は、基礎モデルの凍結特徴量が連続的な物理量を高精度にエンコードしていることを実証し、その情報を引き出すには「軽量なプローブ」や「LoRA による経路最適化」が有効であることを示しました。これは、大規模モデルを定量的な視覚タスクに応用するための新しいパラダイムを提供するものです。