🤖 machine learning

The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning

本論文は、対照学習において意味のある潜在幾何学を復元するためには正のペア・サンプリングの多様性が決定的な条件であることを示す測度論的枠組みを確立し、不十分なサンプリングが非直交解を招く可能性があることを明らかにした上で、識別可能性を確保するために修正された損失関数またはより強力なアーキテクチャの帰納バイアスのいずれかが必要であることを示している。

原著者： Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに写真のペアを見せることで、世界を理解する方法を教えようとしていると想像してください。例えば、ある猫の写真を見せた後、その同じ猫の少し異なる写真（ズームアップしたものや、フィルターを変えたものなど）を見せます。ロボットの仕事は、これら2枚の写真が同じ「核となる概念」（この場合は猫）を表していることを理解し、その違い（ズームやフィルター）を無視することです。

このプロセスは**対照学習（Contrastive Learning）**と呼ばれます。これは、人間によるラベル付けなしにコンピュータに学習させる一般的な方法です。しかし、この論文は極めて重要な問いを投げかけています。ロボットは本当に世界の真の構造を学んでいるのか、それとも単に「ズル」をしているだけなのか？

著者らは、「損失関数（ロボットが最小化しようとするスコア）」だけでは不十分であると主張しています。ロボットが真実を学ぶかどうかは、どのように写真を見せるかと、どのような種類の脳（アーキテクチャ）を与えるかという2つの要素にかかっています。

以下に、簡単な比喩を用いて解説します。

1. 「多様性」のルール（サンプリング条件）

あなたが、3次元の物体（例えば球体）の形を、2次元の影だけを見せることで誰かに教えようとしていると想像してください。

理想的なシナリオ（完全な多様性）： 球体をあらゆる方向に回転させ、あらゆる角度からの影を見せます。あらゆる視点から物体を見ることができるため、その人は頭の中に完璧な3D形状を再構成できます。
現実世界の課題（多様性の欠如）： 実際には、あらゆる角度を見せられるとは限りません。例えば、球体を左右にだけ回転させ、上下には回転させないかもしれません。この「影（データ）」には、垂直方向の軸に関する情報が欠けています。
論文の発見： もし視点（ビュー）を制限すると（例：左右の回転のみ）、ロボットは混乱します。ロボットは垂直軸を把握できないことに気づきます。そのため、真の3D形状を学習する代わりに、テストで良いスコアを取るための「ズル」をする、歪んだバージョンを学習してしまいます。つまり、物体の真の幾何学的構造を理解するのではなく、テストをパスするための近道を見つけ出してしまうのです。

著者らはこれを**多様性条件（Diversity Condition）**と呼んでいます。データのサンプリングが十分な「範囲」をカバーしていない場合、ロボットは現実の歪んだ、壊れた地図を学習することになります。

2. 「脳」が重要である（帰納バイアス）

もしデータが不完全（多様性が低い）であったとしても、ロボットは真実を学ぶことができるのでしょうか？論文によれば、答えは**「はい、ただし適切な種類の脳を与えた場合に限ります」**です。

「白紙状態」の脳（低い帰納バイアス）： 一般的なニューラルネットワークのような、世界の仕組みに関する組み込みの仮定を持たない汎用的な脳を持つロボットを想像してください。もし限定的で歪んだデータを入力した場合、このロボットは失敗します。正しい推測を行う理由を持たないため、歪んだ地図を作り出し、「ズル」をした結果を出力します。
「特化型」の脳（高い帰納バイアス）： 次に、特定のタスクに関する知識を備えた設計のロボットを想像してください。例えば、猫について教えている場合、毛の模様や耳の形を認識するように設計された脳（畳み込みニューラルネットワークなど）を与えます。たとえデータが限られていても、この特化型の脳は組み込まれた「常識」を利用して、欠落した部分を補完します。それはデータの悪いショートカットを無視し、真の構造を復元します。

比喩：
データを、ピースが足りないジグソーパズルだと考えてください。

**汎用的なソルバー（低いバイアス）**を持っている場合、既存のピースを無理やり組み合わせようとし、見た目は「それっぽいが」、奇妙で歪んだ絵を作り出してしまいます。
**専門家としてのソルバー（高いバイアス）**を持っている場合、その人は「猫が本来どうあるべきか」を知っているため、手元にある数少ないピースから、足りないピースがどこにあるべきかを正しく推測し、真の画像を再構成することができます。

3. 「修正」（損失の補正）

著者らは、ゲームのルール（ロボットが使用する数学的公式）を変更することで、この問題を解決しようと試みました。彼らは、限られたデータから実際に可能な視点のみを比較するように強制する、「修正された」バージョンのスコアリングシステムを作成しました。

結果： この修正により、ロボットがズルをすることができなくなりました。これにより、ロボットが再び真の形状を学習することが「可能」になりました。
注意点： ただし、これがロボットが真実を学ぶことを「保証」するわけではありません。これは単に、正解することに対するペナルティを取り除いただけです。ロボットが他の奇妙な可能性ではなく、正しい解を選択するためには、依然として「特化型の脳（帰納バイアス）」が必要となります。

主な要点のまとめ

データの多様性が王様である： AIに対してデータのバリエーションを十分に示さない（多様性が低い）場合、どれほど優れたアルゴリズムであっても、AIは現実の歪んだ、壊れたバージョンを学習してしまいます。
アーキテクチャはセーフティネットである： データが不完全なとき、AIモデルのデザイン（その「帰納バイアス」）が極めて重要になります。適切な仮定に基づいて設計されたモデルは、悪いデータからでも真実を復元できますが、汎用的なモデルにはそれができません。
損失関数は魔法ではない： 数学的な公式（損失）だけに頼って仕事をさせようとしてはいけません。どのようにデータをサンプリングするかと、どのようにモデルを構築するかの相互作用が、AIが真実を学ぶか、あるいはシステムを出し抜く方法を学ぶかを決定します。

要するに、**「単に汎用的なAIにデータを投げ込んで、真実を学ばせると期待してはいけない。データが限られているなら、それを理解するための特化したAIが必要である」**ということです。

技術的要約：損失だけでは不十分である：対照学習におけるサンプリング条件と帰納バイアス

問題提起

対照学習（Contrastive Learning, CL）は、自己教師あり表現学習の支配的なパラダイムとして台頭しているが、意味のある潜在幾何学を回復するために成功するための理論的条件は、いまだ完全には理解されていない。経験的な成功は広く見られるものの、CLを駆動する正確なメカニズムはしばしばヒューリスティックであり、結果としてリソースの非効率な利用や、手法のポテンシャルを十分に活用できない設計上の選択を招いている。

既存の理論的説明は、一般に以下の2つのカテゴリーに分類される：

不変性による説明： CLは、摂動因子（nuisance factors）に対して不変な表現を誘導すると仮定する。しかし、この枠組みは、どの因子が摂動因子であるか、またデータ拡張がどのようにこれらを暗黙的に分割するかを指定していない。さらに、「摂動」とみなされた因子が、特定のダウンストリームタスクに必要な識別情報を持っている可能性がある。
回復による説明： データが高次元のマニホールド上に存在し、低次元の潜在構造を持つと仮定し、CLがこの潜在構造を回復すると考える。これは有望ではあるが、先行研究（Zimmermann et al., 2021など）における識別性（identifiability）の結果は、正例ペアのサンプリングがフルサポートのvon Mises-Fisher (vMF) 分布に従うという強い仮定に依存している。

対処すべき核心的な問題は、現実世界のサンプリングメカニズム（データ拡張）が、フルサポートの仮定を満たすことが稀である点にある。これらはしばしば、正例ペアのサポートを制限する（例：特定の意味的特徴を固定しつつ、他の特徴を摂動させる）。本論文は、この「多様性条件（diversity condition）」が破られた場合に、対照的な目的関数のみで潜在幾何学を回復することが十分であるのか、そしてアーキテクチャの帰納バイアスがサンプリングの多様性とどのように相互作用するかを調査する。

手法

理論的枠組み

著者らは、データ生成プロセスを潜在空間 $\mathcal{Z}$ から観測空間 $\mathcal{X}$ への単射写像 $g: \mathcal{Z} \to \mathcal{X}$ としてモデル化することで、対照学習を分析するための測度論的枠組みを構築する。エンコーダ $f: \mathcal{X} \to \mathcal{Z}$ は、回復写像 $h = f \circ g$ を学習することを目指す。

主要な定義：

多様性条件（Diversity Condition）： 正例ペアの条件付き法則 $P_{\tilde{Z}|Z}$ に対するサポートの要件。これは、ほとんどすべてのアンカー $z$ に対して、周辺測度 $P_Z$ が条件付き測度 $P_{\tilde{Z}|z}$ に対して絶対連続である（ $P_Z \ll P_{\tilde{Z}|z}$ ）場合に成立する。直感的には、ビュー生成プロセスはすべての潜在的特徴を摂動させなければならない。もし特定の潜在次元が固定されたままであれば、エンコーダはその次元に沿った変化を区別できない。
InfoNCE損失： 真のサンプリング条件付き分布 $P_{\tilde{Z}|z}$ とモデルの条件付き分布 $Q_{h,z}$ の間のクロスエントロピー最小化問題として分析される。

理論的分析

論文は以下の3つの分析段階で進行する：

フルサポートの場合： 標準的なフルサポートvMF設定が多様性条件を包含することを証明する。Mazur-Ulamの確率論的議論を用いて、漸近的な対照損失のあらゆる大域的最小化解が、直交変換（等長写像）を除いて潜在空間を回復することを示す。
多様性が破れた場合： 条件付きサポートがより低次元のマニホルドに制限されているシナリオ（例：潜在座標 $u$ を固定し、 $v$ を変化させる）をモデル化する。多様性が破れた条件下では、非直交写像が任意の直交写像よりも厳密に低い漸近的対照損失を達成できることを証明する。具体的には、損失関数が幾何学的保存的な解を積極的に阻害し、意味的関係が保持されない、構造的に不適切な潜在空間へと導く。
修正されたモデル： サポートの不一致に対処するため、負例を正例と同じ制約されたマニホルドから抽出する「サポート修正型」InfoNCEのバリアントを導入する。この修正によって、等長写像（直交写像）が達成可能になる（すなわち、それらが大域的最小化解となる）ことを証明するが、決定的なのは、それらが「一意の」最小化解であることを保証するわけではないという点である。

実験的検証

理論的予測は、以下の2種類の実験を通じて検証される：

合成ベンチマーク： 球面潜在空間（ $S^2$ $S^{2}$ ）を用い、5つの生成プロセス（Identity, Linear, Spiral, Patches, Invertible MLP）において、低帰納バイアス・エンコーダ（MLP）と高帰納バイアス・エンコーダ（生成プロセスを反映するように設計された逆モデル）を比較する。
- 指標： 線形識別性（ $R^2$ ）、平均相関係数（MCC）、角度保存誤差（APE）。
- 条件： 多様性が保持されたサンプリング（フルサポート） vs 多様性が破れたサンプリング（固定次元）。
CIFAR-10実験： 3つのアーキテクチャ（MLP, ViT, ResNet-18）と、異なる拡張レジーム（All, Crop Only, All w/o crop）を用いたSimCLRを使用する。
- 目的： 真の潜在変数が未知である現実世界のデータにおいて、アーキテクチャの帰納バイアスがどのようにサンプリングの多様性の不足を補完するかを定性的に調査する。

主要な結果

理論的知見

多様性の必要性： 等長的な潜在回復には多様性条件が必要である。これが破れると、たとえ無限のデータと表現力豊かなエンコーダがあったとしても、対照的な目的関数は潜在幾何学の回復に失敗する。
標準的なInfoNCEの失敗： 多様性が破れた条件下では、標準的なInfoNCE損失は、幾何学的保存的な写像よりも幾何学的歪みを伴う写像を好む。
サポート修正の役割： サポートの不一致を修正するInfoNCE目的関数は、等長的な解の「達成可能性」を回復させるが、それらの「選択」を保証するわけではない。追加の制約がない限り、解空間は非一意的なままとなる。
帰納バイアスの補完的役割： サンプリングの多様性が不十分な場合、アーキテクチャの帰納バイアスが極めて重要になる。生成プロセスの逆写像に近い高帰納バイアス・エンコーダは、多様性条件が破れている場合でも潜在構造を回復できるが、低帰納バイアス・エンコーダは失敗する。

実証的知見

合成実験の結果：
- 多様性が保持されている場合： MLPエンコーダはほぼ完璧な線形識別性（ $R^2 \ge 0.99$ ）を達成し、表現力豊かなエンコーダが多様性条件を満たしている場合に潜在幾何学を回復できることを裏付けている。
- 多様性が破れている場合： MLPの性能は崩壊する（ほとんどのプロセスで $R^2 \in [0.05, 0.13]$ ）。対照的に、逆モデル（高帰納バイアス）は高い回復性能（ $R^2 \ge 0.88$ ）を維持する。
- 適応型InfoNCE： サポート修正型損失を適用すると、MLPの性能は部分的に回復する（ $R^2 \approx 0.60\text{--}0.65$ ）が、高帰納バイアス・エンコーダの性能には達しない。これは、損失の修正だけでは一意の選択には不十分であることを裏付けている。
CIFAR-10の結果：
- より広いサンプリングサポート（"All" 拡張）が、すべてのアーキテクチャにおいて最も高いダウンストリーム精度をもたらす。
- 高い帰納バイアス（ResNet-18 > ViT > MLP）が一貫して性能を向上させる。
- 相互作用効果： 多様性条件がますます破れる（例："All w/o crop"）につれて、アーキテクチャ間の性能差が拡大する。制限されたサンプリング下では、高帰納バイアスのResNet-18が低帰納バイアスのMLPを大幅に上回り、アーキテクチャの事前知識が極めて重要であることを示している。

意義と主張

本論文は、対照学習の成功と失敗の領域を理解するための厳密な枠組みを提供することを目的としている。主な貢献は以下の通りである：

多様性条件の定式化： 先行研究で使用されているフルサポートのvMF仮定と、本研究の多様性条件を区別し、その違反が根本的に最適化のランドスケープを変化させ、幾何学的保存的な解を劣悪なものにすることを示した。
帰納バイアスの役割の明確化： サンプリングの多様性が限られている場合、アーキテクチャの帰納バイアスは単なるヒューリスティックな改善ではなく、意味のある潜在構造を回復するための必須のメカニズムであることを確立した。
損失修正の限界： サポートの不一致を修正することで等長的な解の達成可能性は高まるものの、それらの選択を保証するわけではないことを示し、帰納バイアスの必要性を強調した。

著者らは、サンプリングメカニズムとエンコーダの帰納バイアスの相互作用が、表現の質を共同で決定すると結論づけている。彼らは、拡張パイプラインとエンコーダアーキテクチャの設計選択が、この理論的な整合性に基づいて導かれるべきであり、それによって試行錯誤による計算資源の浪費を減らせる可能性があると示唆している。本研究は、識別性の問題を解決しようとするものではなく、対照学習が潜在幾何学の回復に成功するか失敗するかを決定する具体的な条件を明らかにすることを目指している。