Similarity search generalisation in contrastive learning with InfoNCE loss

あなたは、ロボットに「似ている」とはどういう意味かを教えようとしていると想像してください。あなたは、ある猫の写真（アンカー）を見せ、次にその猫の少しだけ違う写真（ポジティブ）を見せます。そして、犬や車、バナナの写真をたくさん見せます（ネガティブ）。ロボットの仕事は、これら2枚の猫の写真を近づけ、犬などの写真を遠ざけるような特別な「埋め込み（数学的なマップ）」を学習することです。

ロボットが学習に使うツールは、InfoNCEと呼ばれます。これは、ロボットがどれだけうまく猫をノイズから分離できたかに基づいてスコアを得るゲームのようなものです。しかし、ここで大きな疑問があります。もしロボットが見せられた写真に対して完璧にこのゲームを学習したとしても、見たことがない「現実世界（未知のデータ）」において、実際に似たものを見つけるのが上手くなるのでしょうか？

Nick Whiteley氏によるこの論文は、この問いを深く掘り下げています。この論文は単に「うまくいく」と言うだけでなく、「なぜ」うまくいくのか、そして「ノイズ」の写真の数（ネガティブサンプル）がどのようにゲームを変えるのかを説明しようとしています。

「ノイズ」の群衆の魔法

InfoNCEのゲームでは、通常、ロボットにいくつかのネガティブサンプル（例えば10個や100個）を与えます。しかし、現実世界には無限の可能性があります。もし、ロボットに膨大な数のネガティブサンプルを与えたらどうなるでしょうか？

この論文は非常に具体的なことを証明しています。ネガティブサンプルの数（$k$）を増やしていくと、ロボットのパフォーマンスは完璧な「理想的な検索」にどんどん近づいていくということです。

次のように考えてみてください：

• 理想的な検索： 宇宙がどのように「ポジティブ」なペア（猫とその双子のような関係）を生成するかを正確に知っている、魔法の司書がいると想像してください。この司書は、どんな2つのものの間にも完璧な類似性を即座に判定できます。
• ロボットの検索： ロボットは、学習したマップを使って類似性を推測します。
• その繋がり： この論文は、ネガティブサンプルの数を増やすにつれて、ロボットの推測と魔法の司書の完璧な答えとの差が非常に速く縮まることを示しています。具体的には、誤差は $O(1/k)$ の割合で減少します。

これは、ネガティブサンプルの数を2倍にすれば、誤差は半分になることを意味します。もし1,000個のネガティブがあれば、誤差は極めて小さくなります。これは、誤差がもっとゆっくり減少する（$1/\sqrt{k}$ のように）と示唆していた古い考えを正す、論文における数学的な証明です。著者は、正しい数学を用いれば、実際にはもっと速い $1/k$ になることを示しています。

温度調節ノブ

この物語には、もう一つの登場人物がいます。それは**温度パラメータ（$\tau$）**です。これは、ロボットの脳にある「フォーカスノブ」のようなものだと想像してください。

• 温度が低い場合、ロボットは非常にこだわりが強くなります。最も似ているものだけに注目し、それ以外は無視します。
• 温度が高い場合、ロボットはよりリラックスしており、より幅広い類似性を考慮します。

論文は、このノブが**正則化（レギュラライザー）**として機能することを証明しています。温度を上げる（高くする）と、ロボットのマップは、全データの平均的な分布に近く留まるよう強制されます。これにより、ロボットが突飛なものになったり、異常値に過学習したりするのを防ぎます。論文は、温度が高ければ高いほど、ロボットの検索行動は、ロボットの設定に関わらず、一般的なデータ分布に近くなるよう制約されると明記しています。

「平均化」のスーパーパワー

最もエキサイティングな発見の一つは、汎化（ジェネラリゼーション）、つまり未知のデータに対してどれだけうまく機能するかについてです。

以前の理論では、ネガティブサンプルを増やすと数学的に複雑になり、制御が難しくなる可能性が示唆されていました。しかし、この論文はその逆を主張しています。論文は、新しい数学的ツール（ガトー微分と呼ばれるもの）を導入し、損失関数におけるネガティブサンプルの「平均化」効果が、実際にはロボットのパフォーマンスを安定させることを示しています。

これは、世論調査を行うことに似ています。もし1人に意見を聞いたら、その意見は極端かもしれません。10人に聞けば、もう少し良くなります。1,000人に聞けば、平均的な意見は非常に安定し、信頼できるものになります。論文は、InfoNCEの損失関数がまさにこの「世論調査」と同じように機能することを証明しています。$k$ が大きくなるにつれ、「ノイズ」となる個々の悪いサンプルは平均化され、新しいデータに対するロボットの汎化能力は安定します。

この論文が否定していること

この論文が「答えではない」としている点に注意することが重要です：

• $k$ が大きくなったときに、誤差率がゆっくりと減少する（$1/\sqrt{k}$ のように）という考えに対して反論しています。論文は、誤差がより速く（$1/k$ で）減少することを証明しています。
• 「ポジティブ」と「ネガティブ」のサンプルが、対称的な方法で全く同じ分布から来ているという仮定には依存していません。論文は、ポジティブなペアは特定の変換（写真のクロップなど）によって生成されるものであり、ポジティブサンプルがネガティブと同じプールからランダムに抽出されていると仮定する必要はないという考えを明確に拒否しています。
• ロボットが特定の種類のニューラルネットワーク（深いCNNなど）である必要があるとは主張していません。結果は、埋め込み関数が「リプシッツ連続（変化が激しすぎないこと）」であれば、どのようなタイプのネットワークであっても成立します。

どれほど確かなのか？

著者たちは、核となるメカニズムについて非常に自信を持っています。彼らは（厳密な微積分と確率論を用いて）数学的に証明しました：

1. 探索と理想的な検索との間の誤差は $O(1/k)$ であること。
2. ネガティブサンプルが増えるにつれて、汎化誤差（未知のデータに対する性能）は平均化効果によって安定すること。
3. 温度パラメータ $\tau$ は、検索を制約する具体的かつ予測可能な役割を果たすこと。

彼らは、これらの主張を行うためにシミュレーションや実験に頼っているわけではありません。これらは第一原理から導き出されたものです。ただし、非常に複雑で深いニューラルネットワークの場合、ネットワークが十分に大きく、あるいはデータが膨大でない限り、これらの境界（バウンド）は「空虚（役に立たないほど緩いもの）」になる可能性があるとも指摘しています。彼らは、将来の研究において、これらの巨大なネットワークをより良く扱うために、彼らの新しい数学と他の技術を組み合わせることを示唆しています。

ビッグピクチャー

簡単に言えば、この論文は、InfoNCEの損失関数が非常に堅牢なツールであることを教えてくれます。それは単に「実用上うまくいく」という経験則ではありません。それは深い理論的基礎を持っています：

• 理想的な類似性検索を近似することを学習します。
• ネガティブサンプルを投入すればするほど、その理想へと急速に収束します。
• それらのサンプルの平均化が自然にモデルを過学習から守り、未知のデータに対しても信頼できるものにします。

ですから、次に類似した画像やテキストを見つけるためにコントラスティブ学習（対照学習）を使用しているシステムを目にしたときは、それが本質的に、「何が似ているか」についての大規模で数学的に証明された「世論調査」を実行しているのだということを思い出してください。そして、より多くの人々（ネガティブサンプル）に意見を聞けば聞くほど、その答えはより正確なものになるのです。