PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment

以下は、論文「PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment」を、平易な言葉と創造的な比喩を用いて解説したものです。

全体像：教師なしでコンピュータに視覚を教える

あなたが子供に物体を認識させることを想像してみてください。しかし、「これは猫だ」や「これは犬だ」と教えてくれる教師はいません。代わりに、同じ物体の異なる 2 枚の画像を見せます。1 枚は猫の写真、もう 1 枚は同じ猫のスケッチです。

**自己教師あり学習（SSL）**の目的は、コンピュータがこれら 2 つの異なる視点（ビュー）を比較するだけで、それらが同じものだと学習させることです。コンピュータは各視点に対して「心の地図」（エンコーダ）を作成します。写真の地図とスケッチの地図が似ていれば、コンピュータは何らかの有用なことを学習したことになります。

しかし、罠があります。コンピュータは怠け者です。「これら 2 つの地図を似せろ」とだけ言われれば、楽な道を選びます。つまり、両方の地図を白紙のページ（定数）に変えてしまうのです。これを**崩壊（collapse）**と呼びます。コンピュータは「地図が同じだ」と学習したことになりますが、実際の猫については何も学習していないのです。

既存手法の問題点

現在人気のある手法（SimSiam や BYOL など）は、「停止勾配（stop-gradient：教師が変わらないと仮定する）」や「移動平均（時間経過に伴う変化を平滑化する）」といった巧妙なトリックを使って、この崩壊を防ごうとします。これらのトリックは実際にはよく機能しますが、科学者たちはなぜ機能するのか、あるいはいつ失敗する可能性があるのかを完全に理解していません。それは、非常に複雑なエンジンを持ち、完璧に動作する車を運転しているようなもので、ピストンが実際にどのように動くのかを誰も知らないようなものです。

新しい解決策：PEIRA

著者たちは、コンピュータが怠け者にならないようにするためのトリック的なヒューリスティックに頼るのではなく、コンピュータが崩壊することを数学的に不可能にする、完璧な目的関数（成功のルール）を構築した新しい手法PEIRA（Predictive Encoders through Inter-View Regressor Alignment）を紹介しています。

彼らがどのように行ったか、比喩を用いて説明します。

1. 「翻訳者」と「信号対雑音比」

2 人の人が異なる言語を話している（データの 2 つのビュー）と想像してください。あなたは、A さんの言葉を B さんの言語に翻訳できる翻訳者（回帰器）を作りたいと考えています。

• 古い方法: 翻訳の誤差を最小化しようとします。しかし、誤差を最小化するための最も簡単な方法は、2 人が話しを止め、「こんにちは」と繰り返し言うことです。誤差はゼロになりますが、情報が交換されていません。
• PEIRA の方法: 著者たちは、翻訳者の品質が**信号対雑音比（SNR）**に依存することに気づきました。
  • 信号: 2 人の間で実際に意味があり、共有されている言葉の部分（「猫」の特徴）。
  • 雑音: 1 人だけに固有のランダムな部分（背景雑音、特定の訛りの癖）。

PEIRA は単に誤差を最小化するだけではありません。最適翻訳者のトレース（trace）を最大化しようとします。平易に言えば、「この翻訳者が雑音に対して、どの程度の『本当の信号』を捉えられるか？」と問うのです。

もしコンピュータが崩壊しようとする（永遠に「こんにちは」と言う）なら、「信号」は消え、PEIRA が与えるスコアは低下します。コンピュータは良いスコアを得るために、信号を生かし続けることを強制されます。

2. 「漁網」の比喩

データを魚が満ちた湖だと考えてください。魚は画像内の異なるパターンや特徴を表します。

• 大きくて捕まえやすい魚（強くて明確なパターン）がいます。
• 小さくて見えにくい魚（弱いパターン）がいます。
• 単なるゴミ（雑音）もあります。

コンピュータには、一定数の魚しか捕まえることのできない網（エンコーダ）があります（そのサイズ、つまり次元 $k$ に制限されています）。

• 従来の手法は、たまに網が底に沈んで何も捕まえない（崩壊）か、小さな魚だけしか捕まえないことがあります。
• PEIRAは賢い漁師のように振る舞います。「まず、最も大きく価値のある魚を捕まえなければならない」というルールを持っています。
  • 数学的に証明されているように、コンピュータが落ち着くことができる唯一の安定した場所は、上位 $r$ 匹の魚（最も重要なパターン）を捕まえ、残りを無視することです。
  • 何も捕まえない（崩壊）ことでは、ひどいスコアになるため、安定した状態にはなれません。
  • 小さな魚をランダムに捕まえることでも、数学が最も大きな魚を優先させることを強制するため、安定した状態にはなれません。

論文が証明したこと

著者たちは単にツールを作っただけでなく、エンジンの取扱説明書も書きました。彼らは主に 3 つのことを証明しました。

1. 地図は明確である: 彼らは、これらのシステムを訓練したときに何が起こるかを正確に示しました。コンピュータは自然とデータの「正準相関（Canonical Correlation）」に整合するように学習します。これは、「2 つの視点が最も多くの情報を共有する方向」という、少し難解な数学用語です。
2. 崩壊はもう起きない: 彼らは、新しい手法（PEIRA）において、「怠け者」の解決策（崩壊）は不安定であることを証明しました。それは、針の先にボールをバランスさせるようなものです。わずかな押さえ（訓練ステップ）でも、ボールはより良い場所へ転がってしまいます。唯一の安定した場所は、コンピュータが実際に何らかの有用なことを学習した場所です。
3. 「つまみ」が機能する: 彼らは「正則化」のつまみ（$\lambda$ というパラメータ）を導入しました。このつまみを回すことで、網が捕まえる魚の数を制御できます。
   • 一方に回せば、コンピュータは数少ない非常に強いパターンを学習します。
   • もう一方に回せば、より多く、やや弱いパターンを学習します。
   • これにより、ユーザーは学習された表現の複雑さについて精密な制御を得られます。

結果

著者たちは、標準的な画像データセット（ImageNet と CIFAR-10）で PEIRA をテストしました。

• 性能: 既存の最良の手法（VICReg や LeJEPA など）と同等の性能を発揮しました。
• 理論との一致: 訓練中にコンピュータの「脳」を調べたところ、彼らの数学が予測した通り、コンピュータは内部表現をデータ内の最も強い共有信号に整合させていることが確認されました。理論が示す通りだったのです。

まとめ

要約すると、この論文は、コンピュータを教えるための人気だが謎めいた方法（自己教師あり学習）を取り上げ、「ブラックボックス」的なトリックを、明確で数学的に保証されたルールに置き換えたものです。

「このトリックを試して、崩壊しないことを願おう」と言う代わりに、PEIRA は「コンピュータに最も重要な共有パターンを見つけ、雑音を無視させ、崩壊を数学的に不可能にするルールがある」と言います。それは、推測で動く車を、完璧に設計されたエンジンで動く車に置き換えるようなものです。