ロボットに世界を理解させる方法を教えていると想像してください。ただし、あなたには厳格なルールがあります。ラベルを見せてはいけません。「これは猫です」とか「あれは車です」と言ってはいけないのです。この研究分野は**自己教師あり学習（self-supervised learning）**と呼ばれます。ロボットは、教師が何が何であるかを教えてくれることなく、世界の画像を見て、自力でパターンを見つけ出すことで学ばなければなりません。

これを行うために、ロボットは目にするものの「表現（representation）」、つまり心の地図を構築する必要があります。これは図書館のようなものだと考えてください。もしロボットが、すべての写真のすべてのピクセルをただ丸暗記するだけなら、その図書館は埃と紙屑が散乱した混沌とした場所になってしまいます。しかし、もし意味に基づいて物事をグループ化する方法（例えば、すべての「猫」を一箇所に、「車」を別の棚に置くなど）を学べば、それは有用な表現を学んだことになります。科学者たちがずっと問い続けてきた大きな疑問は、「ロボットが混乱したり諦めたりすることなく、この図書館を正しく構築するために必要な、最小限のルールのセットは何なのか？」ということです。

長い間、研究者たちはさまざまなトリックを試してきました。ある者は、同じものの異なる2枚の写真を見せて、それらが似ていることを確認させました（例えば、猫が寝ている時も遊んでいる時も、それが同じ猫であることを認識させるように）。またある者は、写真の一部を見せて、その欠けている部分がどのようなものかを推測させました（パズルのようなものです）。しかし、多くの場合、ロボットは行き詰まってしまいました。ロボットは、あらゆる写真に対して全く同じ退屈な答えを出力するという「ショートカット（近道）」を学習してしまい、実質的に「どうでもいい、すべては同じだ」と言ってしまうのです。これは**崩壊（collapse）**と呼ばれ、この分野における最大の失敗モードです。これから読む論文は、なぜこれらの失敗が起こるのかを深く掘り下げ、この崩壊を防ぐための新しい「3つの構成要素によるルールブック」を提案しています。

---

スマートなロボットを作るための「3つの材料のレシピ」

この論文の著者であるニコス、パスカリス、タニアは、ラベルなしでロボットに視覚を教えるには、単に1つや2つのトリックに頼るだけでは不十分であると主張しています。3つの異なる要素が共に機能する必要があります。もし一つでも欠かせば、ロボットの脳は壊れるか、あまりにも単純になりすぎるか、あるいは空間感覚を失ってしまいます。彼らはこれら3つの原則を、観測（Observation）、予測（Prediction）、そして**正則化（Regularization）**と呼んでいます。

ロボットの訓練を、ミステリーを解く探偵の訓練に例えて考えてみましょう。

1. 観測（Observation）： 「同じもの」のルール

第一の原則は観測です。これは、同じ物体の異なる2枚の写真は、実は同じものであるということをロボットに教えることです。例えば、朝に撮った犬の写真と午後に撮った別の写真を見たとき、ロボットは「おや、これは同じ犬だ！」と気づく必要があります。

論文の言葉を使えば、これは**意味的不変性（semantic invariance）**に関するものです。あなたが万華鏡を通して友人を見ているところを想像してください。色は変化し、形は歪みますが、それでもそれが友人であることは分かります。ロボットには、混乱させるような歪みを取り除き、核となるアイデンティティに集中するための「プロジェクター（脳内のツール）」が必要です。もしこのルールしかない場合、ロボットは何が何であるかを認識することには長けますが、それらが「どこにあるか」を忘れてしまいます。それは、犬が犬であることは知っているけれど、その犬が部屋の左側に座っているのか右側に座っているのか全く分からない状態のようなものです。

2. 予測（Prediction）： 「欠けたピース」ゲーム

第二の原則は予測です。これは空間構造に関するものです。写真の一部を黒い箱で覆ったところを想像してください。ロボットは、残りの写真に基づいて、その箱の中に何が入っているかを推測しなければなりません。

これが**予測原理（Prediction Principle）**です。これは、ロボットに物事が空間の中でどのように組み合わさっているかを理解させます。もしこのルールしかない場合、ロボットは単一の画像に対する優れたパズル解決者になりますが、同じ物体を異なる角度から見たときに混乱してしまいます。例えば、横から見た猫を、正面から見た猫とは全く別の生き物だと考えてしまうかもしれません。特定の写真の「地図」は学習しますが、写真を回転させても地図が変わらないということを学習できないのです。

3. 正則化（Regularization）： 「カンニング防止」のルール

第三の原則は正則化です。これは、ロボットがショートカットを使うのを防ぐための最も重要な部分です。先ほどの「すべてに対して同じ答えを出して止まってしまったロボット」を思い出してください。それは**崩壊（collapse）**と呼ばれます。

著者たちは、これを防ぐための特定のルールがなければ、ロボットは必ずショートカットを見つけ出すことを証明しています。テストを受けている学生が、もしすべての解答に「42」と書けば、採点基準が壊れているために満点が取れると気づいた状況を想像してください。ロボットも同じことをします。学習をやめて、一定の数を出力するというショートカットを見つけ出すのです。

**正則化原理（Regularization Principle）**は、学生が単に同じ答えを書いていないかチェックする厳しい試験監督のようなものです。これは、ロボットの内部の「図書館」が充実し、多様であることを強制します。これにより、ロボットがすべての脳のパワーを使い、退屈で平坦な状態へと崩壊することを防ぎます。著者たちは、このショートカットを防ぐために「負の例（何ではないかを示す例）」を見せる手法を用いても、それは漏れている場所に絆創膏を貼るようなものであり、一時的には助けにはなるものの、結局のところロボットはそれを回避する方法を見つけてしまうことを示しました。真に崩壊を止めるには、強力で明示的なルール（幾何学的制約）が必要です。

大きな発見：3つすべてが必要である

著者たちは単に推測したのではなく、これら3つのルールを一つの式に組み合わせた数学的フレームワーク（「エネルギー分解」）を構築しました。そして、一つひとつの要素を取り除いたときに何が起こるかを確認するために実験を行いました。

結果は以下の通りです：

• 観測（Observation）を外すと： ロボットは、同じ物体が異なる光や角度で見えることを認識する能力を失います。空間に関しては天才になりますが、意味に関しては白痴になります。
• 予測（Prediction）を外すと： ロボットは空間感覚を失います。何であるかは分かりますが、それがどこにあるか、あるいは互いにどのように関連しているかを説明できなくなります。テストにおいて、ロボットは画像の特定のパッチ（例えば、木の一部の葉など）を見つける能力が大幅に低下しました。
• 正則化（Regularization）を外すと： ロボットは崩壊します。学習が完全に停止します。著者たちは、このルールがなければ、ロボットがすべての画像に対して同じ退屈な数値を出力することで「完璧な」スコアを達成できることを数学的に証明しました。これはグローバルな失敗です。

また、彼らは多くの現代的なAIモデルで使用されているモメンタム・エンコーダー（Momentum Encoder）と呼ばれる一般的なテクニックについても調査しました。これは、ロボットが学習を助けるために、自分自身の「動きの遅い」バージョンを使用する手法です。著者たちは、このテクニックが学習の初期段階では学習を速めるのに役立つものの、長期的には崩壊を防ぐことはできないことを示しました。ロボットが落ち着いたとき、モメンタム・エンコーダーはメインのロボットが行っていることを単にコピーしているだけです。メインのロボットが崩壊していれば、モメンタムの方も同様です。ロボットが賢いままでいることを真に保証するのは、この明示的な正則化ルールだけなのです。

なぜこれが重要なのか

この論文は、ほぼすべての主要な自己教師あり学習の手法を統合しています。その手法が「コントラスティブ（SimCLRなど）」と呼ばれていようと、「予測的（JEPAなど）」と呼ばれていようと、著者たちはそれらがすべて、これら3つの材料を混ぜ合わせる異なる方法に過ぎないことを示しています。ある手法は観測と正則化を混ぜていますが、予測を飛ばしています。別の手法は予測と正則化を混ぜていますが、観測を飛ばしています。

STL-10という小さなデータセットとViT-Tinyというモデルを用いた著者たちの実験では、これら3つをすべて組み合わせたときに最高の成績が得られることが示されました。具体的には、3つの原則すべてを持つモデルは標準的なテストで55.0%の精度を達成しましたが、一つの原則が欠けたモデルは精度が大幅に低下しました（例えば、観測が欠けると精度が13.4ポイント低下しました）。

また、これら3つのルールは互いに衝突しないことも証明されました。「観測」のルールは画像全体に一様な信号を送りますが、「予測」のルールは推測されている部分にのみ特定の信号を送ります。これらは綱引きをするのではなく、チームとして機能します。

まとめ

主要なメッセージはシンプルですが強力です。単一のタイプのトリックだけに頼って、堅牢でスマートな視覚AIを構築することはできません。観測によって同一性を捉え、欠けた部分を予測し、ショートカットを防ぐために厳格に正則化されるシステムが必要です。

著者らは、将来のAI設計者に対し、モデルの崩壊を防ぐために複雑で隠れたトリックを考案することに固執するのではなく、これらの3つの原則を明示的にシステムに組み込むべきだと提案しています。それは家を建てることに似ています。基礎（正則化）、壁（観測）、そして屋根（予測）が必要です。基礎がなければ、すべては崩れ落ちます。屋根がなければ、内部は濡れてしまいます。そして壁がなければ、それは家ではありません。

この論文は、史上最大または最速のAIを作ったと主張しているわけではありません。むしろ、なぜAIが機能するのかという明確な数学的マップを提供しており、これら3つの原則が単なる「役立つ提案」ではなく、ロボットが教師なしで世界を見る方法を学ぶための「必要条件」であることを証明しているのです。