JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation

あなたは、ロボットに人間と同じように世界を3Dで見る方法を教えようとしていると想像してください。しかし、手元にはカメラが1台あるだけで、距離を測るための定規もありません。これが「単眼深度推定（monocular depth estimation）」という課題です。長い間、ロボットにこのコツを教える最善の方法は、わずか一瞬の間隔を置いて撮影された2枚の画像を見せ、その間で世界がどれくらい動いたかを判断させることでした。これは、親指を立てて片目を閉じたり開けたりする動作に似ています。あなたの脳は、親指がどれくらい「ジャンプ」したかに基づいて距離を計算します。AIの世界では、これは「フォトメトリック再構成（photometric reconstruction）」と呼ばれます。コンピュータは、一方の画像をもう一方の画像に合うように変形させようとし、もし数学的な計算が合えば、深度の予測が正しいと仮定します。

しかし、この手法はある種の脆さを抱えています。それは、照明が一定であること、そして物体が動いたり形を変えたりしないという仮定に強く依存しているからです。車が通り過ぎたり、太陽の光が濡れた路面に反射したりすると、コンピュータは混乱します。なぜなら、その「親指のジャンプ」の計算が崩れてしまうからです。それは、パズルのピースが常に色を変え続けている中で問題を解こうとするようなものです。ロボットをより賢く、より頑健にするために、科学者たちは単にピクセルを一致させるだけでなく、シーンの「構造」を理解する方法（例えば、太陽が照っていようが曇っていようが、木は幹と枝を持つ固形物であるという理解）を探しています。ここで、新しい論文「JEPADepth」が、巧妙な新しい学習トリックとともに登場します。

論文の大きなアイデア：穴埋め問題による学習

著者であるティミショアラ・ポリテクニカ大学のIonut Grigore氏とCălin-Adrian Popa氏は、「JEPADepth」と呼ばれる手法を提案しています。彼らのアプローチは、ロボットに「穴埋めテスト」を与えることを想像してみてください。ただし、言葉ではなく画像のパーツが穴であり、欠けている文字を推測する代わりに、ロボットは欠けている部分の「意味」を推測しなければなりません。

従来の方法（フォトメトリック再構成）では、コンピュータは隣接する画像の正確な色や明るさをコピーしようとします。それは、写真の完璧な複製を作ろうとするコピー機のようです。もし紙がしわくちゃだったり、インクがにじんでいたりすれば、コピーは失敗します。

新しいJEPADepthの方法では、ロボットは「I-JEPA」と呼ばれる手法から着想を得た「マスク予測（masked predictive）」戦略を使用します。仕組みは以下の通りです：

1. マスク： コンピュータは画像を取り込み、ランダムな塊（写真の一部に付箋を貼るようなもの）を隠します。
2. 推測： ロボットは、見える部分（コンテキスト）を見て、隠された部分が「どう見えるべきか」を予測します。ただし、正確なピクセル（色）としてではなく、「概念」や「特徴量」（例えば「これは木の幹である」「これは道路である」など）として予測します。
3. 教師： 特別な「教師」ネットワーク（これはゆっくりと更新されるメインの脳のコピーです）が、隠された塊が何を表しているかという正解を提供します。ロボットは自分の推測を教師の答えと比較し、その差異から学びます。

魔法のような点は、これが「表現空間（representation space）」で行われることです。想像してみてください。ロボットは葉の正確な緑の色合いを推測しているのではなく、「葉という概念」を推測しているのです。これにより、照明やテクスチャの変化によってロボットを欺くことが非常に困難になります。太陽が葉に異なる角度で当たったとしても、「葉という概念」は変わらないため、ロボットは依然として正しい深度を導き出せるのです。

彼らが発見したこと：単に大きいのではなく、よりスマートに

研究者たちは、この新しい手法を、自動運転車の訓練に使用される標準的な走行ビデオのコレクションである「KITTI」データセットでテストしました。彼らは新しいJEPADepthモデルを、既存の最高峰の手法と比較しました。

良いニュースがあります：JEPADepthは機能します。

• 精度の向上： KITTIデータセットでテストした際、この新手法は従来の「ゴールドスタンダード」モデルを打ち破りました。例えば、標準的なテストにおいて、誤差率（AbsRelと呼ばれる）は0.101を達成しました。これは、以前の最高性能であったトランスフォーマーベースのモデル（MonoViT）よりも優れており、古いCNNベースのモデルよりも大幅に優れた数値です。
• 「ゼロショット」の超能力： 最もエキサイティングな発見は、ロボットがいかに新しい環境に適応できるかという点です。このモデルは、カリフォルニアのハイウェイのような風景であるKITKIのみで学習されましたが、その後、追加の学習や「ファインチューニング」を行うことなく、Cityscapes（賑やかなヨーロッパの都市のデータセット）およびMake3D（屋外シーンのデータセット）でテストされました。
  • Cityscapesにおいて、JEPADepthは最高の精度で並び、7つの指標のうち5つでトップの性能を発揮しました。
  • Make3Dにおいて、同モデルは最高の精度（AbsRel 0.275）と最高の対数誤差（RMSElog 0.143）を達成し、最も強力な競合モデルをも上回りました。

このことは、ピクセルを単にコピーするのではなく、シーンの「構造」を予測するように学習することで、ロボットが未知の環境でも機能する、より普遍的な3D空間の理解を獲得したことを示唆しています。

トレードオフ：少し多めの宿題、しかし後での追加の宿題はなし

「これによってロボットが遅くなったり、より大きなコンピュータが必要になったりするのではないか？」と思うかもしれません。著者たちは、この答えが「いいえ」となるよう注意深く設計しました。

「穴埋め（JEPAの部分）」による学習は、ロボットが学習している最中には、少し多くの作業を必要とします。コンピュータは、予測を行い、それを教師と比較するために追加のステップを実行しなければなりません。これにより、単一の高性能GPUを用いた場合、総学習時間は約**16%**増加しました（7.4時間ではなく8.6時間）。

しかし、学習が終われば、「教師」と「予測」の部分は捨てられます。世界へ繰り出す最終的なロボットは、標準的なバージョンと全く同じサイズであり、速度も同じです。それは、賢くなるために家で追加の練習問題を解く学生のようなものです。テストの日には、追加の練習用紙を使う必要はなく、得られた知識だけを使えばよいのです。論文は、この追加の学習コストが、展開時には効率的でありながら、よりスマートなモデルをもたらすことを裏付けています。

この論文が「そうではない」と言っていること

著者たちは、自分たちの手法が何ではないのかについても明確に述べています。

• これは、すべての深度推定問題を解決する「魔法の杖」ではありません。彼らは、現在の「デコーダー」（ロボットの脳を最終的な深度マップに変換する部分）はまだ比較的単純であると指摘しています。彼らはより複雑な設計（DPTと呼ばれるもの）への入れ替えを試みましたが、自己教師あり学習の設定では効果がなく、ボトルネックは学習された特徴量そのものではなく、ロボットがどのように学習された特徴量を使用しているかにあることを示唆しています。
• これは、強力な出発点がなければ機能しない手法ではありません。実験の結果、事前学習済みの「DINOv3」の脳を使用せずに、ランダムな未学習の脳から始めた場合、手法は惨めな失敗に終わることが示されました。「穴埋め」のトリックは、ロボットがすでに視覚的概念の優れた語彙を持っている場合にのみ機能します。
• これは、ピクセル単位の完璧な再構成に依存してはいません。論文は、正確なピクセルの色を予測することが、深度を学習するための最善の方法であるという考えに対して、明確に反対しています。彼らのテストによれば、正確なピクセルの色を推測するよりも、「特徴量」（画像の抽象的な意味）を予測する方が優れた結果をもたらしました。

結論

JEPADepthは、ロボットに奥行きを見せるための未来は、単に多くの画像を見せたり、画像を明るくしたりすることではないことを示唆しています。それは、シーンの「物語」を理解させることです。標準的な学習ルーチンに「隠された部分を当てる」ゲームを加えることで、著者らは、より正確で、照明や景色による変化に強く、見たことのない新しい環境にも対応できるモデルを作り上げました。しかも、最終的なロボットを重くしたり遅くしたりすることなくです。これは、自動運転車やロボットが、世界を単に「コピー」するのではなく、真に「見る」ことができるようになるための、有望な一歩です。