🤖 machine learning

TESSERA v2: Scaling Pixel-wise Earth Foundation Models

本論文は、ピクセル単位の地球観測基盤モデルに関する最大規模の制御されたスケーリング研究を提示し、事前学習の損失がダウンストリームの性能の予測因子としては不十分であることを明らかにし、既存の製品を凌駕するコンパクトで高性能な蒸留済み生徒モデルの作成を可能にすると同時に、柔軟で低コストなマトリョーシカ埋め込みをサポートする計算資源配分ルールを確立するものである。

原著者： Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madha

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madhavapeddy, Srinivasan Keshav

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

地球を理解するために、巨大で散らかったフォトアルバムを眺めている様子を想像してみてください。ページごとに地球上の特定の場所の写真が載っていますが、写真は撮られた時期もカメラもバラバラで、その半分は雲や霧に覆われています。これが、人工衛星を使って地球を研究している科学者たちが日々直面している現実です。彼らは、これら混沌とした不完全なスナップショットを、地球で何が起きているのか（森林がどのように成長しているか、作物の数を数えるか、あるいは汚染を見つけるかなど）を示す、明確で使い勝手の良い地図へと変えなければなりません。これを行うために、彼らは「基盤モデル」と呼ばれるものを使用します。これらのモデルを、これまでに撮影されたあらゆる衛星写真に目を通してきた、非常に賢い学生だと考えてみてください。彼らは、生の重たい写真を与える代わりに、情報を非常に小さく効率的な「IDカード」（埋め込み）へと要約します。このIDカードは、アルバム全体を持ち歩かなくても、その場所について必要な情報をすべて教えてくれるものです。しかし、大きな疑問が常にありました。それは、いかにして膨大な電気代や時間を無駄にすることなく、これらの学生を最高に賢く訓練するか、という点です。

TESSERA V2 と題されたこの論文は、まさにその疑問に答えるための大規模な実験です。研究者たちは、地球観測AIモデルを構築するための完璧なレシピを見つけ出すために、395回もの異なるトレーニングセッションを実施しました。その結果、いくつかの驚くべき事実を発見しました。第一に、学生の進捗を判断する通常の方法、つまり「宿題のスコア」（事前学習の損失）を見ることは、実は実世界でのパフォーマンスを予測する上で極めて不適切な指標であることを見出しました。それは、練習テストでAを取ったのに本番の試験に落ちる学生のようなもので、このスコアに頼ることは膨大な計算資源を浪えさせることをこの論文は示しています。代わりに、彼らが見つけた勝利の方程式は、モデルの「脳」（エンコーダー）をより大きくし、より多くのデータを投入することであり、一方で答えを整理する部分（プロジェクター）は小さく固定しておくことでした。

しかし、一つ問題があります。巨大な脳は、動かすのにコストがかかるのです。もし超スマートな教師を作ったとしても、毎日それを使うにはコストがかかりすぎます。そこで、チームは「蒸留」と呼ばれる巧妙なトリックを用いました。彼らは、新しいルールに従って、20億パラメータを持つ一つの巨大な「教師」モデルを訓練し、その後、4つの小さな「生徒」モデルにその思考を模倣するように教えました。これらの生徒たちは教師に比べれば極めて小さい存在ですが、それでも驚くほど賢いのです。さらに素晴らしいことに、これらの生徒たちは、ロシアのマトリョーシカ人形のように、異なるサイズで答えを出すことができます。ストレージ容量をほとんど消費しない非常に小さな16次元の答えを求めることもできますが、その場合でも92%の精度を維持しています。あるいは、細部まで全てが必要であれば、フルサイズの128次元の答えを求めることも可能です。その結果、公開されているシステムや非公開のシステムと比較しても、より安価に保存・実行でき、かつ実世界のタスクにおいてより正確なモデルのファミリーが誕生しました。これは、スケールアップするための最善の方法が、「巨大なものを訓練してから、それを縮小させること」であることを証明しています。

テクニカル・サマリー: TESSERA V2 – ピクセル単位の地球観測基盤モデルのスケーリング

問題提起

地球観測（EO）のダウンストリーム・タスクへの適用には、重大なボトルネックが存在する。すなわち、データ準備（放射補正、雲除去、センサー間のハーモナイゼーション）に多大な労力を要すること、グラウンドトゥルース（正解ラベル）が希少かつ地域特有であること、そして生の衛星画像には不規則なサンプリング間隔や雲による遮蔽が含まれることである。「embeddings-as-data（データとしての埋め込み）」製品は、地表の解析可能なベクトル表現を提供することを目指しているが、既存のシステムは硬直した仕様に苦しんでいる。これらはしばしば単一の固定された埋め込み次元とモデルサイズを提供するため、ユーザーは自身の予算やタスクの要件に関わらず、常に同じストレージおよびI/Oコストを負担することを強いられる。さらに、EOドメインにおいて、プリトレーニングの計算量（エンコーダーサイズ、プロジェクターサイズ、およびデータ量の間の配分）をどのように割り当てるべきかというスケーリング則は十分に理解されておらず、多くの研究が、衛星データの特有の性質（雲の優占性や軌道サンプリングなど）により信頼性の低い指標となり得る「プリトレーニング損失」をダウンストリームの性能のプロキシ（代理指標）として用いている。

メソドロジー

1. ダウンストリーム主導のスケーリング研究

著者らは、固定されたピクセル単位のBarlow Twinsファミリー内で395回のトレーニング実行を含む、EOにおける現時点で最大規模の制御されたスケーリング研究を実施した。

アーキテクチャ: 事前のスイープによって選択された、固定されたピクセル単位のSentinel-1/2エンコーダーのアーキテクチャファミリーを採用した。
変数: 研究では3つの次元をスイープした：エンコーダーサイズ（ $N_{enc}$ 、7Mから278Mパラメータまでの16の幅）、プロジェクターサイズ（ $N_{proj}$ 、4つの幅）、およびトレーニングデータ量（ $D$ 、0.03Mから3,202M d-pixels）。
評価: すべてのモデルは、ALPHAEARTHスイートからの15の多様なダウンストリーム・タスク（分類、変化検出、回帰）で評価された。
計算量メトリック: 3つのエンコーダー・パス（2つの拡張ビュー + 1つのミックスアップ・ビュー）とBarlow Twinsの相互相関コストを考慮した特定の公式を用いて、総トレーニングFLOPsを算出した。

2. スケーリング則に関する主要な知見

この研究は、標準的な言語/ビジョンのスケーリングの仮定に反する、2つの重要な経験的知見をもたらした。

知見 F1 (損失は不適切なプロキシである): 収束したプリトレーニング損失は、ダウンストリームの性能をほとんど予測できなかった（ $|Pearson\ r| < 0.2$ ）。損失のみに基づいてモデルを選択することは、実際のタスク性能に基づいて選択する場合と比較して、約2〜5倍多くの計算量を必要とする。
知見 F2 (最適な配分): トレーニング予算が増大するにつれ、最適な戦略は、プロジェクターのサイズを固定したまま、エンコーダーの容量とトレーニングデータを同時に増やすことである。プロジェクターは「使い捨てのトレーニング用足場」として機能し、スケーリングの軸にはならない。適合された冪乗則は、 $N_{enc} \propto C^{0.36}$ および $D \propto C^{0.63}$ であり、 $N_{proj} \propto C^{0.011}$ （統計的にゼロと区別がつかない）であった。

3. 教師・生徒蒸留およびMATRYOSHKA埋め込み

大規模で高性能な教師モデルと、展開可能な製品との間のギャップを埋めるため、著者らは蒸留戦略を採用した。

教師のトレーニング: 導出されたスケーリング・ルール（オーバーサイズ・エンコーダー + 一致したデータ、固定プロジェクター）を用い、約140億d-pixelsに対して、巨大な2Bパラメータのピクセル単位エンコーダーをトレーニングした。
蒸留: この凍結された2B教師モデルを使用して、コンパクトな生徒モデル（N, S, M, Lサイズ、1Mから44Mパラメータの範囲）を蒸留した。
MATRYOSHKA表現: 自己教師あり学習によるプリトレーニングは、回転を除いてのみ部分空間を特定するが、固定された教師に対する蒸留は、埋め込み座標を順序付けるための必要な信号を提供する。これにより、生徒モデルは、次元 $d \in \{16, 32, 64, 128\}$ のプレフィックス（接頭辞）が有効な表現となる**入れ子状の埋め込み（nested embeddings）**を生成できる。16次元のプレフィックスは、ストレージコストが1/8であるにもかかわらず、フル128次元の埋め込みの性能の約92%を維持する。
推論の最適化: システムは適応型バケット・サンプリングを使用し、可変長の観測シーケンスを、適合する最小の固定長バケットに詰め込み、残差を中間再サンプリングによって埋める。これにより、観測データを恣意的に破棄したり複製したりすることを回避する。

主要な結果

性能: 蒸留されたTESSERA v2-2B-L（44Mパラメータ）は、テストされたすべてのオープンおよびプロプライエタリな埋め込み製品（ALPHAEARTH（480Mパラメータ）やOlmoEarth-L（308Mパラメータ）を含む）を上回った。
- 14のホールドアウト・データセットにおいて、TESSERA v2は0.614の次点のシステムに対し、0.647の複合スコアを達成した。
- 15のタスクからなるALPHAEARTHスイートにおいて、0.593を記録し、ALPHAEARTH（0.560）およびTESSERA v1（0.541）を凌駕した。
効率性: 44Mの生徒モデルは、2Bの教師モデルよりも2桁低い推論コストで、かつ他の大規模なプロプライエタリ・モデルよりも大幅に低いコストで最先端の結果を実現している。
ストレージの適応性: MATRYOSHKAプレフィックスにより、ユーザーはストレージと性能をトレードオフできる。16次元のプレフィックスは、ストレージを1/8に抑えつつフルスコアの約92%を維持し、32次元のプレフィックスは97%を維持する。
アーティファクトの低減: TESSERA v2は、v1で見られた沿線方向のストライプ（along-track striping）やタイル継ぎ目の不連続性を大幅に減少させつつ、年次間の安定性を維持している。

意義と主張

本論文は、ピクセル単位のEO基盤モデルをスケーリングするための具体的かつ経験的に裏付けられたレシピを提供すると主張しており、「大規模に訓練して損失が相関することを期待する」パラダイムから、「大規模に訓練し、ダウンストリーム性能によって選択し、蒸留する」パラダイムへと転換させている。

EOにおけるスケーリングの再定義: 著者らは、EOのスケーリング則は言語/ビジョンとは根本的に異なり、プリトレーニング損失に依存することは非効率的で誤解を招くと断言している。提案された配分ルール（エンコーダーとデータを増やし、プロジェクターを固定する）は、EOにおける最適な経路として提示されている。
入れ子状の埋め込みのための蒸留の必要性: 本論文は、自己教師ありのプレフィックス損失による（座標の対称性の問題により）入れ子状の埋め込み（MATRYOSHKA）の学習は効果的ではなく、代わりに固定された教師に対する蒸留が、異なる次元においてプレフィックスを使用可能にするための順序信号を供給するために必要であると主張している。
製品としての生存能力: TESSERA v2は単なるモデルではなく、適応性を提供する展開可能な製品ファミリーとして提示されている。これにより、ユーザーは再学習することなく、自身の予算制約に適合するモデルサイズや埋め込み次元を選択でき、既存の「解析可能（analysis-ready）」なデータ製品における主要な欠陥に対処できる。

著者らは、TESSERA製品のバージョン2として、2017年から2025年をカバーするグローバルな10m解像度の年次埋め込みをリリースする予定であり、コードとチェックポイントをコミュニティに公開するとしている。