技術要約：Tessellating The Earth (TTE)

問題提起

ジオロケーション・エンコーダは、緯度・経度座標を、下流タスク（種分布モデリングや大気質予測など）のために、潜在的な地理的特性（気候、生態系、土地被覆）を捉えた高次元表現へとマッピングすることを目指している。既存のアプローチでは通常、球面調和関数、マルチスケール・フーリエ特徴量、あるいはランダム・フーリエ特徴量といった固定された基底上に生の座標を投影する。

これらの固定基底の根本的な限界は、その表現容量の均一な割り当てにある。これらは、複雑で情報密度の高い都市部や海岸線と同じリソースを、地球表面の約71%を占める外洋に対して割り当ててしまう。さらに、これらの基底は事前（a priori）に決定されるものであり、基礎となるデータ分布に適応することはできない。本論文で示されているように、学習可能な空間分解を固定的なものに置き換えると性能が著しく低下しており、これは空間的支持（spatial support）を適応させる能力の欠如が、ロケーション・エンコーダにおける実用的なボトルネックであることを裏付けている。

手法

著者らは、固定された基底を、グローバルなセマンティック・トークンによって拡張された学習可能な球面ボロノイ分割に置き換えるロケーション・エンコーダである**Tessellating The Earth (TTE)**を提案する。このアーキテクチャは、主に以下の3つのコンポーネントで構成される。

1. 学習可能な球面ボロノイ分割

TTEは、固定された基底関数の代わりに、$K$ 個の学習可能なサイト $\{s_1, \dots, s_K\}$ を単位球面 $S^2$ 上に利用する。

• ソフト割り当て（Soft Assignment）: クエリ点 $\mathbf{x}$ は、近接性に基づいてサイトに割り当てられる。ソフト割り当ての重み $w_k(\mathbf{x})$ は、サイトとクエリベクトルの内積を、学習可能な温度パラメータ $\tau_k$ でスケーリングしたソフトマックスを用いて計算される：
  $$w_k(\mathbf{x}) = \frac{\exp(\tau_k \cdot (\mathbf{s}_k \cdot \mathbf{x}))}{\sum_{j=1}^{K} \exp(\tau_j \cdot (\mathbf{s}_j \cdot \mathbf{x}))}$$
• 埋め込み生成（Embedding Generation）: 各サイト $k$ は、学習可能な埋め込みベクトル $\mathbf{e}_k$ を保持する。ロケーション埋め込みは、これらサイト埋め込みのソフトな結合として算出される：
  $$\mathbf{f}(\mathbf{x}) = \sum_{k=1}^{K} w_k(\mathbf{x}) \cdot \mathbf{e}_k$$
• 適応的移動（Adaptive Migration）: サイトの位置 $\mathbf{s}_k$ と埋め込み $\mathbf{e}_k$ の両方が、衛星画像を用いた対照学習を通じてエンドツーエンドで最適化される。学習中、サイトは識別的な領域（例：海岸線、生態学的境界）に向かって移動し、地理的な複雑性が高い場所に容量を集中させる一方で、均質な領域（例：外洋）は疎なカバーにとどめる。

2. グローバル・セマンティック・トークン

局所的な空間構造とグローバルな意味理解の間の溝を埋めるために、TTEは $R$ 個の共有された学習可能な概念トークン $\{r_1, \dots, r_R\}$ を導入する。

• メカニズム: ロケーション・エンコーダと、凍結された画像エンコーダ（同じ場所に位置する衛星画像で学習済み）の両方が、これらのトークンにアテンションを向ける。
• 非対称な整列（Asymmetric Alignment）: 画像パスは、固定された低い温度（$T_{img} = 0.05$）を使用して、ピークを持つほぼワンホットなアテンション分布を生成し、画像が特定の意味的概念を活性化するように強制する。ロケーションパスは、座標のみに基づいてこの分布を予測するために、学習可能な温度を使用する。
• 融合（Fusion）: 最終的なロケーション埋め込みは、ボロノイ埋め込みとトークンにアテンションを向けた表現を組み合わせる。これにより、地理的に離れていても同様の環境をカバーしているサイト（例：異なる大陸上の熱帯雨林）が、共通のトークンを通じて意味的な知識を共有することが可能になる。

3. 学習目的（Training Objectives）

モデルは、以下の3つの結合損失を用いて訓練される：

1. 対照損失（Contrastive Loss）: ロケーション埋め込みを、共存する衛星画像の埋め込みと整列させる（対称的InfoNCE）。
2. 再構成損失（Reconstruction Loss）: トークンが画像特徴量を再構成できるようにすることで、トークンの崩壊を防ぎ、トークンが画像特徴空間のための有用な基底を形成することを保証する。
3. 整列損失（Alignment Loss）: ロケーションパスのトークン・アテンション分布と、画像パスの分布との間のKLダイバージェンスを最小化する（画像側にはストップグラディエントを適用）。これにより、ロケーション・エンコーダが座標のみから意味的概念を予測するように強制する。

主な貢献

1. 学習可能な球面ボロノイ分割: TTEは、空間分解が視覚的な監督を通じてエンドツーエンドで学習されるロケーション・エンコーダを導入する。これは、固定された基底をデータ駆動型のサイト配置に置き換えることで、モデルが識別的な領域に表現容量を集中させることを可能にする。
2. グローバル・セマンティック・トークン: 著者らは、事前学習済みの画像エンコーダから得られる意味的知識をコンパクトな語彙へと蒸留する、共有された学習可能な概念トークンを提案している。これにより、クロスモーダルな整列が可能になり、地理的に離れたサイトが共通の概念を介して容量を共有できるようになり、局所的なボロノイ・サイトの孤立という課題を解決する。
3. 最先端の性能（SOTA）: TTEは、一連の地理空間分類および回帰ベンチマークにおいて、パラメトリックなロケーション・エンコーダの中で最高水準の性能を達成した。

実験結果

著者らは、包括的な地理空間ベンチマーク・スイートおよび詳細な種分類においてTTEを評価した：

• 地理空間ベンチマーク: TTEは、すべてのパラメトリック手法の中で、最も高い平均分類精度（80.0%）と回帰 $R^2$ （0.777）を達成し、従来の最良モデル（TaxaBindおよびSatCLIP）を分類で2.8%、回帰で0.045上回った。
  • 特に、バイオーム分類（TaxaBindに対し+5.5）、国分類（SINRに対し+6.5）、標高回帰（SatCLIPに対し+0.173）において顕著な向上が見られた。
  • 定性的分析により、TTEは他の手法と比較して、より滑らかな境界を持つ、空間的に一貫したバイオーム予測を生成することが示された。
• 詳細な種分類（iNaturalist-2018）: 地理的事前分布（geographic prior）として使用した場合、TTEは最高のTop-1精度（76.2%）を達成し、画像のみのベースライン（66.1%）を上回り、SatCLIP（75.1%）やGeoCLIP（72.9%）といった他のロケーション・エンコーダをも凌駕した。特に、種データに特化して整列されているTaxaBindをも上回った。
• アブレーション研究:
  • サイトの移動（Site Migration）: サイトを初期位置に固定すると、性能が大幅に低下した（分類で-12.9%）。これにより、適応的なサイト配置が極めて重要であることが確認された。
  • セマンティック・トークン: セマンティック・ブランチを除去すると、分類において-3.7%の低下が生じた。これは、グローバルな意味的整列の重要性を強調している。
  • トークン数: パフォーマンスは64個のトークンでピークに達した。少なすぎると語彙が不足し、多すぎると整列の信号が希薄化した。

重要性と主張

本論文は、適応的な空間分割と共有された意味的アンカーの組み合わせが、地理的表現学習のための豊かな帰納バイアスを提供することをTTEが示していると主張している。

• 創発的振る舞い: モデルは明示的な監督なしに直感的な戦略を学習する。サイトは自然に移動し、陸地に集中し、海岸線や生態学的境界に集まり、外洋は疎なカバーにとどまるようになる。
• 意味的特化: 学習されたグローバル・トークンは、自発的に一貫した環境概念（例：雪/氷、乾燥した砂漠、岩石地形）に特化し、地理的に離れたサイト間で意味を共有することを可能にする。
• 汎用性: 本研究は地球に焦点を当てているが、著者らは、ボロノイとトークンのアーキテクチャが、惑星科学や分子表面モデリングなど、球面上に非一様な複雑性を示すあらゆるドメインに適用可能であると示唆している。

本研究は、固定された一様な基底から、学習可能でデータに適応した分解へと移行することが、地球表面の不均一な性質を捉えるために不可欠であることを確立している。