技術概要：Invaria

問題定義

現代の画像エンコーダは、意味論的意味と解像度を成功裏に分離し、多様なスケールや密度にわたる頑健な汎化を可能にしています。しかし、3D ポイントクラウドエンコーダは同様の汎化を達成できていません。本論文は、既存のモデルがサンプリング解像度（離散化グリッドサイズ $\tau$ によって定義される）とオブジェクトスケールに対して極めて敏感であることを特定しています。この感受性は、「ショートカット学習」という現象として現れ、モデルは不変の構造的特徴を学習するのではなく、特定の点密度やグリッド定義の受容野に過剰適合してしまいます。

この失敗を招く主な要因は 2 つあります：

1. スケール依存性: プーリング、スパース畳み込み、相対的位置エンコーディングなどの演算子は、グリッドサイズと密接に結合しています。グリッドサイズを変更することは、モデルの観点からオブジェクトを実質的に再スケーリングすることになり、固定されたカーネルがカバーする物理的体積を変化させます。
2. 密度ショートカット: 局所特徴グループ化手法（$k$-NN、ウィンドウ型アテンションなど）は、点密度が変化するにつれて一貫性のない空間的コンテキストを捉えます。固定された近傍数（$k$）または固定されたパッチウィンドウ（$W$）は、入力が疎か密かによって、全く異なる物理的体積をカバーします。

その結果、既存のモデルは推論解像度やオブジェクトスケールが訓練分布から逸脱すると、著しい性能低下をきたし、センサーの品質やハードウェア制約が変動するロボティクス分野における実世界への展開を妨げています。

手法：Invaria

著者らは、新しい訓練パイプラインとアーキテクチャの調整を通じて、スケールおよび密度不変の特徴を学習するポイントクラウドエンコーダInvariaを提案します。

1. 次解像度予測 (NRP)

言語およびビジョンにおける自己回帰モデルに触発され、Invaria は次解像度予測という目的関数を用います。明示的なポイントクラウド生成の代わりに、モデルは潜在空間内で、より疎で低解像度の入力から、より高解像度のポイントクラウドの意味論的特徴を予測するように訓練されます。

• メカニズム: モデルは疎な入力を受け取り、潜在特徴を抽出し、予測モジュールを用いてこれらの特徴を「高密度化」して、より高解像度のターゲットに一致させます。
• 目的: これにより、エンコーダは意味論的意味を特定のサンプリング解像度から分離し、解像度固有のショートカットではなく、根本的な構造的不变性を学習することを促されます。

2. 受容野の較正

グリッドベースの演算子に内在するスケール依存性に対処するため、Invaria は受容野の較正を導入します。

• 静的なグリッドサイズに依存して特徴の隣接性を定義する代わりに、内部グリッドサイズは入力ポイントクラウドの局所密度に基づいて動的に計算されます。
• この手法はアンカーポイントをサンプリングし、その最近傍距離を計算し、これらの距離を集約して較正されたグリッドサイズ（$\psi(P)$）を決定します。これにより、入力点密度に関係なく、実効的な受容野がオブジェクトの幾何学に対して一貫して維持されます。

3. 非対称ポイント特徴エンコーディング

訓練中に学習された頑健性を利用し、Invaria は非対称な推論戦略を採用します。

• 推論時、モデルは U-Net バックボーンを通じてより疎で低解像度の入力を処理します。
• モデルは低解像度入力から高解像度特徴を予測することを学習しているため、疎なデータから高密度な意味論的表現を生成できます。
• 利点: このアプローチは、実効的な受容野を大きく維持し（高密度入力における「小さな受容野」問題を回避）、計算オーバーヘッド（FLOPs）とトークン数を大幅に削減します。これはトランスフォーマーベースのアーキテクチャにとって極めて重要です。

4. 訓練目的関数

総損失関数は以下の組み合わせから構成されます：

• 教師ありセグメンテーション損失: 複数の解像度レベルに適用されるクロスエントロピー (CE) と Lovász-Softmax (LS)。
• 潜在空間整合 ($L_{align}$): 異なる解像度のボトルネックトークン間のコサイン距離を最小化する整合性項であり、モデルが入力密度に関係なく統合された潜在空間を学習することを保証します。

主要な貢献

1. 感受性の分析: 本論文は、既存のポイントクラウドエンコーダが「密度ショートカット」とスケール依存性の受容野により、解像度およびスケールシフトに対して汎化できないことを体系的に調査・実証しました。
2. Invaria アーキテクチャ: 次解像度予測と受容野の較正を通じて不変性を達成するポイントクラウドエンコーダの導入。
3. 非対称性による効率化: 解像度不変表現が非対称エンコーディングを可能にすることを示しました。これにより、疎な入力から高密度な特徴が得られ、最先端 (SOTA) 手法と比較して入力トークン数が約 40%、モデルサイズが約 45% 削減され、性能は犠牲にされません。

実験結果

本手法は、ScanNet（屋内）およびnuScenes（屋外）データセットで評価されました。

• 解像度頑健性: ScanNet において、Invaria はデフォルト解像度で訓練された SOTA モデル（Sonata、Concerto、Utonia など）と比較して、3 倍低い解像度で56.0% 高い mIoUを達成しました。グリッドサイズが増加（解像度低下）または減少（解像度向上）しても、高い性能を維持します。
• スケール頑健性: オブジェクトスケールが 3 分の 1 に縮小された場合、Invaria は既存の手法に対して mIoU で20% の改善を示しました。
• 効率性: Invaria は、モデルサイズが 45% 小さい（競合他社の 124.8M 以上に対し 25.5M パラメータ）かつ入力トークンが 40% 削減された状態でこれらの成果を達成しました。
• アブレーション研究: 実験により、受容野の較正と次解像度予測タスクの両方が不可欠であることが確認されました。いずれかを除去すると、解像度シフト下で著しい性能低下が生じます。

意義と主張

本論文は、Invaria が 3D 知覚における根本的なボトルネック、すなわち現在のモデルが実世界のロボティクス展開で遭遇する多様な解像度やスケールに対して汎化できないという課題に対処していると主張しています。「特定の解像度への適合」から「解像度を超えた構造的不变性の予測」へと訓練目的をシフトさせることで、モデルは頑健な意味論的特徴を学習します。

著者らは、このアプローチが以下の二重の利点を提供することを強調しています：

1. 頑健性: 推論時の条件（解像度/スケール）が訓練時と異なる場合に既存のモデルで見られる性能の崩壊を排除します。
2. 効率性: 高解像度の意味論的理解を達成するために低解像度入力の使用を可能にし、トランスフォーマーベースのバックボーンに関連する計算コストを劇的に削減します。

本論文は、現在の手法が汎化を改善するためにデータとモデルサイズの拡大に依存するのに対し、Invaria はアーキテクチャと訓練パラダイムの転換を通じて不変特徴を達成し、実世界の 3D 知覚にとってより効率的な道を提供すると結論付けています。