技術概要：NeMO の発見

問題定義

本論文は、訓練中に未見であった物体に対する少数ショット物体認識の課題に取り組む。モデルベースのアプローチ（3D CAD モデルを利用）は、検出、セグメンテーション、6DoF 姿勢推定において高い性能を達成してきたが、3D モデルが利用できない多くの現実世界のシナリオでは非現実的である。対照的に、既存のモデルフリー手法は、テンプレートビューの数に対するスケーラビリティが低い、ペアワイズな局所比較に依存して共同推論を行わない、または新規物体の導入に広範な再訓練と前処理を必要とするなどの欠点がある。著者らは、カメラ較正パラメータ、3D モデル、またはコアネットワーク重みの再訓練を必要とせず、単に順序無関係な RGB 画像のセットのみを使用して新規物体に迅速に適応できるシステムの開発を目指す。

手法：ニューラルメモリオブジェクト（NeMO）

提案される解決策は、**ニューラルメモリオブジェクト（NeMO）**と呼ばれる新しい物体中心表現を中心に据えたエンコーダ・デコーダアーキテクチャである。

1. NeMO エンコーダ

エンコーダは、対象物体を描画する $K$ 個の順序無関係な RGB テンプレート画像 ($I = \{I_i\}$) のセットを処理する。

• 特徴抽出: ビジョン・トランスフォーマー（ViT）が、すべてのテンプレート画像からパッチ単位の特徴を抽出する。
• マルチビューエンコーディング: 交差アテンションと自己アテンション機構を利用するマルチビューエンコーダが、これらの特徴を更新する。1 枚の画像が初期物体の向きを定義する「アンカー」($I_A$) として指定され、他の画像はこれと相互作用してマルチビュー情報を集約する。
• 幾何学的マッピング: 3D 幾何学を取り込むため、システムは正規化されたボリューム内で 3D 点のセット ($Q$) をサンプリングする。多層パーセプトロン（MLP）がこれらの点を特徴ベクトルにエンコードする。これらの点特徴は、幾何学的マッピングブロック（トランスフォーマーデコーダを使用）を介して更新された画像特徴と融合され、3D 点が物体固有の 2D 視覚的手がかりに注意を向けることを可能にする。
• 表面再構成と表現: ネットワークは、初期の 3D 点から推定された物体表面までの距離を予測する**符号なし距離場（UDF）**を学習する。最終的な NeMO 表現 ($\chi$) は、各点が推定された 3D 表面座標 ($s_i$) とそれに対応する特徴ベクトル ($\hat{f}^Q_i$) からなる、疎で連続的な点雲である。
• 主要な特性: 物体固有の情報はデコーダのパラメータから分離されている。NeMO は、ネットワーク重みとは独立して変換（回転、並進、スケーリング）可能な「メモリ」として機能する。

2. NeMO デコーダ

デコーダは、クエリ画像 ($I_q$) と事前に計算された NeMO 表現 ($\chi$) を受け取り、密な予測を生成する。

• 特徴融合: ViT によって抽出されたクエリ画像特徴は、NeMO 特徴に注意を向けることで、交差アテンションと自己アテンションを用いて更新される。
• 密な予測ヘッド: 複数の出力ヘッドを備えた DPT（Dense Prediction Transformer）バックボーンを使用して、デコーダは以下のものを生成する:
  • モダルおよびアモダルのセグメンテーションマスク: 物体の可視部分と隠蔽部分の両方を予測する。
  • 2D-3D 対応関係（ポイントマップ）: クエリ画像内の 2D ピクセルを、NeMO の座標系で定義された 3D 表面点に結びつける密なマップ。
  • 信頼度マップ: 2D-3D マッピングに関連する信頼度スコア。
• 姿勢推定: 6DoF 姿勢は、信頼度に基づいてポイントマップをフィルタリングし、Perspective-n-Point (PnP) アルゴリズムを用いた RANSAC を適用することで推定される。

3. 訓練戦略

エンコーダとデコーダは、BlenderProc を使用して生成された大規模合成データセット上で、エンドツーエンドで共同訓練される。

• 損失関数: 訓練は、予測された表面点と真値の表面点間のユークリッド距離、セグメンテーション損失（Dice および BCE）、および 2D-3D 対応関係に対する信頼度重み付き L1 損失を最小化する。
• データ拡張: 訓練中、NeMO 点雲はデコーダに渡される前にランダムに回転、並進、スケーリングされる。これにより、デコーダはアンカー画像に依存しない座標系を学習し、NeMO の向きに対する頑健性が確保される。
• オフライン/オンラインの分離: テンプレートビューの計算集約的なエンコーディングはオフラインで行われる。推論時間はクエリ画像と事前に計算された NeMO のみに依存するため、入力テンプレートの数に対して不変である。

主要な貢献

1. NeMO 表現: カメラパラメータや 3D モデルを必要とせず、セマンティック特徴と幾何学的特徴の両方を包含する、テンプレートビューの幾何学に敏感でコンパクトかつ連続的な点雲表現。
2. 統一アーキテクチャ: モデルフリー（RGB テンプレートのみ）およびモデルベース（CAD モデル利用可能）の両方の設定において、検出、セグメンテーション、6DoF 姿勢推定を実行できる単一のエンコーダ・デコーダネットワーク。
3. スケーラビリティと効率性: 物体情報をネットワーク重みから分離することで、再訓練なしでの迅速な物体導入を可能にする。NeMO を生成するために使用されるテンプレート画像の数に関わらず、推論実行時間とメモリ消費量は一定のままとなる。
4. 新規データセット: この分野の研究を支援するため、現実的な乱雑なシーンを模倣した多様で物体中心の合成データセットを提供する。

実験結果

本手法は、モデルフリーおよびモデルベースの設定において、BOP ベンチマーク（HOPEv2、HANDAL、T-LESS、TUD-L、YCB-V などの各種データセット）で評価された。

• モデルフリー検出: 本手法は HOPEv2 および HANDAL データセットで最先端（SOTA）の結果を達成し、平均精度（AP）においてそれぞれ 2.7 および 1.9 パーセントポイント先行する既存の最良手法を上回った。注目すべきは、単一のネットワークを使用してモデルフリー設定でアモダルセグメンテーションを予測した最初の手法である点である。
• モデルフリー姿勢推定: 本アプローチは、NeMO 検出を使用した場合、HANDAL データセットで SOTA 結果を達成し、代替検出を使用した場合、他の手法と同等の性能を発揮した。
• モデルベース知覚: モデルベース設定（推論時に CAD モデルが利用可能だが訓練時には利用できない）において、本手法は競争力のある性能を発揮し、YCB-V で 6 位、TUD-L の検出において SOTA を達成した。TUD-L および YCB-V における姿勢推定では、リファインメントなしで高い再現率を示したが、T-LESS の対称的でテクスチャのない物体では苦戦した。
• アブレーション研究: 実験により、性能はテンプレート画像の数（約 32 ビューで飽和）および NeMO 点の数（約 500 点で飽和）に比例して向上することが示された。システムは回転等価性を示し、NeMO 入力を回転させると、予測されたポイントマップも対応する回転を行った。

意義と主張

本論文は、NeMO がモデルフリー少数ショット知覚のための多用途な解決策を提供し、モデルフリー手法の柔軟性とモデルベースアプローチの幾何学的精度の間のギャップを効果的に埋めると主張している。物体情報を NeMO に外部化することで、システムは以下のことを可能にする:

• 迅速な導入: ネットワークの再訓練なしに新規物体を統合できる。
• 多段階パイプライン: 乱雑なシーンで物体を検出・セグメンテーションする能力により、後続処理のための関心領域の切り出しが可能となる。
• スケーラビリティ: エンコーディングとデコーディングの分離により、テンプレートビューの追加が推論レイテンシを増加させないことを保証する。

著者らは、T-LESS データセットで見られるような対称的で高度にテクスチャのない物体に関する限界を認めており、これは表現そのものではなく、現在の訓練手順とデータセットのバイアスに起因すると帰している。彼らは、少数ショット知覚を進展させるために物体知識をモデル重みから分離することに関する議論を喚起するとして、この研究を結論付けている。