技術サマリー：FALO - 資源制約環境における高速かつ高精度な LiDAR 3D 物体検出

1. 問題提起

既存の LiDAR 3D 物体検出手法は、自律走行車やモバイルロボットなどの資源制約のあるエッジデバイスへの展開において、重大な課題に直面しています。主なボトルネックは以下の通りです：

• スパース畳み込みの限界: 最先端 (SOTA) の手法の多くは 3D スパース畳み込みに依存しています。メモリ効率が良いものの、3D 点雲の固有の疎性により、不規則なデータおよびメモリアクセスパターンが発生します。これにより、コンパクトな組込みデバイス向けの最適化が困難となり、TensorRT などのフレームワークを通じた量子化や展開が複雑化します。
• トランスフォーマーの非効率性: スパース畳み込みを回避するトランスフォーマーを利用する最近のアプローチ（例：DSVT）は、入力トークン数（空でないボクセル数）に対して二次的にスケーリングする高い計算コストとメモリコストに苦しんでいます。
• 非効率的なシリアライズ: 既存のトークンベースの手法は、ネットワーク全体でボクセルを何度も並べ替える必要があることが多く（例：x/y 順序の交互、マルチスケール順序付け）、帯域幅が限られたデバイスにおいて高価なデータ移動とメモリ帯域幅の使用を招きます。
• ピラーベースのトレードオフ: ピラーベースの手法は 3D データを 2D に投影することで効率を向上させますが、完全な 3D ボクセル手法に比べて検出精度が劣ることが多く、頻繁に 2D スパース畳み込みに依存しています。

本論文は、スパース畳み込みや二次的な複雑さを持つアテンション機構に依存することなく、NVIDIA Jetson Orin GPU や Qualcomm Hexagon NPU などのハードウェア上で SOTA 精度を維持しつつ高速な推論速度を提供する検出フレームワークの必要性に対応します。

2. 手法：FALO

提案されるFALO（Fast and Accurate LiDAR 3D Object Detection）アプローチは、不規則なメモリアクセスと高い計算オーバーヘッドを排除するように設計された、体系的かつハードウェアに優しいパイプラインを通じて LiDAR 点雲を処理します。

2.1. システム概要

パイプラインは、入力 3D 点雲の標準的なボクセライゼーションから始まります。スパース畳み込みを直接適用する従来の手法とは異なり、FALO は空でないボクセルを抽出し、密な 1 次元トークンシーケンスに配置します。これらのトークンは、Implicit Voxel GroupingとConvDotMixレイヤーからなる 3D バックボーンで処理された後、最終的な検出のために鳥瞰図 (BEV) 空間へ投影されます。

2.2. 3D スパース特徴のシリアライズ

データ移動を最小化するため、FALO はボクセライゼーションの直後に単一のシリアライズステップを採用します：

• ローカルウィンドウ分割: 局所性を維持するために 3D 空間をローカルウィンドウに分割します。
• 走査: 各ウィンドウ内で、空でないボクセルを走査（例：x 順序または y 順序）し、1 次元の密なシーケンスに収集します。
• 安定性: 他の手法が各レイヤーでボクセルを再順序化するのとは異なり、FALO はこの 1 次元シーケンスの順序を 3D バックボーン全体を通じて維持し、高価なデータ移動を大幅に削減します。

2.3. 暗黙的ボクセルグルーピング

組込みハードウェア上で長い不均衡な 1 次元シーケンス（例：$1 \times N \times D$）を処理する非効率性に対処するため、FALO は暗黙的グルーピングを導入します：

• リシェイプ: バッチ次元とトークン次元をバランスさせるためにシーケンスをリシェイプします（例：$1 \times 6000 \times 128$ を $10 \times 600 \times 128$ に変換）。
• 可変グループサイズ: グループサイズはネットワークが深くなるにつれて増加します。浅いレイヤーでは、より高速な推論と局所的な学習を促進するために小さなグループを使用します。深いレイヤーでは、増大する有効受容野に対応し、明示的な再順序化なしに広範な空間的相互作用を可能にするために大きなグループを使用します。

2.4. ConvDotMix 操作

3D バックボーンの核心となる処理ユニットは、自己アテンションとスパース畳み込みに代わるConvDotMixブロックです。これは以下の構成要素で構成されます：

• 大カーネル畳み込み: トークン次元に適用され、空間特徴をミックスします。
• 線形レイヤー (MLP): 埋め込み次元に適用され、チャネルをミックスします。
• アダマール積: 空間的にミックスされた特徴とチャネルミックスされた特徴間の要素ごとの乗算です。これにより、ボクセル特徴間で高次の非線形相互作用が導入されます。これは通常自己アテンションによって提供される機能ですが、ここでは線形計算複雑性で達成されます。
• 残差接続: 学習を安定させるために入力にスキップ接続が追加されます。

ConvDotMix 内のすべての操作は、入力トークン数に対して線形にスケーリングし、標準的な行列乗算に依存するため、現代の AI ハードウェア上で高度に並列化可能かつ効率的です。

3. 主要な貢献

1. FALO アーキテクチャ: スパース畳み込みやトランスフォーマーを使用することなく、資源制約のあるプラットフォームで SOTA 精度を達成する LiDAR 3D 検出のための体系的アプローチ。
2. ConvDotMix ブロック: 大カーネル畳み込み、線形レイヤー、およびアダマール積を組み合わせた新しい操作。線形な計算コストとメモリコストのみで、十分な空間的、チャネルごとの、および高次の非線形ミックス機能を提供します。
3. ハードウェアに優しい設計:
   • ワンタイムシリアライズ: ボクセルを 1 次元シーケンスにシリアライズするのは一度だけであり、繰り返されるデータ移動を排除します。
   • 暗黙的グルーピング: 増大する受容野に合わせて可変グループサイズを利用し、テンソル次元をバランスさせてより高速な推論を実現するメカニズム。
   • 高価な操作の排除: スパース畳み込み、自己アテンション、ウィンドウシフト、ボクセルの再順序化を設計から排除しました。
4. 性能: NVIDIA Jetson Orin および Qualcomm Hexagon NPU において、最新の SOTA (DSVT) より 1.6 倍から 9.8 倍高速な推論速度を達成し、競争力のある検出精度を維持しました。

4. 実験結果

著者は、nuScenesおよびWaymo Open Datasetベンチマークで FALO を評価しました。

• nuScenes:
  • 検証セットにおいて、FALO は NDS 70.8、mAP 65.7を達成しました。これはスパース畳み込みや自己アテンションを使用していないにもかかわらず、DSVT（NDS 71.1、mAP 66.4）や SAFDNet と同等の性能です。
  • テストセットにおいて、FALO は NDS 70.9、mAP 66.1を達成し、スパース畳み込みに依存するほとんどのボクセルベースおよびピラーベースの手法を上回りました。
• Waymo Open Dataset:
  • FALO は車両、歩行者、自転車クラス全体で競争力のある結果を達成しました。例えば、L2 mAP 73.6、mAPH 70.6を達成し、DSVT-Pillar（73.2/71.0）や他の SOTA 手法と同等の性能を示しました。
• レイテンシ:
  • Qualcomm Hexagon NPUにおいて、FALO は DSVT より9.8 倍高速です。
  • NVIDIA Jetson Orin GPUにおいて、FALO は DSVT より1.6 倍高速です。
  • FALO はデバイス上で1 秒あたり 24〜60 回の推論を達成し、リアルタイム動作を可能にします。

除去実験

• 順序付け: 提案されたローカルウィンドウ順序付けは、ランダム/順序なしと比較して NDS を 1.1 ポイント向上させました。
• グルーピング: 深いレイヤーでグループサイズを増やすことが、最高の精度（NDS 70.2）と最低のレイテンシをもたらしました。一方、グループサイズを減らすと性能が低下しました。
• ConvDotMix vs トランスフォーマー: DSVT のトランスフォーマーレイヤーを ConvDotMix に置き換えると、精度がわずかに向上し（NDS 71.2 vs 71.1）、FLOPs が**28%**削減されました。
• カーネルサイズ: 小さなカーネルと比較して、大きなカーネル（サイズ 11）が性能に有益であることが示されました。

5. 意義と主張

本論文は、FALO がエッジデバイスへの高性能 3D 知覚の展開において重要な前進であることを主張しています。ハードウェアに不向きな操作（スパース畳み込み、二次的なアテンション、繰り返される再順序化）を体系的に排除することで、FALO は高精度検出モデルと組込みシステムの厳格なレイテンシ/メモリ制約との間のギャップを埋めています。

著者は、効率性への焦点が軽量な設計につながる一方で、この手法は重厚な SOTA モデルと同等の精度を達成すると強調しています。ただし、彼らは控えめに限界を認めています：効率駆動型の設計は、よりメモリ集約的なアプローチと比較して、小規模または疎な物体（例：歩行者や自転車）の精度低下を招く可能性がありますが、全体的な性能は競争力のあるままです。

この研究は、Snapdragon 8 Gen 3（Hexagon NPU）や Jetson Orin などのプラットフォームにおいて、自律走行やロボティクスに必要な検出能力を犠牲にすることなく、リアルタイムかつ高精度な LiDAR 3D 物体検出を達成可能であることを実証しています。