💻 computer science

FALO: Fast and Accurate LiDAR 3D Object Detection on Resource-Constrained Devices

본 논문은 기존 방법들에 비해 리소스가 제한된 엣지 장치에서 훨씬 빠른 추론 속도를 제공하면서도 voxel 기반 1D 시퀀싱과 새로운 ConvDotMix 블록을 활용하여 최첨단 정확도를 달성하는 하드웨어 친화적인 LiDAR 3D 객체 감지 프레임워크인 FALO 를 소개합니다.

원저자: Shizhong Han, Hsin-Pai Cheng, Hong Cai, Jihad Masri, Soyeb Nagori, Fatih Porikli

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shizhong Han, Hsin-Pai Cheng, Hong Cai, Jihad Masri, Soyeb Nagori, Fatih Porikli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 눈을 대신해 특수한 레이저 스캐너(LiDAR) 를 이용해 세상을 '보게' 하려고 상상해 보세요. 이 스캐너는 자동차, 보행자, 나무 등을 3 차원 공간에 매핑하기 위해 수백만 개의 작은 레이저 점을 쏘아냅니다. 문제는 로봇의 두뇌 (컴퓨터) 가 스마트폰에 비유될 정도로 작아 슈퍼컴퓨터에 비해 배터리와 메모리가 제한적이라는 점입니다.

이 레이저 데이터를 처리하는 기존 방법들은 마치 방 안의 모든 물건을 하나씩 주워 정리하듯, 무작위로 흩어진 물건을 하나씩 치우는 것과 같습니다. 이는 로봇이 메모리 내에서 끊임없이 점프하게 만들어 작은 장치에게는 느리고 피로한 작업입니다.

FALO 등장: '빠르고 정확한 LiDAR 객체' 탐지기

FALO 는 로봇이 그 지저분한 방을 즉시 이해할 수 있도록 하는 새롭고 초효율적인 정리법이라고 생각하세요. 간단한 비유를 통해 작동 원리를 설명해 드리겠습니다.

1. '한 번의 줄 세우기' (Serialization)

대부분의 기존 방법들은 레이저 점 (voxels) 을 정리하기 위해 카드 덱을 반복해서 다시 정렬하듯 끊임없이 뒤섞으려 합니다. 이는 많은 에너지를 낭비합니다.

FALO 의 비법: FALO 는 흩어진 모든 레이저 점을 위치 기반으로 단 한 번만 깔끔한 한 줄로 나열합니다. 한 번 줄을 서면 그 자리에 머뭅니다. 이는 책장을 끊임없이 들어 올리고 다시 내려놓는 대신, 책들을 순서대로 선반에 정리하고 다시는 움직이지 않게 하는 것과 같습니다. 이는 막대한 시간과 에너지를 절약합니다.

2. '스마트 믹싱 볼' (ConvDotMix)

점들이 한 줄로 서면, 로봇은 점들 간의 관계를 이해해야 합니다 (예: "이 점들은 자동차를 형성하고, 저 점들은 사람을 형성한다").

기존 방식: 많은 시스템이 복잡한 '트랜스포머 (Transformers)'를 사용합니다. 이는 매우 똑똑하지만 느린 요리사가 요리를 결정하기 전에 모든 재료를 맛보는 것과 같습니다. 이는 정확하지만 작은 장치에서는 시간이 매우 오래 걸립니다.
FALO 의 비법: FALO 는 ConvDotMix라는 특별한 '믹싱 볼'을 사용합니다. 느린 요리사 대신 고속 블렌더를 사용합니다. 세 가지 간단한 도구를 사용해 정보를 섞습니다:
- Large Kernels: 한 번에 넓은 영역의 정보를 포착하는 넓은 그물망과 같습니다.
- Linear Layers: 맛을 조절하는 간단한 수학 연산입니다.
- Hadamard Products: 복잡한 레시피 없이 숫자들을 곱해 복잡한 상호작용을 만들어내는 특별한 방법입니다.
- 결과: 느린 요리사와 마찬가지로 정보를 잘 섞지만 훨씬 빠르고 적은 에너지로 수행합니다.

3. '스마트 그룹화' (Implicit Grouping)

6,000 명의 사람들이 줄지어 서 있다고 상상해 보세요. 모두를 하나의 거대한 집단으로 한 번에 대화시키려면 혼란스럽고 느립니다. 2 명씩 작은 그룹으로 나누면 효율적이지만 먼 곳의 사람들과 대화할 수는 없습니다.

FALO 의 비법: FALO 는 그룹을 어떻게 나눌지 지혜롭게 결정합니다.
- 시작 단계: 줄을 많은 작고 균형 잡힌 그룹으로 나눕니다. 이는 빠르고 지역적인 대화에 효율적입니다.
- 깊어질수록: 그룹을 점차 크게 만듭니다. 이는 정보가 줄을 따라 더 멀리 이동하게 하여 먼 점들을 연결합니다 (예: 자동차의 전 범퍼와 후방 바퀴를 연결). 정보가 손실되지 않도록 합니다.
- 중요성: 이 균형 잡기 작업은 컴퓨터 메모리가 퍼즐 조각을 완벽하게 맞추듯 훨씬 매끄럽게 작동하게 하여 낭비를 없앱니다.

4. '희소성 (Sparsity) 금지' 규칙

대부분의 다른 시스템은 '희소 컨볼루션 (sparse convolutions)'에 의존합니다. 이는 나무들이 무작위로 배치된 숲을 걷는 것과 같습니다. 다음 나무가 어디 있는지 확인하기 위해 지도를 끊임없이 확인해야 합니다. 이는 '불규칙'하고 느립니다.

FALO 의 규칙: FALO 는 숲을 완벽하게 포장된 격자로 바꿉니다. 데이터를 밀집된 고체 블록으로 취급합니다. 이는 로봇이 지도를 확인하러 멈추는 일 없이 직선으로 걸을 수 있음을 의미합니다. 이는 배터리로 작동하는 작은 장치에 매우 친화적입니다.

결과: 속도 대 정확도

이 논문은 FALO 를 샌프란시스코 주행이나 대규모 야외 지역과 같은 실제 데이터셋에서 테스트하고 기존 최첨단 시스템과 비교했습니다.

정확도: FALO 는 무겁고 강력한 시스템만큼 자동차와 사람을 탐지하는 데 뛰어납니다. 빠르기 위해 세부 사항을 희생하지 않습니다.
속도: 자율주행차나 로봇에 탑재된 작은 임베디드 컴퓨터에서 FALO 는 기존 최선 방법보다 1.6 배에서 9.8 배까지 더 빠릅니다.
- 기존 시스템이 1 초에 24 회 세계의 '스냅샷'을 찍을 수 있다면, FALO 는 최대 60 회까지 찍을 수 있습니다. 이는 로봇이 도로 변화에 훨씬 빠르게 반응할 수 있음을 의미합니다.

요약하자면: FALO 는 레이저 데이터를 효율적으로 정리하고, 강력하지만 간단한 수학을 활용해 혼합하며, 작은 장치에서 놀라울 정도로 빠르게 실행되는 영리하고 경량화된 시스템입니다. 동시에 이 분야의 거대 시스템들과 동일한 높은 정확도를 유지합니다. 이는 슈퍼컴퓨터가 없어도 초지능 로봇을 가질 수 있음을 증명합니다.

기술 요약: FALO - 리소스 제약 장치를 위한 빠르고 정확한 LiDAR 3D 객체 감지

1. 문제 제기

기존 LiDAR 3D 객체 감지 방법들은 자율주행차, 모바일 로봇과 같은 리소스 제약이 있는 엣지 장치에 배포될 때 상당한 도전에 직면합니다. 주요 병목 현상은 다음과 같습니다:

희소 컨볼루션의 한계: 최신 (SOTA) 방법 대부분은 3D 희소 컨볼루션에 의존합니다. 메모리 효율적임에도 불구하고, 3D 포인트 클라우드의 고유한 희소성으로 인해 이러한 연산은 불규칙한 데이터 및 메모리 접근 패턴을 초래합니다. 이는 소형 임베디드 장치에 대한 최적화를 어렵게 만들고 TensorRT 와 같은 프레임워크를 통한 양자화 및 배포를 복잡하게 만듭니다.
트랜스포머의 비효율성: 희소 컨볼루션을 피하는 최근의 트랜스포머 기반 접근법 (예: DSVT) 은 높은 계산 및 메모리 비용으로 고통받으며, 입력 토큰 (비어 있지 않은 보크셀) 수에 따라 2 차적으로 확장됩니다.
비효율적인 직렬화: 기존 토큰 기반 방법들은 네트워크 전반에 걸쳐 보크셀을 여러 번 재배열해야 하는 경우가 많습니다 (예: x/y 순서 교차, 다중 스케일 순서화). 이는 대역폭이 제한된 장치에서 비용이 많이 드는 데이터 이동과 메모리 대역폭 사용을 초래합니다.
필러 기반의 트레이드오프: 필러 기반 방법은 3D 데이터를 2D 로 투영하여 효율성을 향상시키지만, 종종 완전한 3D 보크셀 방법에 비해 감지 정확도가 낮으며, 여전히 2D 희소 컨볼루션에 의존하는 경우가 많습니다.

본 논문은 희소 컨볼루션이나 2 차 복잡도 어텐션 메커니즘에 의존하지 않으면서도 NVIDIA Jetson Orin GPU 및 Qualcomm Hexagon NPU 와 같은 하드웨어에서 빠른 추론 속도를 제공하면서도 SOTA 정확도를 유지하는 감지 프레임워크의 필요성을 다룹니다.

2. 방법론: FALO

제안된 FALO(Fast and Accurate LiDAR 3D Object Detection) 접근법은 불규칙한 메모리 접근과 높은 계산 오버헤드를 제거하도록 설계된 체계적이고 하드웨어 친화적인 파이프라인을 통해 LiDAR 포인트 클라우드를 처리합니다.

2.1. 시스템 개요

파이프라인은 입력 3D 포인트 클라우드의 표준 보크셀화 (voxelization) 로 시작합니다. 희소 컨볼루션을 직접 적용하는 전통적인 방법과 달리, FALO 는 비어 있지 않은 보크셀을 추출하여 밀집된 1D 토큰 시퀀스로 배열합니다. 이러한 토큰들은 **암시적 보크셀 그룹화 (Implicit Voxel Grouping)**와 ConvDotMix 레이어로 구성된 3D 백본을 처리한 후, 최종 감지를 위해 Bird's Eye View(BEV) 공간으로 투영됩니다.

2.2. 3D 희소 특징 직렬화

데이터 이동을 최소화하기 위해 FALO 는 보크셀화 직후 단일 직렬화 단계를 사용합니다:

로컬 윈도우 분할: 3D 공간을 로컬 윈도우로 분할하여 국소성을 유지합니다.
탐색: 각 윈도우 내에서 비어 있지 않은 보크셀을 탐색 (예: x 순서 또는 y 순서) 하여 1D 밀집 시퀀스로 수집합니다.
안정성: 다른 방법들이 매 레이어마다 보크셀을 재배열하는 것과 달리, FALO 는 전체 3D 백본 전반에 걸쳐 이 1D 시퀀스 순서를 유지하여 비용이 많이 드는 데이터 이동을 크게 줄입니다.

2.3. 암시적 보크셀 그룹화

임베디드 하드웨어에서 길고 불균형한 1D 시퀀스 (예: $1 \times N \times D$ ) 를 처리하는 비효율성을 해결하기 위해 FALO 는 암시적 그룹화를 도입합니다:

재배열: 시퀀스를 배치 및 토큰 차원을 균형 있게 조정하도록 재배열합니다 (예: $1 \times 6000 \times 128$ 을 $10 \times 600 \times 128$ 로 변환).
가변 그룹 크기: 그룹 크기는 네트워크가 깊어짐에 따라 증가합니다. 얕은 레이어는 빠른 추론과 집중된 국소 학습을 용이하게 하기 위해 작은 그룹을 사용합니다. 깊은 레이어는 증가하는 유효 수용 영역을 수용하고 명시적 재배열 없이 더 넓은 공간 상호작용을 가능하게 하기 위해 더 큰 그룹을 사용합니다.

2.4. ConvDotMix 연산

3D 백본의 핵심 처리 단위는 자기 어텐션과 희소 컨볼루션을 대체하는 ConvDotMix 블록입니다. 이는 다음으로 구성됩니다:

대형 커널 컨볼루션: 토큰 차원에 적용되어 공간 특징을 혼합합니다.
선형 레이어 (MLP): 임베딩 차원에 적용되어 채널 혼합을 수행합니다.
하마르드 곱 (Hadamard Product): 공간적으로 혼합된 특징과 채널이 혼합된 특징 간의 요소별 곱셈입니다. 이는 보크셀 특징 간의 고차 비선형 상호작용을 도입하며, 일반적으로 자기 어텐션이 제공하는 기능이지만 여기서는 선형 계산 복잡도로 달성됩니다.
잔차 연결: 학습을 안정화하기 위해 입력에 스킵 연결이 추가됩니다.

ConvDotMix 의 모든 연산은 입력 토큰 수에 선형적으로 확장되며 표준 행렬 곱셈에 의존하므로, 현대 AI 하드웨어에서 매우 병렬화되고 효율적입니다.

3. 주요 기여

FALO 아키텍처: 희소 컨볼루션이나 트랜스포머를 사용하지 않고도 리소스 제약 플랫폼에서 SOTA 정확도를 달성하는 LiDAR 3D 감지를 위한 체계적인 접근법.
ConvDotMix 블록: 대형 커널 컨볼루션, 선형 레이어, 하마르드 곱을 결합한 새로운 연산. 이는 선형 계산 및 메모리 비용만으로 충분한 공간적, 채널별, 고차 비선형 혼합 능력을 제공합니다.
하드웨어 친화적 설계:
- 일회성 직렬화: 보크셀을 1D 시퀀스로 한 번만 직렬화하여 반복적인 데이터 이동을 제거합니다.
- 암시적 그룹화: 가변 그룹 크기를 활용하여 수용 영역의 증가에 맞춰 텐서 차원을 균형 있게 조정하여 빠른 추론을 가능하게 하는 메커니즘.
- 비용이 많은 연산 제거: 희소 컨볼루션, 자기 어텐션, 윈도우 시프트, 보크셀 재배열을 제거합니다.
성능: NVIDIA Jetson Orin 및 Qualcomm Hexagon NPU 에서 최신 SOTA(DSVT) 보다 1.6 $\times$ 에서 9.8 $\times$ 까지 빠른 추론 속도를 달성하면서도 경쟁력 있는 감지 정확도를 유지합니다.

4. 실험 결과

저자들은 nuScenes 및 Waymo Open Dataset 벤치마크에서 FALO 를 평가했습니다.

nuScenes:
- 검증 세트에서 FALO 는 희소 컨볼루션이나 자기 어텐션을 사용하지 않았음에도 불구하고 DSVT(NDS 71.1, mAP 66.4) 및 SAFDNet 과 비교 가능한 NDS 70.8 및 mAP 65.7을 달성했습니다.
- 테스트 세트에서 FALO 는 NDS 70.9 및 mAP 66.1을 달성하여 희소 컨볼루션에 의존하는 대부분의 보크셀 기반 및 필러 기반 방법들을 능가했습니다.
Waymo Open Dataset:
- FALO 는 차량, 보행자, 자전거 클래스 전반에 걸쳐 경쟁력 있는 결과를 달성했습니다. 예를 들어, L2 mAP 73.6 및 mAPH 70.6을 달성하여 DSVT-Pillar(73.2/71.0) 및 기타 SOTA 방법과 비교 가능한 성능을 보였습니다.
지연 시간:
- Qualcomm Hexagon NPU에서 FALO 는 DSVT 보다 9.8 $\times$ 빠릅니다.
- NVIDIA Jetson Orin GPU에서 FALO 는 DSVT 보다 1.6 $\times$ 빠릅니다.
- FALO 는 장치에서 초당 24~60 회의 추론을 달성하여 실시간 작동을 가능하게 합니다.

제거 연구 (Ablation Studies)

순서화: 제안된 로컬 윈도우 순서화는 무작위/순서 없음보다 NDS 를 1.1 점 향상시켰습니다.
그룹화: 깊은 레이어에서 그룹 크기를 증가시키는 것이 가장 높은 정확도 (NDS 70.2) 와 가장 낮은 지연 시간을 제공했으며, 그룹 크기를 감소시키면 성능이 저하되었습니다.
ConvDotMix 대 트랜스포머: DSVT 의 트랜스포머 레이어를 ConvDotMix 로 대체하면 FLOPs 를 28% 줄이면서 정확도가 약간 향상되었습니다 (NDS 71.2 대 71.1).
커널 크기: 작은 커널에 비해 더 큰 커널 (크기 11) 이 성능에 유익한 것으로 나타났습니다.

5. 중요성 및 주장

본 논문은 FALO 가 엣지 장치에서 고성능 3D 인지 배포를 위한 중요한 진전임을 주장합니다. 하드웨어 비친화적 연산 (희소 컨볼루션, 2 차 어텐션, 반복적 재배열) 을 체계적으로 제거함으로써 FALO 는 고정밀 감지 모델과 임베디드 시스템의 엄격한 지연 시간/메모리 제약 사이의 격차를 해소합니다.

저자들은 효율성에 중점을 둔 경량 설계에도 불구하고, 이 방법이 무거운 SOTA 모델과 비교 가능한 정확도를 달성한다고 강조합니다. 그러나 그들은 겸손하게 한계를 인정합니다: 효율성 주도 설계는 메모리 집약적인 접근법에 비해 보행자 및 자전거와 같은 작거나 희소한 객체의 경우 일부 정확도 저하를 초래할 수 있지만, 전반적인 성능은 여전히 경쟁력 있다고 합니다.

이 연구는 자율주행 및 로봇 공학에 필요한 감지 능력을 희생하지 않으면서 Snapdragon 8 Gen 3(Hexagon NPU) 및 Jetson Orin 과 같은 플랫폼에서 실시간으로 정확한 LiDAR 3D 객체 감지를 달성할 수 있음을 보여줍니다.