ToFormer: Towards Large-scale Scenario Depth Completion for Lightweight ToF Camera

이 논문은 제한된 감지 범위를 가진 소형 ToF 카메라를 대규모 환경에 적용하기 위해, 새로운 대규모 데이터셋 (LASER-ToF) 과 3D-2D 융합 및 시각 SLAM 을 활용한 경량 심도 완성 네트워크를 제안하여 로봇의 장거리 매핑 및 계획 능력을 향상시키는 통합 프레임워크를 제시합니다.

핵심

🚁 작은 카메라, 거대한 시야: 'ToFormer'로 세상을 넓히다

이 논문은 로봇이 세상을 볼 때 겪는 **"눈이 짧다"**는 문제를 해결한 흥미로운 연구입니다. 마치 안경을 쓴 사람이 멀리 있는 사물을 잘 못 보는 것처럼, 소형 로봇에 달린 **'ToF(비행 시간) 카메라'**도 멀리 있는 물체를 잘 보지 못합니다. 이 논문은 그 한계를 뛰어넘어, 작은 카메라로도 넓은 세상을 정밀하게 볼 수 있게 해주는 **'ToFormer'**라는 새로운 시스템을 소개합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "손전등은 밝지만, 빛이 멀리 가지 않아" 🕯️

로봇이 사용하는 ToF 카메라는 작고 가볍고 전력도 적게 먹어서 로봇에 달기 좋습니다. 하지만 마치 손전등처럼 빛이 닿는 범위 (보통 3~6 미터) 밖은 캄캄합니다.

• 현실: 로봇이 창고나 공장 같은 넓은 공간에 들어가면, 카메라는 앞 3 미터까지만 보이고 그 너머는 '검은 구멍'처럼 보입니다.
• 결과: 로봇은 멀리 있는 장애물을 미리 못 보고, 길을 잃거나 충돌할 위험이 큽니다.

2. 해결책 1: "완벽한 지도를 만들기 위한 새로운 카메라" 🗺️

기존 연구들은 컴퓨터로 만든 가짜 데이터로 학습시켰는데, 실제 로봇이 마주하는 복잡한 현실 (빛 반사, 먼 거리, 불규칙한 점들) 과는 달랐습니다.

• 저자들의 아이디어: "가짜 지도 말고, 실제 현장을 찍은 진짜 지도가 필요해!"
• LASER-ToF 데이터셋: 연구팀은 LiDAR(레이저 레이더), 카메라, IMU(관성 센서) 등을 모두 달고 다니는 **'슈퍼 센서 플랫폼'**을 만들었습니다. 이 플랫폼이 움직이며 찍은 데이터를 바탕으로, ToF 카메라가 보지 못하는 먼 곳까지 포함된 정밀한 3D 지도를 만들었습니다.
• 비유: 마치 어두운 방에서 손전등만 들고 다닐 때, 대신 드론이 날아다니며 방 전체를 스캔한 3D 지도를 만들어 로봇에게 주는 것과 같습니다.

3. 해결책 2: "마법 같은 AI, ToFormer" 🧙‍♂️

이제 이 '진짜 지도'를 바탕으로, 작은 ToF 카메라의 눈을 넓혀주는 **AI(ToFormer)**를 개발했습니다.

• 불규칙한 점들을 연결하는 능력: ToF 카메라는 먼 곳으로 갈수록 데이터가 들쑥날쑥하고 빈 구멍이 많습니다. 기존 AI 들은 이런 '구멍'을 메우기 힘들어했지만, ToFormer 는 **3D 공간의 점들 (구름 같은 점군)**과 **2D 이미지 (사진)**를 동시에 분석합니다.
• JPP(점과 면을 잇는 다리): 마치 레고 블록처럼 흩어진 점들을 서로 연결하고, 빈 공간에 있는 벽이나 바닥의 모양을 추측해 채워 넣습니다.
• SLAM(동시 위치 추정 및 지도 작성) 의 도움: 로봇이 이동하며 만든 '시각적 점들'을 추가로 활용하면, 마치 보조 안경을 더 낀 것처럼 더 선명하게 보입니다.

4. 실전 테스트: "작은 드론이 거대한 미로를 헤쳐나가다" 🚁

이론만 좋으면 안 되죠? 연구팀은 이 기술을 작은 4 축 드론에 탑재해 실험했습니다.

• 실험 상황:

  1. 긴 복도: ToF 카메라만으로는 앞 3 미터만 보이지만, ToFormer 를 켜자 15 미터 앞의 벽까지 보였습니다.
  2. 죽은 길 (Dead End): 기존 방식은 죽은 길에 막혀서 멈추거나 충돌했지만, ToFormer 는 먼저 죽은 길을 알아채고 다른 길을 찾아냈습니다.
  3. 복잡한 환경: 장애물이 많은 곳에서, ToFormer 를 쓴 드론은 더 빠르고, 더 안전하며, 에너지를 덜 써서 목적지에 도착했습니다.

• 결과: 기존 방법보다 에너지를 29% 절약하고, 시간을 16% 단축했습니다. 드론은 실시간으로 (초당 10 회) 이 계산을 해내며 날아다녔습니다.

5. 요약: 왜 이것이 중요한가요? 🌟

이 연구는 **"작은 장비로 큰 일을 할 수 있다"**는 것을 증명했습니다.

• 기존: 넓은 공간을 보려면 무겁고 비싼 LiDAR 를 써야 했다.
• 이제: 가볍고 저렴한 ToF 카메라에 ToFormer AI만 달면, LiDAR 못지않게 넓은 세상을 볼 수 있다.
• 미래: 창고 자동화, 재난 현장 탐사, 공장 로봇 등 작은 로봇들이 더 넓고 복잡한 세상에서도 자유롭게 일할 수 있는 길이 열렸습니다.

한 줄 요약:

"작은 손전등 (ToF 카메라) 에 **마법 안경 (ToFormer)**을 씌워, 로봇이 어둠 속에서도 멀리 있는 세상을 선명하게 보고 안전하게 길을 찾게 만들었습니다!"

기술 요약

1. 문제 정의 (Problem)

시간-of-Flight (ToF) 카메라는 소형, 저전력, 높은 측정 정밀도 덕분에 로봇 비전에 널리 사용되지만, **제한된 감지 범위 (보통 3~6m)**로 인해 대규모 환경 (야외, 공장, 창고 등) 에서의 적용에 한계가 있습니다. 이를 해결하기 위해 '깊이 완성 (Depth Completion)' 기술이 제안되었으나, 기존 연구들은 다음과 같은 근본적인 문제점을 안고 있습니다.

• 대규모 시나리오 데이터셋 부재: 기존 데이터셋 (NYU-Depth V2, KITTI 등) 은 실내 단거리 또는 LiDAR 기반이며, ToF 카메라의 실제 비균일한 샘플링 패턴과 대규모 장면의 밀집된 Ground Truth 를 제공하지 못합니다.
• ToF 특유의 비균일성 및 큰 결손 영역: ToF 카메라는 표면 재질과 물리적 원리 때문에 깊이가 비균일하게 (Non-uniform) 분포하며, 감지 범위를 벗어난 영역에서는 **거대한 결손 (Large missing regions)**이 발생합니다. 기존 센서 무관 (Sensor-agnostic) 네트워크는 이러한 실제 ToF 특성을 모델링하지 못해 성능이 저하됩니다.
• 실시간성 및 경량화 부족: 대규모 환경에서의 깊이 완성 및 로봇 적용을 위해서는 엣지 디바이스 (Onboard) 에서 실시간 추론이 가능해야 하지만, 기존 고성능 모델들은 계산 비용이 너무 큽니다.

2. 방법론 (Methodology)

저자들은 ToF 카메라의 한계를 극복하기 위해 ToFormer라는 풀스택 프레임워크를 제안했습니다. 이는 데이터 수집부터 네트워크 아키텍처, 실제 로봇 적용까지를 포괄합니다.

A. LASER-ToF 데이터셋 및 수집 파이프라인

• LASER-ToF 데이터셋: 대규모 실내/실외 장면에서 ToF 깊이 완성을 위한 첫 번째 데이터셋입니다.
  • 하드웨어: LiDAR, 시각 카메라, ToF 카메라, IMU 가 탑재된 멀티센서 플랫폼을 구축했습니다.
  • Ground Truth 생성: 기존 LiDAR 적층 방식 (정지 상태) 의 한계를 극복하기 위해 LVI-SLAM (LiDAR-Visual-Inertial SLAM) 기반의 재구성 (Reconstruction-based) 방식을 도입했습니다. 이를 통해 이동 중인 로봇의 각 프레임마다 밀집된 (Dense) 깊이 Ground Truth 를 생성하며, 평균 반환 밀도 (Return Density) 가 94.6% 에 달합니다.
  • 특징: ToF 만의 희소 깊이와 시각 SLAM 에서 추출한 포인트 클라우드를 결합한 'ToF&Visual' 형태의 희소 깊이도 제공합니다.

B. ToFormer 네트워크 아키텍처

ToF 의 비균일한 희소성과 큰 결손 영역을 처리하기 위해 센서 인지형 (Sensor-aware) 네트워크를 설계했습니다.

1. 인코더 (Encoder):
   • 2D RGB-D 퓨전: CNN-Transformer 하이브리드 구조를 사용하여 국소 특징과 장기적 (Long-range) 관계를 동시에 포착합니다.
   • MXCA (Multimodal Cross-Covariance Attention): RGB, 희소 깊이, 3D 포인트 클라우드 특징을 효율적으로 융합하기 위한 모듈로, 계산 복잡도를 낮추면서 교차 모달 상호작용을 수행합니다.
2. 3D 브랜치 (3D Branch):
   • EdgeConv: 포인트 클라우드의 비국소적 (Non-local) 이웃 관계를 집계하여 기하학적 특징을 추출합니다.
   • JPP (3D-2D Joint Propagation Pooling): 희소한 3D 포인트 클라우드 특징을 밀집된 2D 특징 맵과 정렬하고, 변형 가능 합성곱 (Deformable Conv) 을 통해 밀집 - 밀집 (Dense-to-Dense) 상호작용을 가능하게 합니다. 이는 기존 희소 - 밀집 상호작용의 한계를 극복합니다.
3. 디코더 (Decoder):
   • 다중 스케일 업샘플링과 **SPN (Spatial Propagation Network)**을 통해 최종 깊이 맵을 정제하며, 아웃라이어 (Outlier) 오차를 줄이기 위해 신뢰도 가중치 (Confidence weight) 를 도입했습니다.

3. 주요 기여 (Key Contributions)

1. LASER-ToF 데이터셋 및 벤치마크 구축: 대규모 ToF 깊이 완성을 위한 첫 번째 실세계 데이터셋과 평가 기준을 마련했습니다.
2. 센서 인지형 깊이 완성 네트워크 (ToFormer) 제안: ToF 의 비균일 샘플링 패턴을 명시적으로 모델링하고, 3D-2D 융합 (JPP, MXCA) 을 통해 대규모 결손 영역을 효과적으로 채웁니다.
3. 실시간 로봇 적용 검증: 드론 (Quadrotor) 에 ToFormer 를 탑재하여 10Hz 로 실시간 추론이 가능함을 증명하고, 대규모 밀집 매핑 및 장거리 경로 계획 성능을 향상시켰습니다.

4. 실험 결과 (Results)

• 성능 (LASER-ToF 벤치마크):
  • ToFormer 는 2 차 최상위 방법 대비 평균 절대 오차 (MAE) 에서 8.6% 감소를 기록했습니다.
  • ToF&Visual 입력 시 MAE 는 379.06mm (2 차 최상위 대비 8.2% 감소) 를 달성했습니다.
  • 일반화 가능한 모델 (OMNI-DC, Marigold-DC) 은 대규모 ToF 시나리오에서 성능이 현저히 떨어지는 반면, ToFormer 는 우수한 성능을 유지했습니다.
• 효율성:
  • 파라미터 수와 FLOPs 를 기존 평균 베이스라인 대비 각각 85.9%, 48.6% 감소시켰습니다.
  • Jetson Orin NX 에서 10Hz의 실시간 추론 속도를 달성했습니다.
• 로봇 적용 실험:
  • 매핑: ToF 만 사용할 때 3m 이내만 인식되던 것을, ToFormer 를 통해 15m 까지의 구조를 정확하게 재구성하여 맵의 구멍 (Holes) 을 제거했습니다.
  • 경로 계획: 장애물 (벽, 막다른 길) 을 조기에 감지하여 에너지 소비, 이동 거리, 시간을 크게 단축했습니다. 특히 막다른 길 (Dead-end) 상황에서는 ToF 만으로는 충돌/실패가 발생했으나, ToFormer 를 통해 성공적으로 우회했습니다.

5. 의의 및 결론 (Significance)

이 논문은 소형 ToF 카메라의 감지 범위를 대규모 환경으로 확장할 수 있는 실용적인 솔루션을 제시했습니다.

• 데이터 측면: 기존에 없던 대규모 ToF 전용 데이터셋을 공개하여 연구 생태계를 활성화합니다.
• 알고리즘 측면: ToF 의 물리적 한계 (비균일성, 큰 결손) 를 고려한 네트워크 설계를 통해, 엣지 디바이스에서도 고품질의 밀집 깊이를 실시간으로 생성할 수 있음을 증명했습니다.
• 응용 측면: 자율 주행 로봇, 드론, 산업용 로봇 등이 제한된 센서로 넓은 환경에서 안전하게 작동할 수 있는 기반을 마련했습니다.

결론적으로, ToFormer 는 ToF 카메라의 단점을 보완하여 로봇이 대규모 환경에서 정밀한 3D 인식과 계획이 가능하게 하는 중요한 기술적 진전입니다.