ScanDP: Generalizable 3D Scanning with Diffusion Policy

이 논문은 인간과 유사한 스캔 전략을 모방하는 확산 정책 (Diffusion Policy) 과 점유 그리드 매핑을 결합하여, 기존 강화학습 기반 방법들의 데이터 비효율성과 일반화 한계를 극복하고 다양한 미지의 물체에 대해 높은 커버리지와 효율성을 보장하는 범용 3D 스캐닝 프레임워크인 ScanDP 를 제안합니다.

핵심

ScanDP: 로봇이 '사람처럼' 사물을 완벽하게 스캔하는 새로운 방법

이 논문은 **"ScanDP"**라는 새로운 3D 스캔 기술을 소개합니다. 쉽게 말해, **"로봇이 사람의 손놀림을 흉내 내면서, 처음 보는 물체도 실수 없이 빠르고 정확하게 3D 데이터로 만드는 방법"**입니다.

기존의 기술들이 겪던 문제와 이 새로운 기술이 어떻게 해결했는지, 일상적인 비유를 들어 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존의 문제점)

지금까지 3D 스캔은 크게 두 가지 방식으로 이루어졌습니다.

• 규칙 기반 (Rule-based): "왼쪽에서 오른쪽으로, 위아래로 지그재그로 움직여라"라는 엄격한 명령을 내리는 방식입니다.
  • 비유: 마치 초보 운전자가 정해진 코스만 따라가는 것과 같습니다. 복잡한 길이나 예상치 못한 장애물이 나오면 당황해서 멈추거나, 같은 곳을 반복해서 지나치게 됩니다.
• 학습 기반 (RL - 강화학습): 로봇이 스스로 시행착오를 겪으며 배웁니다.
  • 비유: 수천 번의 사고를 겪으며 운전법을 익히는 것입니다. 특정 차종 (물체) 에서는 잘하지만, 전혀 다른 차종 (새로운 물체) 이 나오면 다시 0 부터 배워야 하므로 시간이 너무 오래 걸립니다.

핵심 문제: 기존 기술들은 새로운 물체가 나오면 당황하거나, 센서 잡음 (노이즈) 에 약해 엉뚱한 곳으로 이동하는 등 불안정했습니다.

---

2. ScanDP 의 핵심 아이디어: "사람의 눈과 뇌를 모방한다"

이 연구팀은 로봇에게 "엄격한 규칙"이나 "무작위 시행착오" 대신, 사람이 물체를 스캔할 때 보이는 자연스러운 행동을 가르쳤습니다.

① "점구름" 대신 "지도 (OGM)"를 사용하다

기존의 3D 스캔 기술은 카메라가 찍은 점들의 뭉치 (Point Cloud) 를 그대로 분석했습니다. 하지만 이 점들은 센서 잡음 때문에 흔들리거나 끊어지기 쉽습니다.

• 비유: 점구름 방식은 **"흐릿한 안개 속에서 손으로 만져보는 것"**과 같습니다. 손이 닿는 순간은 알 수 있지만, 전체 그림은 흐릿합니다.
• ScanDP 의 방식: 대신 **3D 격자 지도 (Occupancy Grid Map, OGM)**를 사용합니다.
  • 비유: **"안개 낀 날에도 차분히 쌓아 올린 지도"**입니다. 한 번 찍은 데이터가 흔들려도, 여러 번 찍은 데이터를 합치면 (베이즈 업데이트) "여기는 물체가 있다", "여기는 비어있다"는 확률을 점진적으로 높여가며 명확한 지도를 완성합니다. 덕분에 센서 잡음이 있어도 로봇이 길을 잃지 않습니다.

② "확산 정책 (Diffusion Policy)"으로 사람의 손놀림을 배우다

로봇은 사람이 스캔하는 영상 (데모 데이터) 을 보고 학습합니다. 이때 **'확산 모델 (Diffusion Model)'**이라는 AI 기술을 썼습니다.

• 비유: 소금에 절인 생선에서 소금을 빼내어 원래 생선으로 되돌리는 과정과 비슷합니다. 처음에는 무작위 소음 (무작위 움직임) 에서 시작해, 점차 노이즈를 제거하며 가장 자연스럽고 효율적인 사람의 손길을 복원해냅니다.
• 효과: 아주 적은 양의 데이터 (사람이 스캔한 5 개 정도의 영상) 만으로도, 전혀 다른 모양의 물체가 나오더라도 사람처럼 유연하게 대응할 수 있습니다.

③ "거품 (Bubble)"로 충돌을 방지하다

로봇이 물체에 부딪히지 않도록 하는 안전장치도 도입했습니다.

• 비유: 로봇 카메라 주변에 **투명한 거품 (Bubble)**을 하나 씌운다고 상상해 보세요. 이 거품이 물체 (장애물) 에 닿기 직전까지 안전하다고 판단합니다.
• 효과: 로봇이 "아, 여기는 너무 가까우니까 피해야지"라고 스스로 판단하여 부드럽고 안전한 경로를 찾아갑니다.

---

3. 실제 결과는 어떨까요?

이 기술은 다양한 실험에서 놀라운 성과를 보였습니다.

• 새로운 물체에도 강함: 훈련할 때 본 '토끼 (Stanford Bunny)' 모양만 가르쳤는데, 훈련하지 않은 '용', '얼룩말', '얼룩진 얼룩말' 같은 전혀 다른 물체도 97% 이상을 완벽하게 스캔했습니다. (기존 기술은 70~80% 수준에서 멈추거나 길을 잃었습니다.)
• 잡음에 강함: 센서 데이터에 잡음이 섞여도 (비나 안개 상황), 지도를 계속 업데이트하므로 실수 없이 스캔을 완료했습니다.
• 효율성: 불필요하게 같은 곳을 반복하거나, 엉뚱한 곳으로 이동하는 '지그재그' 움직임을 줄여 이동 거리를 32% 이상 단축했습니다.

---

4. 한 줄 요약

ScanDP는 로봇에게 "엄격한 규칙"을 주입하는 대신, **"사람이 물체를 관찰하는 자연스러운 눈과 뇌 (지도 + 확산 모델)"**를 심어주어, 처음 보는 물체도 실수 없이, 빠르게, 안전하게 3D 로 복제하게 만든 혁신적인 기술입니다.

이 기술이 상용화되면, 박물관의 귀한 유물을 스캔하거나 공장의 복잡한 기계를 점검할 때 사람이 직접 손을 대지 않아도 로봇이 스스로 완벽하게 데이터를 수집할 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 3D 스캐닝은 로봇, 자율 주행, 산업 검사 등 다양한 분야에서 필수적이지만, 수동 스캐닝은 시간 소모가 크고 인간 오류에 취약합니다.
• 기존 방법의 한계:
  • 규칙 기반 (Rule-based): 사전 정의된 전략 (예: Frontier-based exploration) 을 사용하지만, 복잡한 환경이나 미지의 객체에 적응하기 어렵습니다.
  • 강화 학습 (RL): 시행착오를 통해 전략을 학습하지만, 대량의 학습 데이터와 복잡한 보상 설계가 필요하며, 학습된 모델이 보지 못한 객체 카테고리 (Unseen objects) 로의 일반화 (Generalization) 가 어렵습니다.
  • 모방 학습 (IL) 의 문제: 기존 모방 학습 방법은 인간 전문가의 시연을 학습하지만, 예측 불가능한 행동이나 비최적의 경로 (중복 이동 등) 를 생성할 수 있습니다. 또한, 직접적인 포인트 클라우드 처리는 노이즈에 취약하고 다양한 기하학적 구조를 처리하는 데 한계가 있습니다.

2. 제안 방법론 (Methodology: ScanDP)

저자들은 Diffusion Policy를 기반으로 한 데이터 효율적이고 일반화 가능한 3D 스캐닝 프레임워크인 ScanDP를 제안합니다. 이 방법은 크게 두 가지 핵심 구성 요소로 나뉩니다.

A. 경로 생성 (Path Generation)

• 관측 입력 (Observation): 기존 방법들이 포인트 클라우드를 직접 사용하는 대신, **점유 격자 지도 (Occupancy Grid Map, OGM)**를 사용합니다.
  • OGM 의 장점: OGM 은 베이지안 업데이트를 통해 시간에 따른 측정 불확실성을 통합하여 표현합니다. 이는 센서 노이즈에 대한 내성을 높이고 다양한 객체 기하학을 더 잘 처리할 수 있게 합니다.
  • 인코딩: OGM 에서 특징을 추출하기 위해 **Sparse Convolution (SparseConv)**을 사용하여 효율성을 높였습니다.
• Diffusion Policy: 카메라 포즈 (Action) 를 생성하기 위해 조건부 확산 모델 (Conditional Diffusion Model) 을 사용합니다.
  • 입력: 과거 $h$개의 관측치 (OGM 특징 + 카메라 포즈) 를 결합한 특징 벡터.
  • 출력: 다음 $N$단계의 카메라 포즈 시퀀스.
  • 학습: 인간 전문가의 스캐닝 시연을 모방하여 학습하며, 적은 수의 데이터로도 고성능 모델을 훈련할 수 있습니다.

B. 경로 최적화 (Path Optimization)

Diffusion Policy 가 생성한 초기 경로는 인간 모방 특성상 비최적이거나 충돌 위험이 있을 수 있으므로, 이를 보정하는 후처리 단계를 도입합니다.

1. Bubble-based Collision Filter: 생성된 경로상의 각 카메라 위치에서 가장 가까운 장애물 (OGM 에서 점유 확률이 높은 그리드) 까지의 거리를 계산하여 'Bubble(구)'을 정의합니다. 충돌 위험이 있는 위치 ($r < r_{min}$) 는 제거하여 안전한 경로만 선별합니다.
2. Viewpoint Extraction (경로 단순화): 안전한 경로 ($X_{free}$) 에서 불필요한 지점을 제거하여 경로를 최적화합니다.
   • 재구성 손실 (Reconstruction Loss) 을 최소화하면서 경로 점의 수를 줄이는 문제를 **동적 계획법 (Dynamic Programming)**으로 해결합니다.
   • 이를 통해 매끄럽고 효율적인 최종 경로 ($X_{opt}$) 를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 높은 일반화 성능 (Generalizability): 스탠포드 버니 (Stanford Bunny) 와 같은 소량의 데이터로만 학습했음에도, 형태와 크기가 전혀 다른 미지의 객체 (Armadillo, Dragon, Spot 등) 에 대해 높은 스캐닝 커버리지를 달성했습니다.
2. 데이터 효율성 (Efficiency): 대규모 RL 데이터 없이도 소수의 전문가 시연 데이터로 고품질 정책을 학습할 수 있습니다.
3. 강건성 (Robustness):
   • 센서 노이즈: OGM 의 확률적 특성으로 인해 깊이 센서의 노이즈 (Gaussian noise) 에 대해 기존 방법 (DP3) 보다 훨씬 강건합니다.
   • 시야각 (FoV) 변화: 다양한 FoV 를 가진 카메라에서도 안정적인 성능을 유지합니다.
   • 충돌 회피: Bubble 필터를 통해 안전하고 충돌 없는 경로를 보장합니다.

4. 실험 결과 (Results)

• 시뮬레이션 환경 (Genesis Simulator):
  • 커버리지 (Coverage): 미지의 객체 (Scale ×1.0 및 ×1.5) 에서 ScanDP 는 평균 **94.0%**의 커버리지를 달성했으며, 이는 DP(87%) 와 DP3(89%) 보다 우월했습니다. 특히 DP3 은 초기 위치나 객체 크기에 따라 성능이 급격히 저하되는 반면, ScanDP 는 일관된 성능을 보였습니다.
  • 경로 길이 (Path Length): ScanDP 는 경로 최적화 과정을 통해 불필요한 이동을 줄여, 최적화 없이 사용할 때보다 평균 32% 더 짧은 경로를 생성했습니다.
  • 노이즈 내성: 깊이 맵에 0.1 의 가우스 노이즈가 추가되었을 때, ScanDP 는 88% 의 커버리지를 유지했으나, DP3 은 20% 이상 성능이 떨어졌습니다.
• 실제 환경 (Real-world):
  • 6-DoF 매니퓰레이터와 회전대를 사용하여 실제 실험을 수행했습니다.
  • 학습에 사용되지 않은 객체에 대해 **95±2.0%**의 커버리지를 달성했으며, DP3(33±10.0%) 에 비해 월등히 안정적이고 성공적인 스캐닝을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 기술적 혁신: 3D 스캐닝 분야에서 Diffusion Policy 와 OGM 을 결합하여, 기존 RL 기반 방법의 일반화 한계와 모방 학습의 비최적 행동을 동시에 해결했습니다.
• 실용성: 소량의 데이터로 학습 가능하며, 센서 노이즈와 다양한 환경 변화에 강건하여 실제 로봇 시스템 적용 가능성이 높습니다.
• 안전성: 충돌 회피 필터와 경로 최적화를 통해 안전하고 효율적인 스캐닝 경로를 보장하여, 문화재나 정밀 부품과 같은 손상 위험이 있는 객체 스캐닝에 적합합니다.

이 논문은 ScanDP를 통해 데이터 효율성, 일반화 능력, 그리고 실용적인 안정성을 모두 갖춘 차세대 자동 3D 스캐닝 솔루션을 제시했다는 점에서 의의가 큽니다.