기술 요약: DisFlow – 거리 필드로부터의 장면 흐름(Scene Flow)

문제 정의

동적 객체의 포즈와 운동을 추정하는 것은 로봇 인지에서 매우 중요한 과제로, 조작(manipulation), 파지(grasping), 내비게이션과 같은 작업에 필수적입니다. 고전적인 SLAM(Simultaneous Localization and Mapping) 및 재구성 방식은 정적인 환경에서는 뛰어나지만, 부분적이고 노이즈가 섞인 관측으로부터 객체의 운동과 표면 기하 구조를 동시에 추론하기 어렵기 때문에 동적 객체 처리에 어려움을 겪습니다.

기존 접근 방식들은 다음과 같은 구체적인 한계점을 가집니다:

• 추적 중심 방법(예: 광학 흐름 기반 또는 학습 기반 파이프라인)은 포즈와 속도 추정치는 제공하지만, 밀도 있고 시간적으로 일관된 표면 재구성을 유지하는 데 실패하여 접촉 추론(contact reasoning)에 활용하기에는 한계가 있습니다.
• 재구성 중심 방법(예: TSDF fusion)은 명시적인 표면을 구축하지만, 주로 정적인 장면을 위해 설계되었습니다. 이들은 확률적 표현과 불확ability(uncertainty) 추정치를 결합하는 데 미흡하며, 이는 안전 및 계획 수립에 있어 매우 중요합니다.
• 학습 기반 방법은 대규모 학습 데이터와 특정 객체 카테고리에 의존하므로 일반화 능력이 제한됩니다.

따라서 실시간 6DoF 포즈 추적, 속도 추정, 그리고 불확실성 정량화를 포함한 밀도 있는 표면 재구성을 동적 객체에 대해 동시에 제공할 수 있는 프레임워크에 대한 공백이 존재합니다.

방법론: DisFlow 프레임워크

DisFlow는 거리 필드(distance field)로부터 장면 흐름(scene flow)을 직접 추정함으로써 이 공백을 해결하며, 이를 통해 온라인 6DoF 포즈 및 속도 추정과 확률적 표면 재구성을 가능하게 합니다. 이 프레임워크는 **객체 중심 참조 프레임(object-centric reference frame)**에서 작동하여 시간적 흐름에 따른 기하학적 일관성을 보장합니다.

1. 암시적 표면 표현 (GPIS)

객체의 기하 구조는 **가우시안 프로세스 암시적 표면(Gaussian Process Implicit Surfaces, GPIS)**을 사용하여 표현됩니다. 이산적인 볼륨 그리드(예: TSDF)와 달리, GPIS는 연속적이고 미분 가능하며 확률적인 모델을 제공합니다.

• 제약 조건: 모델은 표면 점(zero level set)과 표면 법선(gradient constraints)을 모두 사용하여 학습됩니다.
• 예측: 임의의 쿼리 지점에 대해 GPIS는 부호 있는 거리(signed distance)와 그 기울기(gradient), 그리고 분산(불확실성) 추정치를 예측합니다.
• 확장성: 실시간 작동을 위해 3D 도메인은 **옥트리(octree)**를 사용하여 분할됩니다. 각 노드는 인근 샘플에 대한 로컬 GP를 유지하여, 새로운 프레임이 도착함에 따라 효율적인 점진적 업데이트를 수행합니다.

2. 장면 흐름 공식화 (DisFlow)

핵심 혁신은 객체가 이동함에 따라 표면 점들이 시간이 지남에 따라 어떻게 이동하는지를 설명하는 DisFlow를 계산하는 것입니다.

• 수송 방정식(Transport Equation): 이 방법은 $\frac{\partial d(x, t)}{\partial t} + v(x, t)\nabla d(x, t) = 0$ 식을 활용합니다. 여기서 $d$는 부호 있는 거리 함수이고 $v$는 장면 흐름입니다.
• 메커니즘: 높은 프레임 레이트에서 GPIS 표현으로부터 거리와 기울기를 쿼리함으로써, 시스템은 연속적인 흐름 필드를 도출합니다. 이 흐름은 명시적인 특징 매칭 없이도 연속적인 관측치 간의 암시적인 점 대 점(point-to-point) 대응 관계를 설정합니다.

3. 포즈 및 속도 추정

포즈 추정은 관측된 포인트 클라우드(객체 프레임으로 변환된)를 암시적 표면과 정렬하는 최적화 문제로 공식화됩니다.

• 목적 함수: 부호 있는 거리의 제곱합($E = \sum d(x_j)^2$)을 최소화합니다.
• 최적화: 현재 포즈 추정치를 기준으로 문제를 선형화하여, 트위스트 증분(twist increment) $\xi$(병진 및 회전)를 폐쇄형(closed form)으로 해결합니다. 이때 기울기 $\nabla d(x)$가 대응 방향 역할을 합니다.
• 정규화: 노이즈와 부분적 관측에 대한 강건성을 확보하기 위해, 시간적 정규화 항을 도입하여 연속 프레임 간의 매끄러움을 강제하고 예측된 속도로부터의 편차에 페널티를 부여합니다.

4. 객체 중심 퓨전 (Object-Centric Fusion)

전통적인 방식이 카메라 또는 월드 프레임에서 데이터를 퓨전하는 것과 달리(복잡한 동적 포인트 제거가 필요함), DisFlow는 관측치를 직접 객체 프레임으로 퓨전합니다.

• 과정: 포즈 $T^k_{oc}$가 추정되면, 새로운 점들은 객체 프레임으로 변환되어 해당하는 옥트리 클러스터에 추가됩니다.
• 이점: 객체 프레임 내에서 표면은 본질적으로 정적입니다. 이는 파이프라인을 단순화하고, 동적 포인트 필터링의 필요성을 제거하며, 급격한 움직임 중에도 기하 구조가 시간적으로 일관되게 유지되도록 보장합니다.

주요 기여

1. DisFlow 프레임워크: 즉각적인 거리 필드를 활용하여 장면 흐름을 복구하고, 실시간 6DoF 포즈 및 선속도/각속도 추정과 함께 확률적 표면 재구성을 가능하게 하는 새로운 시스템입니다.
2. 객체 중심 전략: 맵을 객체 프레임에서 유지함으로써 자연스럽게 동적 객체를 처리하고, 기하학적 일관성을 보장하며 퓨전 과정을 단순화합니다.
3. 통합된 출력: 시스템은 실시간 포즈 궤적, 객체 속도, 밀도 있는 표면 재구성 및 불확실성 추정치를 동시에 제공하며, 추적이나 재구성에만 집중하는 베이스라인 모델들을 능가합니다.

실험 결과

본 프레임워크는 Fast-YCB 데이터셋과 회전하는 사람 및 날아다니는 물체를 포함한 실제 시퀀스에서 평가되었습니다.

정량적 평가

• 포즈 추적: DisFlow는 Fast-YCB 데이터셋에서 베이스라인들(DOPE, PoseRBPF, TrackNet, ROFT)을 크게 앞질렀습니다.
  • 003 크래커 박스의 경우, ADD-AUC 92.44%(ROFT의 78.50% 대비)를 달성하였으며, 병진 RMSE는 0.790 cm였습니다.
  • 기하학적 제약이 약한 매끄럽고 대칭적인 006 머스터드 병의 경우에도 **ADD-AUC 94.83%**와 병진 RMSE 0.498 cm를 기록하며 강건함을 입증했습니다.
• 속도 추정: 속도를 제공하는 유일한 베이스라인인 ROFT와 직접 비교했을 때, DisFlow는 선속도 RMSE를 절반 이상 줄였으며(예: 크래커 박스의 경우 5.237 cm/s에서 2.311 cm/s로 감소), 각속도 정확도를 크게 향상시켰습니다.
• 표면 재구성: Chamfer distance와 Hausdorff distance 메트릭을 사용했을 때, DisFlow는 TSDF 기반 퓨전보다 더 정확한 메쉬를 생성했습니다.
  • Chamfer distance는 0.0059(TSDF)에서 0.0045로 개선되었습니다.
  • 미세 임계값(1mm 및 2mm)에서의 F-score가 실질적으로 높아졌으며, 법선 일관성(normal consistency) 또한 개선되었습니다.

정성적 평가

• 일관성: 360° 인간 회전 및 빠른 "날아다니는 도넛" 동작이 포함된 시퀀스에서, 재구성된 객체는 객체 프레임 내에서 끊김 없는 고정된 포인트 클라우드로 유지되었으며, 시작 지점으로 돌아왔을 때 드리프트나 정렬 불량이 관찰되지 않았습니다.
• 불확실성 시각화: GPIS의 확률적 특성 덕분에 메쉬 상의 불확실성을 시각화할 수 있었으며, 이는 관측이 제한된 영역을 강조하여 능동적 센싱(active sensing)에 유용함을 보여주었습니다.

의의 및 한계

본 논문은 DisFlow가 추적 중심 방법과 재구성 중심 방법 사이의 간극을 메운다고 주장합니다. 이 연구의 의의는 밀도 있는 기하 구조, 운동 추정, 불확실성을 동시에 제공하는 통합된 확률적 프레임워크를 제시했다는 점에 있습니다. 이는 파지 계획(grasp planning) 및 충돌 체크와 같이 안전한 상호작용이 필요한 다운스트림 로봇 작업에 특히 가치가 있습니다.

한계점:
저자들은 이 방법이 기하학적 제약에 의존한다고 언급했습니다. 거의 평면에 가깝거나, 구조가 최소화되어 있거나, 높은 대칭성을 가진 객체(예: 캔 또는 병)의 경우 제약이 약해져 최적화 솔루션이 모호해질 가능성이 있습니다. 현재 작업은 기하학 중심의 공식화에 집중하고 있으며, RGB 이미지 특징의 통합은 향후 과제로 남겨두었습니다.