기술 요약: LiDAR 장면 흐름 추정을 위한 TrackCue

문제 제기

LiDAR 장면 흐름 (scene flow) 추정은 자율 주행에 필수적이며, 개별 점에 대한 3 차원 운동 벡터를 제공하여 운동 예측 및 계획과 같은 작업을 지원합니다. 그러나 정답 (ground-truth) 3 차원 운동 주석을 획득하는 것은 과도하게 비용이 많이 들어 자기지도 (self-supervised) 접근법에 대한 의존을 초래합니다. 순방향 자기지도 방법에서의 주요 과제는 정적 점과 동적 점 사이의 심각한 클래스 불균형입니다. 주행 장면의 대부분은 정적 점이기 때문입니다. 이를 해결하지 않으면 모델이 0 흐름 (zero flow) 을 예측하도록 편향되는 경향이 있습니다.

기존의 자기지도 방법들은 서로 다른 감독 전략을 적용하기 위해 점들을 정적 또는 동적으로 분류함으로써 이를 완화하려 시도합니다. 이러한 방법들은 일반적으로 LiDAR 포인트 클라우드에서 공백 영역을 감지하여 동적 점을 식별하는 레이 캐스팅 기반의 동적 인식 매핑 기술인 DUFOMap에 의존합니다. 그러나 DUFOMap 은 LiDAR 데이터의 희소성과 가려짐 (occlusion) 에 취약합니다. 희소하거나 가려진 영역에서는 불완전한 레이 증거로 인해 잘못된 공백 추정이 발생하여 정적 점이 동적으로 잘못 레이블링되거나 움직이는 점이 놓치는 경우가 발생합니다. 이러한 노이즈가 포함된 의사 레이블 (pseudo-labels) 은 잘못된 운동 안내를 제공하여 장면 흐름 학습을 저하시킵니다.

방법론: TrackCue

LiDAR-only 관측의 한계를 극복하기 위해 저자들은 RGB 이미지에서 밀집된 시각적 운동 단서를 활용하여 정적 - 동적 분류를 정제하는 추적 기반 프레임워크인 TrackCue를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통해 작동합니다:

1. 이미지 기반 점 추적

TrackCue 는 LiDAR 점에 고정된 밀집된 궤적을 얻기 위해 점 추정을 재사용합니다.

• 투사 (Projection): DUFOMap 에 의해 초기에 동적으로 레이블링된 LiDAR 점들을 카메라 내부 파라미터와 외부 파라미터를 사용하여 이미지 평면으로 투사합니다.
• 추적 (Tracking): 이러한 투사된 픽셀들은 사전 훈련된 점 추적기 (예: CoTracker3) 를 위한 쿼리로 사용됩니다. 추적기는 연속된 프레임 간에 장기적이고 시간적으로 일관된 궤적을 예측합니다.
• 이점: 이는 LiDAR 관측이 희소하거나 가려져 있을 때도 연속성을 유지하는 밀집된 시각적 운동 단서를 제공하여, 3 차원 도메인 단독으로는 모호한 동적 점들을 식별합니다.

2. 시각적으로 일관된 운동 보상

이미지 공간에서의 추적에서 중요한 과제는 차량의 움직임으로 인한 겉보기 운동과 실제 객체 운동을 구분하는 것입니다.

• 강체 궤적 구성: 각 추적된 점에 대해 차량의 오도메트리 (ego-poses) 를 사용하여 세계 좌표계를 통해 점을 투사함으로써 "강체 궤적 (rigid trajectory)"이 계산됩니다. 이는 정적 점이 정지해 있다면 이미지에서 어디에 나타날 것인지를 나타냅니다.
• 잔차 분석: 시스템은 추적기가 예측한 경로와 강체 궤적 사이의 궤적 잔차 (trajectory residual) 를 계산합니다.
• 선택: 시간 창 (temporal window) 동안 강체 경로에서 일관되게 벗어난 (임계값을 초과한) 궤적을 가진 점들은 독립적으로 움직이는 객체로 식별됩니다. 이는 오도 운동 (ego-motion) 으로 인해 움직이는 것처럼 보이는 정적 점들을 효과적으로 필터링합니다.

3. 시각적 운동 단서 리프팅 (Lifting)

2 차원 이미지 평면에서 정제된 운동 단서들은 다시 3 차원 LiDAR 도메인으로 전달됩니다.

• 연관 (Association): 오도 보상된 이미지 궤적들은 투사된 이미지 공간에서의 최근접 이웃 검색을 통해 동일한 프레임의 LiDAR 점들과 연관됩니다.
• 레이블 정제: 추적된 궤적과 LiDAR 점 사이의 거리가 특정 리프팅 반경 (lifting radius) 내에 있으면, 해당 LiDAR 점은 동적 단서를 받습니다.
• 결과: 이 과정은 희소한 LiDAR 기하학으로 인해 놓친 동적 점들을 복구하며, 원래 DUFOMap 레이블을 보완하는 정제된 정적 - 동적 레이블 집합 ($P_{TrackCue}$) 을 생성합니다.

주요 기여

1. TrackCue 프레임워크: 밀집된 시각적 운동 단서를 사용하여 동적 점을 식별하기 위해 이미지 기반 점 추정을 통합하는 자기지도 LiDAR 장면 흐름을 위한 새로운 파이프라인으로, LiDAR-only 방법의 희소성 한계를 극복합니다.
2. 시각적으로 일관된 운동 보상: 오도 포즈에서 유도된 강체 궤적과 추적된 이미지 궤적을 비교함으로써 오도로 인한 겉보기 운동에서 실제 객체 운동을 분리하는 전략입니다.
3. 시각적 운동 단서 리프팅: 오도 보상된 2 차원 궤적 증거를 3 차원 LiDAR 점으로 투사하여 자기지도 감독의 신뢰성을 향상시키는 정제된 정적 - 동적 레이블을 생성하는 메커니즘입니다.

실험 결과

저자들은 Argoverse 2 데이터셋에서 TrackCue 를 평가하고 Waymo, nuScenes, TruckScenes, AEVAScenes에서 제로샷 (zero-shot) 일반화를 테스트했습니다. 이 방법은 SeFlow, SeFlow++, TeFlow라는 세 가지 기본 자기지도 프레임워크에 통합되었습니다.

• 레이블 품질: TrackCue 는 동적 의사 레이블의 품질을 크게 향상시켰습니다. DUFOMap 과 비교하여 동적 가양성 (false-positive) 레이블을 35.6% 감소시켰으며, SeFlow 컨텍스트에서 동적 분류의 F1 점수를 36.7% 에서 42.4% 로 향상시켰습니다.
• 장면 흐름 성능: 정제된 레이블은 장면 흐름 추정 지표 (Dynamic Bucket-Normalized EPE) 에서 측정 가능한 향상을 이끌었습니다.
  • Argoverse 2 리더보드에서 TrackCue 는 SeFlow++ 의 전체 오차를 4.06 포인트 감소시켰습니다.
  • 보지 못한 데이터셋 (예: AEVAScenes 에서 13.09 포인트 감소) 에 대한 제로샷 설정에서 개선이 특히 두드러졌는데, 이는 고품질의 의사 레이블이 데이터셋 간 일반화를 향상시킨다는 것을 시사합니다.
• 정성적 분석: 시각화는 TrackCue 가 동적 객체에 대한 흐름 속도를 정확하게 추정하고, 정적 점들을 동적으로 잘못 분류하는 기본 모델들에서 흔히 발생하는 실패 모드인 정적 배경 영역에서의 오류 흐름 추정을 방지함을 보여주었습니다.

중요성 및 주장

이 논문은 RGB 이미지를 단순히 특징 표현을 향상시키기 위한 것이 아니라 3 차원 장면 흐름 추정을 위한 **교차 모드 감독 (cross-modal supervision)**을 제공하기 위해 통합함으로써 TrackCue 가 미래 연구에 유망한 방향을 제시한다고 주장합니다. 비디오 데이터의 시간적 일관성과 밀도를 활용함으로써 이 방법은 LiDAR 센서의 고유한 희소성과 가려짐 문제를 해결합니다.

저자들은 그들의 작업이 효과적인 장면 흐름 학습의 전제 조건인 자기지도 동적 레이블의 신뢰성 정제에 초점을 맞추고 있음을 강조합니다. 그들은 이 방법이 성능을 향상시키지만 한계가 없지는 않다고 지적합니다. 3 차원에서 2 차원으로의 투사는 필연적으로 기하학적 정보를 잃어 작거나 먼 객체에 영향을 줄 수 있습니다. 향후 작업은 공간적 제약을 제공하기 위해 SAM 과 같은 기반 모델 (foundation models) 로부터의 객체 마스크를 통합하고, 더 풍부한 교차 모드 정보 교환을 탐구할 것으로 제안됩니다.

궁극적으로, 이 논문은 다중 모드 단서를 통해 의사 레이블의 충실도를 향상시키면서 비용이 많이 드는 수동 주석에 대한 의존을 줄이는 것이 확장 가능하고 견고한 자율 주행 인식 시스템으로 나아가는 중요한 단계라고 주장합니다.