기술 요약: OctoSense: 다중 모달 로봇 인식을 위한 자기 지도 학습(Self-Supervised Learning)

문제 정의

DINO 및 SigLIP과 같이 자기 지도 학습(SSL)을 통해 훈련된 비전 기반 파운데이션 모델은 컴퓨터 비전을 혁신했습니다. 그러나 실제 로봇 환경에서는 단일 센서만으로는 충분하지 않습니다. 카메라는 저조도, 높은 동적 범위(HDR), 급격한 움직임에 취чески하며, LiDAR는 정확하지만 희소한 깊이 정보를 제공하고 의미론적(semantic) 정보가 부족합니다. 또한 관성 센서는 공간적 맥락이 결여되어 있습니다. 게다가 센서들은 서로 다른 시공간적 특성, 데이터 전송률, 그리고 고장 모드(예: 기상 악화로 인한 성능 저하, 패킷 손실)를 가집니다. 기존의 SSL 방법들은 주로 시각 또는 텍스트 데이터나 특정 모달리티(깊이 또는 IMU 등)에 집중되어 있으며, 로봇이 일반적으로 사용하는 다양한 센서로부터 융합된 표현(representation)을 학습할 수 있는 통합된 프레임 de framework가 부족합니다. 본 논문은 대규모의 다양한 다중 모달 데이터셋과 더불어, 환경적 저하나 센서 결함에 탄력적인 표현을 구축할 수 있는 로봇 센서의 이질성을 처리할 수 있는 SSL 방법론의 부재라는 결정적인 공백을 식별합니다.

방법론

1. OctoSense 하드웨어 및 데이터셋

데이터의 부족 문제를 해결하기 위해 저자들은 OctoSense라는 오픈 소스 하드웨어 플랫폼과 데이터셋을 개발했습니다.

• 하드웨어: 이 플랫폼은 스테레오 RGB 카메라, 이벤트 카메라, 열화상 카메라, 64라인 LiDAR, IMU, RTK 보정된 GPS, 그리고 프로프리오셉션(proprioception, 자가 수용 감각) 데이터(자동차의 CAN 버스 및 사족보행 로봇의 관절 각도)를 포함한 8개의 센서를 통합합니다. 시스템은 커스텀 시간 동기화 회로(PPS 신호 및 칼만 스무딩 사용)와 진동 및 열 문제를 완화하기 위한 기계적 설계를 갖추고 있습니다.
• 데이터셋: 공개된 데이터는 도시, 교외, 농촌 환경을 가로지르는 2,474km 구간의 59시간 분량의 시간 동기화된 데이터를 포함합니다. 일출, 주간, 일몰, 야간 등 다양한 조건과 센서 성능 저하 상황(햇빛 반사, 패킷 손실 등)을 포함합니다. 오도메트리(odometry), 깊이, 광학 흐름(optical flow), 세맨틱 세그멘테이션을 위한 정답(ground truth)은 LiDAR-관성 오도메트리(RKO-LIO)와 의사 라벨링(pseudo-labeling)을 사용하여 생성되었습니다.

2. 다중 모달 마스크드 오토인코더 (MAE)

핵심 알고리즘적 기여는 이질적인 센서 입력을 처리하도록 설계된 후기 융합(late-fusion) 마스크드 오토인코더입니다.

• 입력 표현:
  • RGB: 왜곡이 제거되고 정렬된 이미지를 ViT 스타일의 패치로 변转换합니다.
  • 이벤트 카메라: 이벤트 스트림을 누설 적분기(leaky integrators) 뱅크를 통해 처리하여 다채널 이미지 형태의 표현을 생성합니다.
  • LiDAR: 데스큐(deskewing) 과정을 거친 후 레인지 이미지(64 × 512)로 변환된 포인트 클라우드를 사용합니다.
  • IMU: 1.6초 윈도우 동안의 크로스 어텐션 풀링을 통해 토큰화된 가속도계 및 자이로스코프 시계열 데이터입니다.
• 토큰화(Tokenization): 저자들은 서로 다른 통계적 특성을 가진 모달리티 간의 픽셀 단위 MSE 최소화를 피하기 위해 모달리티별 토크나이저로 유한 스칼라 양자화(Finite Scalar Quantization, FSQ)를 채택합니다. 대신 모델은 예측된 토큰과 정답 토큰 사이의 불일치를 최소화합니다. 이를 통해 모델은 다양한 입력에 대해 공유된 이산 잠재 공간(discrete latent space)을 학습할 수 있습니다.
• 아키텍처 (후기 융합):
  • 공간 인코더(Spatial Encoders): 각 타임 스텝마다 각 모달리티가 독립적으로 공간 트랜스포머 인코더에 의해 처리됩니다.
  • 시간 인코더(Temporal Encoders): "튜브렛(tubelet)" 어텐션 메커니즘이 각 모달리티의 시간적 시퀀스를 독립적으로 처리하여 1.4초(8 프레임) 구간의 정보를 집계합니다.
  • 교차 모달 인코더(Cross-Modal Encoder): 최종 트랜스포머 레이어가 모든 모달리티의 토큰을 융합하여 공유된 표현을 생성합니다.
  • 마스킹 전략: 모델은 전체 튜브(시간에 따른 패치)가 마스킹되는 시공간 튜브 마스킹 전략을 사용합니다. 마스킹 비율은 디리클레 분포(Dirichlet distribution)에서 샘플링되어 훈련 중 다양한 정도의 모달리티 결손을 허용합니다.
• 추론 최적화: 아키텍처는 모달리티별 특징을 캐싱하여 추론 시 새로운 측정값만 처리합니다. 이러한 "스트리밍" 기능은 초기 융합(early-fusion) 방식에 비해 레이턴시를 크게 줄여줍니다.

3. 다운스트림 프로브 (Downstream Probes)

사전 훈련 후, 동결된 인코더를 사용하여 작업별 프로브를 훈련합니다:

• 밀집 예측(Dense Prediction): DPT(Dense Prediction Transformer) 헤드가 인코더의 여러 레이어로부터 추출된 특징을 사용하여 깊이, 광학 흐름, 세맨틱 세그멘테이션을 예측합니다.
• 에고 모션(Ego-Motion): 독립적인 크로스 어텐션 모듈이 선속도/각속도, 상대적 이동/회전, 속도 및 조향각을 예측합니다.

주요 기여

1. OctoSense 데이터셋: 스테레오 RGB, 이벤트 카메라, 열화상, LiDAR, IMU, GPS 및 프로프리오셉션을 포함하며, 다양한 환경과 센서 저하 조건을 다루는 대규모(59시간) 오픈 소스 다중 모달 데이터셋을 제공합니다.
2. 모달리티별 토큰화: 통합된 SSL 프레임워크 내에서 서로 다른 센서의 독특한 시공간적 통계를 처리하기 위해 FSQ를 사용하는 프레임워크를 제시합니다.
3. 후기 융합 MAE 아키텍처: 모달리티를 공간 및 시간 인코더를 통해 독립적으로 처리한 후 융합하는 새로운 아키텍처를 통해, 초기 융합 방식보다 훨씬 낮은 레이턴시로 높은 성능을 달 achieve 합니다.
4. 저하에 대한 강건성: 다중 모달 접근 방식이 비전 전용 베이스라인보다 특히 야간 및 센서 저하 시나리오에서 우수한 성능을 보임을 입증했습니다.

결과

저자들은 다섯 가지 작업(깊이 추정, 광학 흐름, 세맨틱 세그멘테이션, 에고 모션 - 이동, 회전, 조향)에 대해 기존 비전 전용 파운데이션 모델(DINOv2, DINOv3, SigLIP 2, Perception Encoder, V-JEPA 2.1) 및 여러 베이스라인(RGB 전용 MAE, 초기 융합 MAE)과 비교 평가했습니다.

• 성능 향상:
  • 깊이(Depth): 후기 융합 MAE는 주간에 가장 우수한 기존 방식(V-JEPA 2.1) 대비 깊이 RMSE를 1.65 m 줄였으며, 야간에는 더 큰 개선을 보였습니다.
  • 광학 흐름(Optical Flow): V-JEPA 2.1 대비 종단 오차(end-point error)를 주간 7.16 픽셀, 야간 8.51 픽셀 개선했습니다.
  • 에고 모션(Ego-Motion): 모델은 이동(0.06 m 오차)과 회전(0.23° 오차)에 대해 거의 완벽한 예측을 달성했으며, 이는 관성이나 기하학적 단서 없이는 어려움을 겪는 RGB 전용 모델을 크게 능가하는 수치입니다.
  • 세그멘테이션(Segmentation): 최고 수준의 기존 모델들과 대등한 성능(0.411 mIoU vs 0.410)을 보였으나, 저자들은 이것이 DINOv2 기반의 의사 라벨 품질에 의해 제한되었을 가능성이 있다고 언급했습니다.
• 강건성: 센서 저하 시나리오에서 후기 융합 MAE는 낮은 오차율을 유지한 반면, 비전 전용 모델은 성능이 크게 저하되었습니다.
• 어블레이션 연구(Ablation Studies):
  • LiDAR: LiDAR를 제거하면 깊이 및 흐름 오차가 급격히 증가하여, 기하학적 작업에서 LiDAR의 지배적인 역할을 확인했습니다.
  • RGB: RGB를 제거하면 주로 세그멘테이션 성능이 저하되었습니다.
  • 이벤트/IMU: 현재 평가된 특정 작업들에 대해서는 미미하게 기여했습니다(아마도 5 Hz의 평가 속도가 센서의 고유 해상도보다 훨씬 낮기 때문일 것입니다). 그러나 저자들은 고속 추적에 대한 잠재력을 언급했습니다.
• 효율성: 후기 융합 아키텍처는 NVIDIA 5090에서 6.68 ms, Orin NX에서 112 ms의 레이턴시를 달성하여, 동등한 초기 융합 아키텍처보다 약 60% 더 빠르며 실시간 로보틱스에 적합합니다.
• 일반화: OctoSense로 훈련된 모델은 다른 센서 구성을 가진 M3ED 데이터셋에서도 경쟁력 있는 성능을 보여 제로샷 일반화 능력을 입증했습니다.

의의 및 주장

본 논문은 환경 저하에 강한 다중 센서 융합이 필드 로보틱스의 핵심적인 가능 기술이라는 점을 주장하며, 이는 '글로벌 로보틱스 기술 로드맵 2025–2035'에서도 강조된 바 있습니다. 저자들은 다음과 같은 방식으로 자신들의 연구가 기존 SSL 방법의 공백을 메운다고 주장합니다:

1. 드라이빙 데이터셋에서 흔히 누락되는 이벤트 카메라와 프로프리오셉션을 포함한 대규모의 다양한 데이터셋을 제공합니다.
2. 후기 융합 MAE가 이질적인 센서로부터 융합된 표현을 효과적으로 학습할 수 있으며, 비전 전용 파운데이션 모델보다 기하학 및 모션 추정 작업에서 우수함을 입증합니다.
3. LiDAR가 견고한 에고 모션과 깊이 추정에 필수적이며, RGB는 세맨틱 작업에 필수적임을 보여줌으로써 제안된 아키텍처가 이러한 상호 보완적인 강점을 활용할 수 있음을 보여줍니다.

저자들은 자신들의 데이터셋 규모가 산업 규모의 파운데이션 모델(DINO 또는 V-JEPA 등)을 훈련하는 데 사용되는 데이터보다 몇 자릿수 작다는 점과 본 연구가 연구용 프로토타입이라는 점을 겸허히 인정합니다. 그들은 진정한 "파운데이션" 모델을 구축하기 위해서는 더 긴 시간 윈도우와 순환 구조(recurrent architectures)를 포함하여 데이터와 네트워크 크기를 확장하는 것이 필요하다고 제언합니다. 또한, 현재 평가에서 이벤트 카메라와 IMU의 기여도가 낮은 것은 센서의 고유 능력에 비해 평가 빈도(5 Hz)가 낮기 때문일 가능성이 높으며, 향후 연구는 고속, 저지연 기동을 목표로 해야 한다고 언급했습니다.