기술 요약: FalconTrack

문제 정의

비전 기반 항공 추적은 특히 GPS가 제한된 환경에서 교통, 환경 모니터링, 수색 및 구조와 같은 응용 분야에 필수적입니다. 그러나 신뢰할 수 있는 추적 시스템을 개발하려면 대규모의 정확하게 라벨링된 데이터셋이 필요합니다. 기존 방식은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 수동 주석 비용: 실제 데이터셋(예: ImageNet, BDD100K)은 비용이 많이 들고 시간이 오래 걸리며 오류가 발생하기 쉬운 인간의 주석 작업에 의존하며, 이는 불규칙하고 비매개변수적인 객체에 적합하게 확장되지 못합니다.
2. Sim-to-Real 격차: CARLA나 Gazebo와 같은 시뮬레이터는 자동화된 라벨링을 제공하지만, 그 출력물은 종종 사실감이 부족하여 모델을 실제 환경에 배치했을 때 성능이 저하됩니다. 반대로, 사진처럼 사실적인 생성 모델(예: 확산 기반 모델)은 정밀한 6-DoF 포즈 라벨을 제공하지 못하거나 타겟의 외형 충실도를 보장하지 못하는 경우가 많습니다.
3. 제한된 일반화 능력: 현재의 항공 추적 방법은 특정 궤적 기하학이나 단일 객체 유형(예: 정적 게이트)에 과적합되는 경향이 있으며, 불규칙하고 동적으로 움직이는 타겟이나 미지의 배경으로 일반화하는 데 실패합니다.

방법론

저자들은 제로샷 sim-to-real 전이를 가능하게 하기 위해 자동화된 데이터 생성과 물리 기반 추적 컨트롤러를 통합한 통합 프레임워크인 FalconTrack을 제안합니다.

1. 자동 라벨링 파이프라인

데이터 부족과 사실감 격차 문제를 해결하기 위해, 저자들은 FalconGym 2.0 시뮬레이터 내에서 **3D Gaussian Splatting (GSplat)**을 사용하는 자동화된 파이프라인을 개발했습니다:

• 데이터 수집: 타겟 객체를 촬영한 짧은(약 2분) 핸드헬드 비디오를 캡처합니다.
• 재구성 및 분리: 비디오를 사용하여 타겟 객체의 3D Gaussian Splatting 모델을 재구성합니다. SAGA와 FalconGym 2.0 Edit API를 사용하여 배경으로부터 타겟의 splats를 분리합니다.
• 합성 및 렌더링: 분리된 타겟 GSplats를 도메인 무작위화(포즈, 스케일, 조명 변화) 하에 다양한 배경 GSplats와 결합합니다.
• 라벨 생성: 알려진 카메라 내부/외부 파라미터와 렌더링 변환을 사용하여, 각 렌더링 프레임에 대해 픽셀 단위로 정확한 세그멘테이션 마스크와 6-DoF 포즈 라벨을 자동으로 생성합니다.
• 효율성: 이 과정은 수동 주석 없이 20분 이내에 약 10,000개의 라벨링된 이미지(RGB, 마스크, 클래스, 포즈)를 생성합니다.

2. 통합 인지 모듈

인지 모듈은 온보드 배포를 위해 설계된 멀티 헤드 신경망입니다:

• 아키텍처: 공유된 ResNet-18 인코더가 분류(classification), 세그멘테이션(mask), 6-DoF 포즈 회귀(regression)를 담당하는 세 개의 헤드로 연결되는 구조를 사용합니다.
• 게이트 어텐션(Gated Attention): 포즈 헤드는 예측된 마스크를 조건으로 하는 게이트 어텐션을 사용하여, 방향 추정에 필요한 외형 단서는 보존하면서 배경 노이즈를 억제합니다.
• 단계별 학습: 안정성을 확보하기 위해 네트워크는 세 단계로 학습됩니다:
  1. 분류 헤드 학습 (다른 헤드는 고정).
  2. 분류 및 세그멘테이션 헤드 학습 (포즈 헤드는 고정).
  3. 모든 헤드를 공동 학습.
• 재투영 일관성(Reprojection Consistency): 핵심 혁신 요소는 재투영 손실(reprojection loss)을 포함하는 것입니다. 예측된 포즈를 사용하여 FalconGym 2.0에서 타겟을 재렌더링하고, 그 결과를 SSIM을 사용하여 입력 이미지와 비교합니다. 이는 기하학적 일관성을 강제하고, 특히 요(yaw) 오차를 교정합니다.

3. 물리 기반 추적 컨트롤러

추적 컨트롤러는 인지 모듈의 출력과 타겟 역학을 융합하여 견고한 추적을 유지합니다:

• 상태 추정: 확장 칼만 필터(EKF)는 인지 모듈의 원시 포즈 추정치와 클래스별 역학 사전 정보(예: F1-tenth를 위한 Dubuns car 모델, 쿼드로터를 위한 강체 역학, 게이트를 위한 이중 적분기 모델)를 융합합니다. 이를 통해 노이즈를 완화하고 시스템이 일시적인 시야 이탈 상황에서도 복구할 수 있도록 합니다.
• 비주얼 서보잉(Visual Servoing): 포즈 기반 비주얼 서보잉(PBVS) 컨트롤러는 EKF로 추정된 상태와 원하는 상대적 오프셋(타겟 클래스별로 상이함)을 사용하여 바디 프레임 기준 속도 및 요(yaw) 속도 명령을 생성합니다.

주요 기여

1. 자동 라벨링 파이프라인: 수동 주석 없이도 다양하고 불규칙한 객체에 대해 사진처럼 사실적인 자동 라벨링 데이터셋을 생성하는 방법론을 제시하여, sim-to-real 격차를 크게 줄였습니다.
2. 통합 멀티 헤드 인지: 단계별 학습과 재투로잉 일관성을 활용하여 세 가지 기하학적으로 다양한 객체(F1-tenth 차량, 쿼드로터, 게이트) 및 미지의 배경에 대해 제로샷 전이를 달성하는 인지 아키텍처를 구현했습니다.
3. 물리 기반 추적: 클래스 조건부 역학 사전 정보를 EKF에 통합하여, 다양한 타겟 유형과 궤적에 대해 실제 하드웨어에서 견고한 추적을 가능하게 하는 폐루프 추적 시스템을 구축했습니다.

실험 결과

프레임워크는 FalconGym 2.0 시뮬레이션과 두 가지 환경에서의 실제 쿼드로터(NVIDIA Jetson Orin)를 통해 평가되었습니다.

• 인지 성능:
  • 전체 FalconTrack 모델은 제로샷 sim-to-real 전이에서 96–100%의 클래스 정확도를 달달성했습니다.
  • 평균 이동 오차(MTE) 및 평균 각도 오차(MAE) 측면에서 베이스라인(PnP 및 뉴럴 포즈 추정기)보다 우수한 성능을 보였습니다.
  • 절제 연구(Ablation studies)를 통해 단계별 학습과 재투영 손실이 모두 포즈 정확도를 유의미하게 향상시킨다는 것을 확인했습니다.
• 추적 성능:
  • 성공률: FalconTrack은 시뮬레이션과 실제 하드웨어 시험 모두에서 F1-tenth 및 게이트 타겟에 대한 폐루프 추적에서 100% 성공률을 기록했습니다.
  • 견고성: 실제 F1-tenth 추적 시, FalconTrack은 100% 성공률을 유지한 반면, 마스크 중심 비전 베이스라인은 빠른 시야 이탈 시나리오에서 60%의 성공률로 떨어졌습니다.
  • 실시간 작동: 온보드 시스템은 약 25 Hz로 작동하며, 이는 실시간 제어에 충분한 속도입니다.
• 운용 설계 영역(ODD): 시스템은 타겟 거리가 2에서 6 바디 길이 사이일 때 신뢰할 수 있는 성능을 보여줍니다.

의의 및 주장

본 논문은 FalconTrack이 불규칙한 객체에 대해 사진처럼 사실적인 이미지 합성과 자동 라벨링 사이의 간극을 성공적으로 메웠다고 주장합니다. 자동 라벨링 파이프라인과 물리 기반 추적 컨트롤러를 결结合함으로써, 시스템은 수동 주석이나 타겟별 재학습 없이도 견고한 제로샷 sim-to-real 전이를 달성합니다. 저자들은 이 접근 방식이 서로 다른 객체 기하학 및 환경에 걸쳐 일반화될 수 있음을 강조하며, 정적 게이트에 국한되거나 수동 라벨링이 필요했던 기존 방식의 한계를 극복했다고 밝힙니다.

저자들은 현재의 한계점도 솔직하게 언급했습니다: 시스템은 실행당 단일 타겟을 가정하며, 초기 GSplat 재구성을 위해 짧은 비디오가 필요하므로(미지의 객체에 대한 오픈 월드 배포에 제한적임), 안전상의 이유로 매우 빠른 타겟(> 2 m/s) 또는 쿼드로터 대 쿼드로터 시나리오에 대해서는 아직 검증되지 않았습니다.