FalconApp: Rapid iPhone Deployment of End-to-End Perception via Automatically Labeled Synthetic Data

"End-to-End Perception via Automatically Labeled Synthetic Data"을 통한 iPhone 의 신속한 배포를 위한 FalconApp: 기술 요약서

1. 문제 제기

신뢰할 수 있는 로봇 공학 인식 (조작, 항법, 자율 주행 등) 은 일반적으로 대규모로 수동으로 주석이 달린 실제 데이터셋을 필요로 합니다. 이 과정은 다음과 같은 특징을 가집니다:

• 시간 소모적이고 비용이 많이 듭니다: 마스크와 6-DoF 포즈의 수동 주석 달기는 느립니다.
• Sim-to-Real 격차: 전통적인 시뮬레이터 (예: CARLA, Gazebo) 는 종종 사실적인 렌더링이 부족하여, 시뮬레이션에서 훈련된 모델이 실제 로봇에 배포될 때 성능이 저하됩니다.
• 워크플로우 격차: NeRF 와 3D Gaussian Splatting (GSplat) 과 같은 최근의 발전은 사실적인 재구성을 제공하지만, 캐주얼한 사용자 비디오를 엣지 장치에 배포 가능한 인식 모듈로 변환하는 종단 간 (end-to-end) 워크플로우를 본질적으로 제공하지는 않습니다.

목표: 사용자가 iPhone 에서 강체 (rigid object) 의 짧은 비디오를 촬영하면, 수동 라벨링 없이 몇 분 내에 마스크 감지 및 6-DoF 포즈 추정을 위한 고성능 객체 전용 인식 모듈을 자동으로 생성할 수 있는 시스템을 구축하는 것입니다.

---

2. 방법론

FalconApp 은 네 가지 명확한 단계로 구성된 프론트엔드 - 백엔드 파이프라인을 갖춘 iPhone 애플리케이션입니다:

A. 프론트엔드: 데이터 캡처 (녹화 모드)

• 구현: iOS 용 Swift 로 구축되었습니다.
• 프로세스: 사용자가 강체 주위를 이동하며 짧은 RGB 비디오를 녹화합니다. 앱은 카메라 메타데이터와 함께 다중 뷰 커버리지를 캡처합니다.
• 전송: 비디오와 메타데이터는 수동 파일 전송을 피하기 위해 TCP 클라이언트를 통해 백엔드로 업로드됩니다.

B. 백엔드: 자동화된 합성 데이터 라벨링

• 3D 재구성: 백엔드는 비디오에서 객체를 3D 가우시안 스플래팅 (GSplat) 표현으로 재구성하기 위해 FalconGym을 사용합니다.
• 애셋 편집: FalconGym 2.0 의 Edit API 를 사용하여 객체 스플랫을 배경에서 분리하여 편집 가능한 고립된 3D 애셋을 생성합니다.
• 도메인 무작위화: 객체는 다양한 사실적인 배경 GSplat 과 합성됩니다. 시뮬레이션과 실제 간의 격차를 최소화하기 위해 무작위화된 뷰포인트, 스케일, 조명 조건 하에서 이미지가 렌더링됩니다.
• 자동 라벨링: 렌더링 엔진이 장면을 제어하므로 모든 합성 이미지는 다음 항목과 자동으로 쌍을 이룹니다:
  • 픽셀 단위로 정확한 전경 마스크.
  • 정답 (Ground-truth) 상대 6-DoF 포즈.
  • 빈 장면 이미지 (거짓 긍정을 줄이기 위함).
• 효율성: RTX 4090 GPU 에서 렌더링 및 라벨링은 이미지 (1280×720) 당 약 0.2 초가 소요됩니다.

C. 백엔드: 인식 모듈 훈련

• 아키텍처: 다음을 특징으로 하는 커스텀 네트워크 (그림 4):
  • 특징 추출을 위한 인코더 (Encoder).
  • 마스크 예측 헤드 (Mask Prediction Head).
  • 게이트드 어텐션 포즈 헤드 (Gated-Attention Pose Head): 예측된 마스크가 포즈 헤드를 조건화하여 모델이 배경 잡음을 억제하면서 객체 특징에 집중할 수 있도록 합니다.
• 훈련 전략:
  1. 1 단계: 마스크 예측 최적화.
  2. 2 단계: 합성 라벨을 사용하여 마스크와 포즈를 공동 최적화.
  3. 손실 함수: 세그멘테이션 손실, 포즈 회귀 손실, 그리고 기하학적 일관성을 강제하기 위해 예측된 포즈에서 객체를 다시 렌더링하여 SSIM 을 통해 비교하는 **재투영 일관성 항 (reprojection consistency term)**을 결합합니다.

D. 프론트엔드: 배포 및 추론

• 패키징: 훈련된 모델은 패키징되어 iPhone 으로 다시 전송됩니다.
• 추론: 앱은 모델을 로드하고 들어오는 카메라 프레임에 대해 실시간 추론을 수행합니다.
• 출력: 세그멘테이션 마스크와 카메라에 대한 추정된 6-DoF 포즈를 시각화합니다.
• 지연 시간: 시스템은 실시간 성능 (~30 ms 종단 간 지연 시간) 을 달성합니다.

---

3. 주요 기여

1. 신속한 모바일 배포 파이프라인: 2 분짜리 캐주얼한 iPhone 비디오를 약 20 분 내에 기능적인 객체 전용 인식 모듈로 변환하는 완전한 시스템.
2. 사실적인 자동 라벨링 워크플로우: 완벽한 정답 라벨 (마스크 및 포즈) 을 가진 무한한 합성 훈련 데이터를 생성하기 위해 편집 가능한 GSplat 을 사용하는 새로운 접근 방식으로, 수동 주석 달기의 필요성을 제거합니다.
3. 종단 간 통합: 3D 재구성, 합성 데이터 생성, 모델 훈련, 소비자 하드웨어 (iPhone) 에서의 온디바이스 추론 간의 격차를 성공적으로 연결합니다.

---

4. 실험 결과

이 시스템은 다양한 기하학, 스케일, 대칭성을 가진 **다섯 개의 강체 (Car, Quadrotor, Gate, Plane, Lamp)**에 대해 평가되었습니다.

효율성 지표

• 총 파이프라인 시간: 객체당 약 20 분 (1000 개의 합성 이미지 생성 및 훈련 포함).
• 온디바이스 지연 시간: 프레임당 약 30 ms (~30 fps 추론 가능).
• 재구성 품질: 모든 객체에 걸쳐 높은 사실성 (SSIM 0.71–0.88, PSNR 30.0–32.4).

정확도 지표 (PnP 기준 대비)

FalconApp 은 수동으로 선택된 특징 대응점에 의존하는 전통적인 Perspective-n-Point (PnP) 기준과 비교되었습니다.

지표	FalconApp 성능	PnP 대비 비교
마스크 IoU	0.62 – 0.83	N/A (PnP 는 마스크를 출력하지 않음)
포즈 정확도 (실제 환경)	5 개 중 4 개 객체에서 우수	FalconApp 은 Car, Quadrotor, Gate, Plane 에서 평균 병진 오차 (MTE) 와 평균 각도 오차 (MAE) 를 크게 감소시켰습니다.
실패 사례	Lamp	회전 대칭성으로 인해 방향 추정에 모호성이 생겨 Lamp 의 경우 PnP 보다 성능이 저하되었습니다.

• 실제 환경 전이: 합성 데이터로 훈련된 모델은 서로 다른 배경을 가진 실제 환경에도 잘 일반화되어 효과적인 Sim-to-Real 전이를 입증했습니다.

---

5. 중요성 및 향후 작업

중요성:
FalconApp 은 대규모 수동 데이터 수집 없이도 온디맨드 객체 전용 인식이 가능함을 보여줍니다. 이는 비전문가가 몇 분 내에 모바일 장치에 맞춤형 비전 모델을 배포할 수 있게 함으로써 로봇 공학 인식을 민주화합니다. GSplat 기반 자동 라벨링의 사용은 "라벨링 병목 현상"과 "Sim-to-Real 격차"를 동시에 효과적으로 해결합니다.

한계 및 향후 작업:

• 강체만 지원: 현재는 강체를 가정하며, 변형 가능한 객체는 지원되지 않습니다.
• 대칭성 문제: 방향이 모호한 고도로 대칭적인 객체 (예: 램프) 에서는 성능이 저하됩니다.
• 향후 방향:
  • 대칭성 및 모호성 처리 개선.
  • 더 강력한 도메인 무작위화 기법.
  • 완전 온보드 배포 (전체 파이프라인을 장치에서 실행).
  • 항공 항법 및 조작과 같은 다운스트림 작업과의 통합.