기술 요약: CrossTracer

문제 정의

실제 로봇 내비게이션에는 고수준의 시맨틱 목표를 이해하는 동시에 특정 로봇 기체의 물리적 이동성 제약을 엄격히 준방하는 정책이 필요합니다. 최근의 시각-언어-행동(VLA) 모델들은 의사결정을 위한 강력한 시맨틱 사전 지식(prior)을 제공하지만, 그 출력값은 종종 로봇 특유의 이동성에 대한 근거(grounding)가 부족합니다. 예를 들어, 다족 보행 로봇에게는 시맨틱적으로 타당한 경로(예: 거친 지형 횡단)가 바퀴형 로봇에게는 물리적으로 불가능하여 우회해야 할 수도 있습니다. 기존 방식들은 이러한 "기체 격차(embodiment gap)"를 해결하는 데 어려움을 겪습니다. 엔드 투 엔드(end-to-end) VLA 정책은 시맨틱 추론과 제어 제약을 서로 얽히게 만들어 서로 다른 플랫폼으로의 적응을 어렵게 만들며, 유한한 후보 경로 중 하나를 선택하는 계층적 방식은 모든 후보가 국소적으로 불가능한 구간을 포함하고 있을 경우 실패할 수 있습니다. 또한, 기체 인지형 정밀화(refinement) 모델을 훈련시키는 것은 다양한 장면과 로봇 유형에 걸친 트레이스(trace)에 대한 비용이 많이 드는 수동 주석 작업을 요구합니다.

방법론

저자들은 **적응형 트레이스 잔차(adaptive trace residuals)**를 통해 시맨틱 의도와 물리적 근거 사이의 간극을 메우도록 설계된 계층적 프레임워크인 CrossTracer를 제안합니다. 이 시스템은 2D 픽셀 공간의 내비게이션 트레이스가 시맨틱 제안과 기체별 적응을 분리하는 통일된 중간 표현 역할을 한다는 통찰에 기반합니다.

프레임워크는 세 가지 핵심 구성 요소로 이루어집니다:

1. 시각-언어 트레이스 제안 모델 (VL-Tracer):

   • 사전 훈련된 VLA 모델(OmniVLA)을 변형한 이 모듈은 에고센트릭(egocentric) RGB 관측치와 유연한 목표 명세(언어, 픽셀 좌표 또는 둘 다)로부터 초기 기체 불가지론적(embodiment-agnostic) 시맨틱 내비게이션 트레이스($T_{init}$)를 생성합니다.
   • 이 모듈은 특정 로봇의 저수준 제어 공간을 확정하지 않으면서, VLA가 추론한 장면 수준의 구조를 보존하며 이미지 평면상의 정규화된 2D 웨이포인트 시퀀스를 출력합니다.
   • 기존 내비게이션 트레이스 데이터(VAMOS)를 사용하여 저계수 적응(LoRA) 방식으로 미세 조정됩니다.

2. CE-Adapter (기체 인지 정밀화 모듈):

   • 이 모듈은 로봇의 정체성, 시각적 통행 가능성 단서, 그리고 초기 트레이스를 조건으로 하여 **잔차 수정값($\Delta T_e$)**을 예측함으로써 초기 트레이스를 정밀화합니다.
   • 로봇 정체성을 학습 가능한 임베딩($z_e$)으로 매핑하는 멀티모달 아키텍처를 채택하며, 이 임베딩은 특징별 선형 변조(FiLM) 레이어를 통해 시각적 특징을 조절합니다.
   • 교차 주의 집중(cross-attention) 메커니즘을 통해 트레이스 쿼리가 기체 조건부 시각 토큰을 참조하게 함으로써, 모델이 특정 로봇에 대해 어떤 영역이 실행 가능한지 추론할 수 있게 합니다.
   • 최종 트레이스는 $T_e = T_{init} + \Delta T_e$로 계산됩니다.

3. CE-RRT (자동 플래너 감독 라벨링):*

   • 비용이 많이 드는 수동 주석을 피하기 위해, 저자들은 훈련을 위한 참조 트레이스를 생성하는 자동화된 파이프라인인 Cross-Embodiment RRT* (CE-RRT*)를 도입합니다.
   • CE-RRT*는 파노틱 세그멘테이션 마스크를 **로봇 조건부 통행 가능 비용 맵(traversability cost maps)**으로 변환합니다. 서로 다른 시맨틱 카테고리는 특정 로봇의 이동성 제약에 따라 서로 다른 비용이 할당됩니다 (예: 바퀴형 로봇에게 계단은 높은 비용을 갖지만, 다족 로봇에게는 낮은 비용을 가짐).
   • 이미지 평면에서 RRT* 알고리즘을 적용하여 비용을 최소화하고 충돌이 없는 픽셀 공간 트레이스($T^*_e$)를 생성하며, 이는 CE-Adapter의 감독 신호로 사용됩니다.

훈련 목적 함수: CE-Adapter는 다음을 포함하는 복합 손실 함수를 사용하여 최적화됩니다:

• 트레이스 손실 (Trace Loss): 정밀화된 트레이스와 플래너가 감독한 참조 트레이스 사이의 거리를 최소화합니다.
• 통행 가능성 재구성 손실 (Traversability Reconstruction Loss): 시각 인코더가 기체 조건부 비용 맵을 예측하도록 독려합니다.
• 비용 손실 (Cost Loss): 높은 비용을 가진 영역에 위치한 웨이포인트를 페널티 부여하며, 이는 기체 민감도 계수에 의해 가중치가 부여됩니다.
• 매끄러움 손실 (Smoothness Loss): 급격한 방향 변화를 방지하기 위해 트레이스를 정규화합니다.

주요 기여

1. CrossTracer 프레임워크: VLA 기반의 시맨틱 추론과 로봇 조건부 물리적 근거 사이의 통일된 인터페이스로서 정규화된 픽셀 공간 트레이스를 사용하는 계층적 내비게이션 프레임워크를 제안합니다.
2. CE-Adapter & CE-RRT:* 시맨틱 세그멘테이션과 비용 맵으로부터 기체별 참조 트레이스를 합성하는 자동화된 파이프라인(CE-RRT*)을 통해 훈련되어, 적응형 트레이스 잔차를 예측하는 기체 인지 정밀화 모듈을 개발하였습니다. 이는 수동 트레이스 주석의 필요성을 제거합니다.
3. 실증적 검증: NaviTrace 벤치마크에서의 종합적인 평가와 바퀴형 및 다족 로봇에 대한 실제 배포를 통해, 기체 인지형 트레이스 정밀화가 내비게이션 품질과 실행 신뢰성을 크게 향상시킨다는 것을 입증하였습니다.

결과

NaviTrace 벤치마크

CrossTracer는 에고센트릭 관측, 언어, 로봇 유형으로부터 기체 일관적인 트레이스를 생성하는 능력을 테스트하는 NaviTrace 벤치마크에서 평가되었습니다.

• 전반적인 성능: CrossTracer는 총점 45.68을 기록하여, 가장 강력한 범용 베이스라인인 Gemini-2.5-Pro(35.67)보다 10.01점 앞섰습니다(상대적 개선율 28.1%). 또한 가장 강력한 기체 인지 베이스라인인 Robobrain-2.5-8B보다 17.72점 높았습니다.
• 절제 연구 (Ablation Study): CE-Adapter를 제거했을 때(CrossTracer w/o CE-Adapter) 점수가 22.56으로 하락하여, 정밀화 단계의 결정적인 역할을 보여주었습니다. 개선 효과는 "접근성(Accessibility)"(-3.18에서 33.79로) 및 "사회적 규범(Social Norms)"(1.28에서 37.87로)과 같이 물리적 근거가 필요한 카테고리에서 가장 두드显著했습니다.
• 목표 포즈 입력: 추가적인 타겟 픽셀 좌표가 제공되었을 때 시스템 점수는 63.91로 상승하였으며, 이는 정밀한 기하학적 신호가 가용할 때 픽셀 공간 인터페이스의 효과를 입증합니다.

실제 배포

시스템은 이종 플랫폼인 바퀴형 로봇과 다족 로봇에 배포되었습니다.

• 지표: 성공률(SR), 경로 길이 가중 성공률(SPL), 작업 시간 가중 성공률(STT)을 사용하여 평가되었습니다.
• 성능: CrossTracer는 일관되게 베이스라인인 OmniVLA보다 우수한 성능을 보였습니다.
  • 바퀴형 로봇: SR은 0.40에서 0.65로, SPL은 0.37에서 0.59로 향상되었습니다.
  • 다족 로봇: SR은 0.45에서 0.70으로, SPL은 0.31에서 0.58로 향상되었습니다.
• 정성적 분석: 시각적 비교 결과, CrossTracer는 특히 장애물이나 지형 변화가 있는 복잡한 환경에서 인간 전문가의 참조를 더 밀접하게 따르고 목표물로 더 부드럽게 수렴하는 경로를 생성함을 보여주었습니다.

의의 및 주장

본 논문은 CrossTraser가 시맨틱 경로 제안과 물리적 실행 가능성 정밀화를 분리함으로써 로봇 내비게이션의 "기체 격차"를 성공적으로 해결한다고 주장합니다. 통일된 픽셀 공간 트레이스 표현을 사용함으로써, 이 프레임워크는 전체 정책을 다시 훈련하지 않고도 하나의 시맨틱 계획을 서로 다른 로봇 형태에 맞게 적응시킬 수 있습니다.

저자들은 CE-RRT*를 통해 생성된 플래너 감독 신호를 활용함으로써, 수동 트레이스 주석 없이도 기체 인지 모델의 확장 가능한 훈련이 가능함을 강조합니다. 결과는 명시적인 기체 인지형 트레이스 정밀화가 이종 로봇의 물리적 제약에 시맨틱 내비게이션 의도를 접지(grounding)하는 데 필수적이며, 이를 통해 실제 시나리오에서 성공률과 실행 효율성을 높일 수 있음을 시사합니다.

한계 및 향후 과제

저자들은 현재의 데이터 생성 파이프라인이 파노틱 세그멘테이션에 의존하고 있어, 세그멘테이션 오류가 비용 맵과 훈련 트레이스로 전파될 수 있음을 인정합니다. 또한, 서로 다른 기체를 위한 비용 맵 설정은 수동으로 지정되어야 하므로 새로운 플랫폼을 위해서는 전문 지식이 필요합니다. 향후 연구는 로봇 상호작용 데이터를 통해 기체 의존적 통행 가능성을 직접 학습하고, 표현을 3D 장면 구조로 확장하며, 동적 환경을 위한 폐루프(closed-loop) 재계획을 통합하는 것을 목표로 합니다.