기술 요약: 웨이포인트를 넘어: 교차 구현체 의미 기반 항해를 위한 이중 히트맵 그라운딩

1. 문제 정의

본 논문은 인간 - 로봇 상호작용의 근본적인 과제인 개방형 의미 지시를 물리적으로 실행 가능한 국부 목표에 그라운딩하는 문제를 다룹니다. 전통적인 항해는 측정 지도에 의존하며, 기존 비전 - 언어 항해 (VLN) 프레임워크는 종종 결정론적 웨이포인트를 회귀시키지만, 이러한 접근법은 실제 세계 배포에서 치명적인 한계를 겪습니다:

• 공간 불확실성 붕괴: 경직된 점 회귀는 단일 좌표를 강제하여 유효한 서식 위치의 다중 모달 특성을 무시합니다.
• 비통과 가능 목표: 결정론적 방법은 종종 물체의 기하학적 중심 (예: 소파의 중심) 을 목표로 하여 통과 가능한 자유 공간 대신 충돌을 유발합니다.
• 방향 제약 부재: 단순한 좌표는 "창문을 바라보라"거나 "사람을 동반하라"와 같은 방향을 포함하는 복잡한 의도를 포착하지 못합니다.
• 교차 구현체 취약성: 특정 좌표를 출력하도록 훈련된 모델은 다른 운동학적 제약이나 발자국을 가진 로봇으로 이전될 때 종종 실패합니다.

저자들은 로봇이 즉각적인 센서 범위 내의 목표물로 항해하기 위해 간결하고 교차된 멀티모달 프롬프트 (텍스트 및/또는 참조 이미지) 를 수신하는 시야 (FOV) 내 의미 기반 항해에 중점을 둡니다.

2. 방법론

제안된 솔루션은 단일 점 회귀를 대신하여 1 인칭 2D 이미지 공간에서 직접 예측되는 이중 히트맵 표현을 통합한 비전 - 언어 프레임워크입니다.

2.1 이중 히트맵 표현

단일 $(x, y)$ 좌표를 출력하는 대신, 모델은 두 개의 밀집 확률 히트맵을 예측합니다:

1. 항해 히트맵 ($H_{nav}$): "서 있을 수 있는 affordance(행위 가능성)"를 나타냅니다. 물체 중심이 아닌 연속적인 도달 가능 영역 (예: 물체 옆의 바닥 공간) 을 포착합니다. 비통과 가능 픽셀은 0 이며, 자유 공간의 값은 목표까지의 거리에 따라 단조 감소하며 $[0, 1]$로 정규화됩니다.
2. 향해 히트맵 ($H_{fac}$): 방향 제약을 인코딩합니다. 이는 향하는 목표의 기하학적 중심에 위치한 2D 가우시안으로 정의되어, 이산적인 방향 선택을 연속적인 공간 확률로 변환합니다.

이러한 히트맵은 미분 가능한 의미 잠재장 (semantic potential field) 으로 기능하여 하류 국부 계획자가 의미 의도를 충돌 비용 및 운동학적 제약과 통합할 수 있게 합니다.

2.2 모델 아키텍처

시스템은 Qwen3-VL(8B 파라미터 모델) 기반의 듀얼 스트림 아키텍처를 사용합니다:

• 백본: 오픈 - 어휘 능력을 유지하기 위해 LoRA 파인튜닝 ($r=16, \alpha=32$) 을 적용한 Qwen3-VL 을 사용합니다.
• 특징 추출: ViT 인코더의 스택된 심층 시각 특징 ($F_{vis}$) 과 VLM 디코더의 컨텍스트 특징 ($F_{vlm}$) 을 연결합니다.
• 교차 어텐션: 시각 토큰을 쿼리로, VLM 토큰을 키/값으로 사용하여 모달리티를 융합하며, 패딩되거나 어시스턴트 토큰으로부터의 정보 유출을 방지하기 위한 마스킹 메커니즘을 적용합니다.
• 좌표 인식 디코더: CenterNet 에서 영감을 받아, 디코더는 정규화된 좌표 채널 $(x, y)$을 융합된 특징과 연결합니다. 1x1 병목 구조와 다중 스케일 집계를 위한 ASPP 를 활용하며, $H_{nav}$와 $H_{fac}$를 위한 병렬 컨볼루션 브랜치를 따릅니다. 저자들은 체커보드 아티팩트를 피하기 위해 명시적으로 Resize-Conv 업샘플링을 사용합니다.

2.3 훈련 및 데이터 파이프라인

• 자동화된 합성 데이터: Isaac Sim, Kujiale, GRUtopia 애셋을 사용하는 완전 자동화 파이프라인이 쌍을 이루는 멀티모달 지시와 affordance 히트맵을 생성합니다. 기반 모델 (Gemini, SAM3) 이 애셋 정규화, 마스크 추출, 참조 이미지 생성을 처리합니다.
• 손실 함수: 항해를 위한 이진 교차 엔트로피 (BCE) 와 향해를 위한 가우시안 재가중 포커스 로스의 가중 합입니다. 훈련 중 두 목표를 균형시키기 위해 동적 어닐링 전략이 사용됩니다.
• 시스템 통합: 예측된 히트맵은 깊이 및 외행렬을 사용하여 3D 기하학 공간으로 투영됩니다. 모델 예측 경로 적분 (MPPI) 국부 계획자가 궤적을 샘플링하여 히트맵에서 통합된 의미 보상과 물리적 충돌 비용을 기반으로 평가합니다.

3. 주요 기여

1. 새로운 프레임워크: 유연한 교차 멀티모달 입력 (텍스트, 이미지, 또는 둘 다) 을 지원하는 오픈 - 어휘 의미 기반 항해 프레임워크를 도입하여 FOV 내 목표 고정 (anchoring) 을 가능하게 합니다.
2. 이중 히트맵 표현: 항해 가능 affordance 와 방향 제약을 밀집 확률장으로 예측함으로써 고수준 VLM 추론과 저수준 장애물 회피를 연결하는 방법으로, 의미 정확성과 물리적 도달 가능성을 모두 보장합니다.
3. 자동화된 데이터 파이프라인: affordance 히트맵과 쌍을 이루는 대규모 멀티모달 지시 합성 데이터셋을 생성하기 위한 포괄적이고 기반 모델 지원 파이프라인입니다.
4. 교차 구현체 검증: 시뮬레이션에서 다양한 로봇 구현체 (휠 기반 Jetbot, 휴머노이드 H1, 4 족 Aliengo) 에 걸쳐 견고한 성능을 입증했습니다.

4. 실험 결과

본 프레임워크는 8B 파라미터 베이스라인 (InternVLA-N1-System2, Molmo, Qwen3-VL-Instruct) 과 MP3D val_test 분할 및 세 가지 로봇 유형에 대한 시뮬레이션에서 평가되었습니다.

• 벤치마크 성능: 제안된 방법은 제로샷 성능에서 최첨단 (SOTA) 성과를 달성했습니다. 특히 항해 재현율 (Navigation Recall) (Qwen3-VL 의 0.2044 대비 0.6740) 과 전체 F1 점수 (0.3758 대비 0.4917) 가 크게 향상되었습니다.
• Affordance Rate (AR): 모델은 0.7265의 AR 을 달성하여 베이스라인 (예: Molmo 의 0.2492) 을 크게 상회했으며, 이는 물리적으로 실행 가능한 자유 공간에 목표를 배치하는 능력이 우수함을 나타냅니다.
• 특징 융합: 절제 연구 (ablation studies) 는 ViT 특징과 VLM 특징 간의 교차 어텐션이 가장 좋은 균형을 제공하여 직접 추가 또는 VLM 전용 베이스라인을 능가함을 보여주었습니다. 이는 언어 컨텍스트로 시각 특징을 명시적으로 강화하는 것의 가치를 확인시켜 줍니다.
• 시뮬레이션 검증: Jetbot, H1, Aliengo 전반에 걸쳐 제안된 모델은 보거나 보지 못한 장면 모두에서 파인튜닝된 Qwen3-VL 베이스라인보다 훨씬 높은 **성공률 (SR)**을 달성했습니다 (예: Jetbot 보인 장면에서 0.4146 대비 0.7012).
• 생존자 편향 분석: 논문은 베이스라인이 때때로 더 낮은 항해 오차 (NE) 를 보이지만, 이는 베이스라인이 생성한 소수의 유효 예측에 대해서만 오차를 보고하는 "생존자 편향"에 기인한다고 지적합니다. 반면 히트맵 접근법은 훨씬 더 높은 비율의 에피소드에서 유효한 점을 성공적으로 예측합니다.

5. 중요성 및 주장

본 논문은 경직된 점 회귀를 버리고 밀집 히트맵 예측을 채택함으로써 전통적 의미 기반 항해의 취약성을 효과적으로 완화한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 안전성과 도달 가능성: "물체가 어디에 있는가"가 아닌 "어디에 서야 하는가"를 모델링함으로써, 시스템은 본질적으로 비통과 가능 목표를 회피합니다.
• 이식성: 의미 의도 (히트맵) 와 물리적 실행 (계획자) 을 분리함으로써 동일한 VLM 출력을 재훈련 없이 다양한 로봇 구현체에서 재사용할 수 있습니다.
• 실용성: 이 접근법은 전통적 VLN 작업에 필요한 세분화된 "로드북"을 넘어, 로봇의 즉각적인 시야에서 간결하고 의도 주도적인 명령에 대한 현실적인 필요를 해결합니다.

저자들은 이 작업을 안전하고 교차 구현체 의미 기반 항해를 향한 한 걸음으로 위치시키며, 고수준 추론과 저수준 물리적 제약을 통합하는 이식 가능한 경로를 제시합니다.