기술 요약: CoFL-S

문제 정의

시각-언어 내비게이션(Vision-Language Navigation, VLN)은 고수준의 의미론적 추론, 메모리 구축, 그리고 지시문 분해 측면에서 상당한 발전을 이루었습니다. 그러나 저수준 액션 표현(low-level action representation)—즉, 국소적인 의미적 의도를 실행 가능한 로봇 동작으로 변환하는 메커니즘—은 여전히 충분히 탐구되지 않은 상태로 남아 있습니다. 표준 VLN 평가는 고수준 추론과 저수준 실행을 서로 얽히게 만들어, 서로 다른 액션 인터페이스의 효과를 분리하여 검증하는 것을 어렵게 만듭니다. "왼쪽으로 회전"과 같은 이산적 액션 토큰이나 유한 시계(finite-horizon) 액션 청크와 같은 기존 인터페이스는 현재 상태나 짧은 미래 시퀀스에 대한 액션을 지정할 뿐, 원하는 움직임이 인접한 작업 공간의 위치, 장애물 구성 또는 재계획 빈도에 따라 어떻게 변화해야 하는지를 명시적으로 모델링하지 못합니다. 본 논문은 고전적인 포텐셜 필드(potential fields)와 유사하게 공간적으로 인덱싱된 가이드를 표현할 수 있는 저수준 인터페이스가 부분 관측 가능 환경(partially observable environments)에서의 견고한 연속 제어를 위해 필요하다고 주장합니다.

방법론: CoFL-S 프레임워크

저자들은 로봇의 국소 가시 영역(local visible sector) 상에 언어 조건부 플로우 필드(language-conditioned flow field)를 예측하여 연속적인 궤적을 생성하는 프레임워크인 CoFL-S(CoFL-Spatially Queryable Sector Flow Fields)를 제안합니다.

1. 섹터 플로우 필드 표현 (Sector Flow Field Representation)

CoFL-S는 단일 궤적이나 이산적 액션을 회귀하는 대신, 로봇의 국소 지면 평면 섹터 상에 2D 플로우 필드 $v_\phi$를 예측합니다.

• 입력: 에고센트릭(ego-centric) RGB-D 관측값 $(I, D)$ 및 저수준 국소 하위 지시문 $\ell$.
• 출력: 공간적으로 쿼리 가능한 속도장(velocity field). 이 필드는 카메라의 시야각(FOV)과 정렬된 정규화된 극좌표 섹터 좌표 $q = (\tilde{\theta}, \tilde{r})$에서 쿼리되지만, 출력은 로봇 중심의 지면 평면 프레임에서의 데카르트 속도 $(v_{fwd}, v_{lft})$입니다.
• 생성: 궤적 $\tau(t)$는 1차 운동 모델을 사용하여 예측된 필드를 롤아웃(rollout)함으로써 생성됩니다: $\dot{\tau}(t) = v_\phi(\Pi_{polar}(\tau(t)) | I, D, \ell)$.

2. 아키텍처 (Architecture)

모델은 세 가지 주요 구성 요소로 이루어져 있습니다 (그림 2 참조):

• 시각-언어 인코더 (Vision-Language Encoder): RGB와 텍스트를 공유 임베딩으로 매핑하기 위해 프리징된(frozen) SigLIP2 인코더를 사용합니다. 깊이 정보는 컨볼루션 패치파이어(convolutional patchifier)와 FiLM(Feature-wise Linear Modulation) 경로를 통해 시각적 토큰에 주입되어 기하학적 인식을 제공합니다.
• 섹터 디코더 (Sector Decoder): 좌표 쿼리(Gaussian Fourier feature를 통해 임베딩됨)와 융합된 컨텍스트를 입력으로 받는 쿼리 기반 트랜스포머 디코더로, 각 섹터 위치에 대한 속도 벡터를 예측합니다.
• 액션 모듈 (Action Module): 연속적인 필드 롤아웃을 보완하기 위해 학습 가능한 액션 쿼리를 사용하여 이산적인 종료 확률(STOP)을 예측하는 경량화된 보조 브랜치입니다.

3. 연속 제어 감독 (Continuous-Control Supervision)

이 표현을 학습시키기 위해, 저자들은 표준 VLN-CE 에피소드(R2R 및 RxR)를 프레임 수준의 국소 감독 데이터로 변환합니다:

• 미세 조정 정렬 (Fine-Grained Alignment): 각 RGB-D 프레임은 미세 조정된 주석(Fine-Grained R2R, Landmark RxR)으로부터 도출된 국소 하위 지시문과 쌍을 이룹니다.
• 지시문 확장 (Instruction Expansion): 다양성을 높이기 위해, 각 프레임은 휴먼 앵커(human anchor), 객체 기반 명령, 영역 기반 명령, 그리고 터미널 명령을 포함한 $K$개의 지시문 슬롯으로 확장됩니다.
• 타겟 생성 (Target Generation): 각 지시문 슬롯에 대해, 접지된 목표(grounded goal)를 향한 측지선적 인력(geodesic attraction)과 장애물/보이지 않는 영역에 대한 척력(repulsion)을 결합하여 조밀한 섹터 플로우 필드 타겟을 생성합니다. 이는 타겟 속도장 역할을 하는 포텐셜 필드의 음의 기울기(negative gradient)를 생성합니다.
• 손실 함수 (Loss Function): 모델은 방향 손실(cosine similarity), 크기 손실(distance-to-go scaling), 그리고 액션 종료 손실의 조합으로 학습됩니다.

4. 평가 벤치마크 (Evaluation Benchmark)

저자들은 저수준 액션 인터페이스를 격리하여 평가하기 위해 연속 시간 Habitat 벤치마크를 도입합니다:

• 프로토콜: 모든 방법(CoFL-S, Action Token, Action Chunk)은 에이전트 상태가 60Hz로 업데이트되고 관측값이 30Hz로 업데이트되는 동일한 연속 시간 시뮬레이션 하에서 평가됩니다.
• 컨트롤러: 모든 방법의 출력을 실행하기 위해 공유된 저수준 속도 컨트롤러를 사용하여, 성능 차이가 컨트롤러가 아닌 액션 표현으로부터 발생하도록 보장합니다.
• 분해 독립성 (Decomposition Independence): 각 단계에서 에이전트의 위치는 참조 경로 상에 투영되어 그에 상응하는 국소 하위 지시문을 가져오며, 이를 통해 고수준 지시문 분해라는 변수를 제거합니다.

주요 기여

1. CoFL-S 프레임워크: 관측값과 지시문을 공간적으로 쿼리 가능한 제어 필드로 매핑하는, 1인칭 시점의 언어 조건부 국소 내비게이션을 위한 새로운 섹터 플로우 필드 표현을 제안합니다.
2. 감독 변환 (Supervision Conversion): 전체 에피소드 VLN-CE 궤적을 정렬된 하위 지시문 및 조밀한 플로우 필드 타겟과 결합된 프레임 수준의 국소 감독 데이터로 변환하는 방법을 제시합니다.
3. 연속 시간 벤치마크 (Continuous-Time Benchmark): 액션 토큰, 액션 청크, 플로우 필드 인터페이스를 동일한 인코더, 지시문, 컨트롤러 하에서 비교하여, 플래너 빈도에 따른 분해 독립적 비교를 가능하게 하는 새로운 평가 프로토콜을 도입합니다.

실험 결과

본 논문은 시뮬레이션 및 실제 환경 제로샷(zero-shot) 설정 모두에서 CoFL-S를 Action Token 및 Action Chunk 베이스라인과 비교 평가합니다.

• 시뮬레이션 (R2R-CE 및 RxR-CE): CoFL-S는 테스트된 모든 플래너 빈도(2 Hz, 5 Hz, 10 Hz)에서 내비게이션 오차(NE), 오라클 성공률(OS), 성공률(SR), 경로 길이 대비 성공 가중치(SPL) 측면에서 두 베이스라인을 일관되게 능가했습니다. 특히, 더 큰 예측 헤드를 가진 Action Chunk보다 더 높은 작업 완료율을 달s성했으며, 차단 단계 비율(BSR)과 헤딩 부드러움(HS) 지표에서도 경쟁력 있는 성능을 유지했습니다.
• 실제 환경 제로샷 (Real-World Zero-Shot): 미세 조정 없이 물리적 이동 로봇에 배포되었을 때, CoFL-S는 0.75의 성공률을 기록하여 Action Token(0.46)과 Action Chunk(0.33)를 크게 앞질렀습니다. 또한 충돌이 적고, 완료 시간이 짧으며, 특히 이산형 베이스라인들이 진동하거나 갇히기 쉬운 좁은 통로에서 더 안정적인 내비게이션을 보여주었습니다.

의의 및 주장

본 논문은 저수준 액션 표현이 VLN에서 매우 중요하지만 종종 간과되는 구성 요소라고 주장합니다. 이산적 또는 유한 시계 액션 예측에서 공간적으로 쿼리 가능한 플로우 필드로 전환함으로써, CoFL-S는 단순한 현재 상태의 결정이 아닌 "교정적 움직임 타겟의 집합(family of corrective motion targets)"을 제공합니다. 이러한 조밀한 작업 공간 수준의 감독은 정책이 국소 지시문의 의미론과 기하학적 제약을 더 잘 결합할 수 있게 하여, 더욱 견고한 연속 제어를 가능하게 합니다.

저자들은 CoFL-S가 (지시문 분해를 위해 고수준 플래너에 의존하는) 국소 하위 지시문의 가용성을 가정하고 있지만, 실행 계층의 문제를 효과적으로 해결한다고 강조합니다. 결과는 플로우 필드 정책이 밀집된 감독을 통해 전통적인 액션 인터페이스보다 우수한 기하학적 인식과 안정성을 제공한다는 것을 시사하며, 특히 지연 시간과 환경 변동성이 중요한 제로샷 실세계 배포 환경에서 그러합니다.