CoFL: 언어 조건부 내비게이션을 위한 연속 흐름장 (Continuous Flow Fields) 기술 요약

이 논문은 CoFL (Continuous Flow Fields for Language-Conditioned Navigation) 을 제안하며, 복잡한 실내 환경에서 로봇이 자연어 지시를 받아 안전하고 정밀하게 이동할 수 있도록 하는 새로운 엔드 - 투 - 엔드 (End-to-End) 정책 (Policy) 을 소개합니다.

1. 문제 정의 (Problem)

기존의 언어 조건부 내비게이션 (Language-Conditioned Navigation) 시스템은 다음과 같은 한계를 가지고 있었습니다:

• 모듈식 접근법의 취약성: 지각 (Perception), 지상화 (Grounding), 계획 (Planning) 단계를 분리하여 연결하는 방식은 상류 단계의 작은 오류가 하류로 전파되어 치명적인 실패를 초래할 수 있습니다.
• 이산적 행동 (Discrete Actions) 의 한계: 기존 엔드 - 투 - 엔드 모델들은 행동을 토큰 (Token) 단위로 이산화하거나, 확산 모델 (Diffusion Models) 을 통해 행동 청크 (Action Chunk) 를 생성합니다. 이는 연속적이고 매끄러운 운동을 구현하기 어렵고, 실시간 응답성 (Real-time responsiveness) 이 낮거나 기하학적 제약 (장애물 회피 등) 을 명시적으로 고려하지 못해 충돌 위험이 높습니다.
• 기하학적 불일치: 작업 공간 (Workspace) 의 기하학적 구조를 명시적으로 활용하지 못해, 목표 지점에는 도달할 수 있지만 경로 상에서 장애물과 충돌하는 경우가 빈번했습니다.

2. 방법론 (Methodology)

CoFL 은 비조 (Bird's-Eye View, BEV) 관측과 자연어 지시를 입력받아 연속적인 흐름장 (Continuous Flow Field) 을 직접 예측하는 방식으로 문제를 재정의합니다.

2.1 핵심 아이디어: 흐름장 예측

• 흐름장 (Flow Field): CoFL 은 작업 공간 내의 모든 2D 좌표 $x$에 대해 해당 위치에서의 순간 속도 벡터 $v(x | I, \ell)$를 예측합니다. 여기서 $I$는 BEV 이미지, $\ell$은 언어 지시입니다.
• 궤적 생성: 예측된 흐름장을 수치적 적분 (Euler integration) 하여 로봇의 궤적을 생성합니다. 이는 임의의 시작 위치에서 목표까지 매끄럽고 충돌을 피하는 경로를 자연스럽게 유도합니다.
• 장점:
  • 기하학적 인식: 흐름장 자체가 장애물 회피와 자유 공간의 구조를 명시적으로 인코딩합니다.
  • 실시간성: 반복적인 디노이징 (Denoising) 이 필요 없어 단일 순전파 (Forward Pass) 로 실시간 추론이 가능합니다.
  • 유연성: 시작 위치가 바뀌어도 동일한 흐름장을 기반으로 즉시 새로운 궤적을 생성할 수 있습니다.

2.2 네트워크 아키텍처

• Vision-Language Encoder: SigLIP 2 기반의 고정된 백본을 사용하여 BEV 이미지와 텍스트 지시를 결합한 컨텍스트 토큰을 생성합니다.
• CoFL Decoder: 쿼리 기반 (Query-based) 디자인을 채택합니다. 2D 정규화된 공간 좌표를 쿼리로 입력받아, 컨텍스트 토큰과 교차 주의 (Cross-attention) 를 통해 해당 위치의 속도 크기 (Magnitude) 와 방향 (Direction) 을 예측합니다.
• 학습: 예측된 흐름장과 절차적으로 생성된 지상 진실 (Ground Truth) 흐름장 사이의 방향 (Direction) 및 크기 (Magnitude) 오차를 최소화하도록 학습됩니다.

2.3 대규모 데이터셋 구축

• 자동화 주석 파이프라인: Matterport3D 와 ScanNet 의 3D 실내 장면에서 BEV 이미지와 텍스트 지시 쌍을 생성합니다.
• 절차적 주석 (Procedural Annotation): 50 만 개 이상의 샘플을 생성하며, 각 샘플에 대해 지형도 (Semantic Map) 를 기반으로 비용 가중 지오데식 (Geodesic) 거리와 장애물 반발력을 결합하여 최적의 흐름장과 궤적을 자동으로 주석합니다.

3. 주요 기여 (Key Contributions)

1. CoFL 정책 제안: BEV 이미지를 기반으로 언어 조건부 흐름장을 예측하는 트랜스포머 기반의 엔드 - 투 - 엔드 정책을 처음 제안했습니다.
2. 대규모 BEV 내비게이션 데이터셋: 50 만 개 이상의 BEV 이미지 - 지시 - 흐름장 - 궤적 쌍으로 구성된 새로운 데이터셋을 구축하여 대규모 학습을 가능하게 했습니다.
3. 성능 우위 및 일반화: 볼 수 없는 (Unseen) 장면에서 모듈식 VLM 기반 플래너 및 생성형 정책 (Diffusion Policy) 보다 정밀하고 안전한 내비게이션 성능을 입증했습니다.
4. 제로샷 실세계 배포: 실제 로봇에 대한 추가 미세 조정 (Fine-tuning) 없이, 학습된 모델만으로 실세계 환경에서 성공적인 폐루프 (Closed-loop) 내비게이션을 수행했습니다.

4. 실험 결과 (Results)

4.1 시뮬레이션 벤치마크 (Matterport3D, ScanNet)

• 충돌 감소: 기존 생성형 정책 (Diffusion Policy) 들은 목표 지점 도달 정확도 (FGE) 는 괜찮았으나 충돌률 (CR) 이 매우 높았습니다 (ScanNet 기준 86% 이상). 반면 CoFL 은 충돌률을 약 4 배 감소시켰습니다 (ScanNet 기준 35~40%).
• 정밀도 및 매끄러움: CoFL 은 더 낮은 최종 목표 오차 (FGE) 와 더 매끄러운 경로 (낮은 Curvature) 를 보여주었습니다.
• 효율성: CoFL 은 파라미터 수가 적고 (약 15M), 추론 시간이 짧아 실시간 적용에 유리합니다.

4.2 실세계 제로샷 실험

• 환경: 실내 공간에서 오버헤드 카메라를 통해 BEV 관측을 제공받고, 차동 구동 (Differential-drive) 로봇을 제어했습니다.
• 성과: 장애물이 없는 환경에서 85%, 장애물이 있는 환경에서 100% 의 목표 도달 성공률을 기록했습니다.
• 안전성: 충돌 시 최소 거리 (Mean Minimum Clearance) 를 유지하며, 동적 장애물 (반응형 적) 에 대해서도 안정적인 회피 행동을 보였습니다.
• 지연 시간: 평균 28ms 의 낮은 지연 시간을 유지하며 실시간 폐루프 재계획이 가능했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 내비게이션 분야에서 행동 생성 (Action Generation) 을 작업 공간 수준의 흐름장 (Workspace-level Flow Field) 예측으로 전환함으로써 중요한 패러다임의 변화를 제시합니다.

• 기하학적 명시성: 암시적인 궤적 샘플링 대신 명시적인 흐름장을 예측함으로써, 모델이 공간 기하학과 장애물을 더 잘 이해하고 안전한 경로를 생성할 수 있음을 입증했습니다.
• 실용성: 복잡한 모듈식 파이프라인 없이 단일 모델로 높은 성능을 내며, 실제 로봇에 대한 적응 (Adaptation) 없이도 제로샷으로 작동 가능하다는 점은 실제 응용 가능성을 크게 높였습니다.
• 미래 방향: 이 접근법은 2D BEV 에서 3D 공간 추상화나 1 인칭 시점 (First-person) 내비게이션, 그리고 일반 조작 (Manipulation) 작업으로 확장될 수 있는 강력한 기반을 제공합니다.

요약하자면, CoFL 은 언어 지시를 연속적이고 안전한 운동으로 변환하는 데 있어, 기존 방법들의 단점 (충돌, 불연속성, 높은 지연) 을 해결하고 실세계 배포 가능성을 입증한 획기적인 연구입니다.