기술 요약: 모방에서 정렬로: 장기 시선 보행자 통로 내비게이션을 위한 인간 선호도 플로우 정책

문제 정의

자율적인 장기 시선 보행자 통로(sidewalk) 내비게이션은 로봇 음식 배달이나 보조 휠체어와 같은 마이크로 모빌리티 애플리케이션에 있어 매우 중요합니다. 도로 주행과 달리, 보행자 통로 내비게이션은 예측 불가능한 지형, 밀집된 보행자 상호작용, 엄격한 사회적 규범을 포함하며, 동시에 온보드 컴퓨팅 및 배터리 수명에 대한 심각한 제약 조건 하에서 작동해야 합니다. 저자들은 기존 방식의 세 가지 주요 과제를 다음과 같이 식별했습니다:

1. 누적 오차 및 분포 변화(Compounding Errors and Distribution Shift): 대규모 오프라인 데이터로 학습된 표준 모방 학습(Imitation Learning, IL) 정책은 폐루프(closed-loop) 설정에서 오류로부터 회복하는 데 실패하여 누적된 실수를 초래하는 경우가 많습니다.
2. 사회적 준수성 결여: 순수하게 데몬스트레이션(demonstration) 데이터로만 학습된 정책은 암묵적인 사회적 규범(예: 보행자에게 양보하기)을 준수하지 못하거나 안전이 중요한 상태를 효과적으로 처리하지 못할 수 있습니다.
3. 행동 표현의 한계: 일반적인 행동 파라미터화는 보행자 통로 내비게이션의 다중 모드(multimodal) 특성(예: 장애물의 왼쪽 또는 오른쪽으로 통과하기)을 처리하는 데 어려움을 겪습니다. 단일 모드 가우시안(Unimodal Gaussians)은 너무 제한적이며, 디퓨전(diffusion)이나 플로우 매칭(flow-matching) 정책은 과도한 무작위성이나 시간적 불일치를 유발할 수 있습니다.
4. 일반화와 정밀도의 딜레마: 다양한 환경에서 학습하면 일반화 능력은 향상되지만, 고유한 카메라 파라미터와 기계적 속성을 가진 특정 로봇 인스턴스에 필요한 정밀도가 저해될 수 있습니다.

방법론: FlowPilot

본 논문은 단일 단안 RGB 카메라와 GPS만을 사용하는 맵리스(mapless) 내비게이션 정책인 FlowPilot을 제안합니다. 이 프레임워크는 대규모 모방과 로봇 특화 정렬 사이의 간극을 두 단계 프로세스를 통해 메웁니다.

1. 사전 학습을 위한 앵커드 플로우 매칭 (Anchored Flow Matching)

보행자 통로 내비게이션의 다중 모드 특성을 해결하기 위해, 저자들은 행동 표현으로서 앵커드 플로우 매칭을 도입합니다.

• 앵커 생성: 데몬스트레이션 데이터의 정규화된 행동 공간에 제약된 K-평균 클러스터링(K-means clustering)을 적용하여 $K$개의 앵커 행동 세트를 생성합니다. 이 앵커들은 전형적인 다중 모드 행동 역할을 합니다.
• 플로우 매칭: 정책은 궤적을 생성하기 위해 속도장(velocity field)을 학습합니다. 모델은 단순히 하나의 궤적을 회귀하는 대신, 특정 앵커에 조건화된 노이즈와 전문가 궤적 사이를 보간합니다. 이를 통해 모델은 다양하고 복잡한 다중 모드 분포를 포착하는 동시에 부드럽고 시간적으로 일관된 미래 궤적을 보장할 수 있습니다.
• 게이트 크로스 어텐션 (Gated Cross-Attention): 모델이 목표 좌표에 지나치게 의존하여 장애물을 무시하는 "지름길(shortcut)" 행동을 하는 것을 방지하기 위해, 아키텍처는 게이트 크로스 어텐션 메커니즘을 채택합니다. 이는 "어텐션 싱크(attention sink)" 현상을 완화하여, 정책이 목적지뿐만 아니라 장면의 맥락(장애물, 보행자 통로 경계 등)에 근거하여 결정을 내리도록 강제합니다.
• 사전 학습: 모델은 SideWalks-300(281개의 로봇 인스턴스에서 수집된 300시간의 원격 조종 데이터) 및 기타 시각-행동 데이터셋을 결합하여 사전 학습됩니다. 이 단계에서는 시각적 주행 거리 측정(visual odometry), 모드 분류(앵커 할당), 궤적 회귀를 위한 지도 학습 손실을 사용합니다.

2. 인간 참여형 선호도 정렬 (Human-in-the-Loop Preference Alignment)

일반적인 모방과 특정 로봇의 정밀도 사이의 격차를 메우기 위해, FlowPilot은 보상 없는 선호도 학습(reward-free preference learning) 체계를 사용합니다.

• 데이터 수집: 배포 중, 인간 운영자는 원격 조종 플랫폼을 통해 로봇을 모니터링합니다. 정책이 안전하지 않거나 사회적으로 적절하지 않은 행동을 예측할 때, 운영자는 교정 명령을 통해 개입합니다.
• 선호 쌍 (Preference Pairs): 이러한 개입은 $(x^+, x^-)$ 형태의 선호 쌍을 생성합니다. 여기서 $x^+$는 인간이 교정한 행동이고, $x^-$는 정책의 원래(바람직하지 않은) 예측입니다.
• 정렬 목적 함수: 정책은 선호되는 행동($x^+$)의 가능성은 높이고 거부된 행동($x^-$)은 억제하는 선호도 손실을 사용하여 미세 조정됩니다.
  • 스코어 레벨 정렬 (Score-Level Alignment): 스코어링 헤드는 거부된 앵커보다 선호되는 앵커 모드에 더 높은 확률을 할당하도록 학습되며, 사전 학습된 Prior를 보존하기 위해 KL-다이버전스 항에 의해 정규화됩니다.
  • 속도 레벨 정렬 (Velocity-Level Alignment): 비대칭 궤적 레벨 목적 함수가 사용됩니다. 선호되는 행동은 양의 회귀 타겟 역할을 합니다. 결정적으로, 거부된 행동은 직접적으로 밀어내지 않습니다(이는 연속 플로우 매칭에서 그래디언트를 불안정하게 만들 수 있음). 대신, 거부된 행동은 자신의 앵커 prior로 정규화됩니다. 이는 행동 공간의 연속성을 유지하면서 특정 바람직하지 않은 행동을 억제합니다.

주요 기여

1. 앵커드 플로우 매칭 정책: 복잡한 다중 모드 행동 분포를 모델링하기 위해 이산적 행동 사전(anchors)과 연속적 플ow 정교화를 결합한 새로운 행동 표현을 제공합니다.
2. 게이트 조건화 메커니즘: 정책이 직접적인 목표 좌표보다 장면 맥락을 활용하도록 유도하여 목표 중심의 지름길 행동을 완화하는 아키텍처 설계를 제공합니다.
3. 보상 없는 선호도 학습: 명시적인 보상 함수 없이도 개입 데이터를 사용하여 정책을 사회적 규범 및 로봇 특화 안전 요구 사항에 정렬시키는 인간 참여형 미세 조정 알고리즘을 제공합니다.
4. 포괄적 평가: 다양한 보행자 통로 시나리오와 다양한 로봇 형상(embodiment)에 대해 시뮬레이션 및 실제 환경에서 광범한 검증을 수행했습니다.

실험 결과

오픈 루프 평가 (Open-Loop Evaluation)

홀드아웃 평가 세트에서 FlowPilot-Base는 궤적 예측 정확도에서 최첨단 성능을 달ে했습니다:

• minMOE: 6.63 (베이스라인 중 가장 낮음)
• mAP: 0.87 (가장 높은 신뢰도)
• L2 Error: 1.04 (가장 낮은 종단 오차)

폐루프 시뮬레이션 (Closed-Loop Simulation)

시나리오당 300회의 테스트를 포함한 폐루프 시뮬레이션 벤치마크에서:

• 성공률 (Success Rate, SR): FlowPilot-Base는 **42%**를 달성하여 S2E(35%) 및 ViNT(27%)와 같은 베이스라인을 크게 앞질렀습니다.
• 경로 완료율 (Route Completion, RC): **66%**를 달성했습니다.
• 충돌률 (Collision Rate, CR): 게이트 크로스 어텐션이 없는 어블레이션 모델의 0.61과 비교하여 0.43으로 감소했습니다.
• 교차 형상 (Cross-Embodiment): FlowPilot-HP(선호도 튜닝 포함)는 역학 및 카메라 파라미터가 변화된 새로운 로봇 구성(R1, R2)에서도 높은 성능(SR 0.44–0.55)을 유지하며, DAgger와 같은 표준 적응 방법을 능가했습니다.

실제 환경 배포

바퀴형 로봇과 로봇 개(robot dog)를 사용하여 다양한 경로(야간 및 복잡한 조명 포함) 2.8km를 평가했습니다:

• 개입률 (Intervention Rate, IR): FlowPilot-HP는 베이스 모델(FlowPilot-Base)에 비해 IR을 40.0% 감소시켰고, 정규화된 개입률(NIR)을 52.1% 감소시켰습니다.
• 사회적 준수성: 모델은 베이스라인보다 훨씬 높은 거리 준수율(DCR)과 시간 준수율(TCR)을 보여주며, 보행자 및 장애물로부터 더 안전한 간격을 유지했습니다.
• 강건성: 시스템은 저조도 환경을 포함하여 도전적인 조건에서도 장기 경로(최대 100m 이상 구간)를 성공적으로 주행했습니다.

의의 및 주장

본 논문은 순수 모방 학습의 한계를 해결함으로써 자율 보행자 통로 내비게이션의 중요한 진전을 이루었다고 주장합니다. 저자들의 논지는 다음과 같습니다:

1. 앵커드 플로우 매칭은 표준 가우시안이나 디퓨전 정책이 어려움을 겪는 다중 모드 및 제어 민감한 보행자 통로 내비게이션의 특성을 포착하기 위해 필수적인 표현을 제공합니다.
2. 선호도 학습을 통한 정렬은 범용적인 능력을 갖춘 일반 목적 정책에서 정밀하고 사회적으로 준수하며 안전한 로봇 특화 컨트롤러로 전환하는 데 필수적입니다. 결과에 따르면, 인간의 개입 데이터가 적더라도 선호도 학습 프레임워크를 통해 처리되면 위험한 행동을 획기적으로 줄이고 사회적 준수성을 향상할 수 있습니다.
3. 확장성 및 강건성: 본 프레임워크는 대규모 사전 학습에서 특정 배포로 성공적으로 확장되며, 무거운 센서나 명시적인 매핑 없이도 다양한 로봇 형상과 환경 조건에 대해 강건함을 유지합니다.

저자들은 단안(monocular) 접근 방식이 스케일 모호성 및 미세한 3D 단서에 대한 한계가 있지만, 제안된 프레임워크가 일반화와 정밀도 사이의 트레이드오프를 효과적으로 균형 있게 조절하여 실제 마이크로 모빌리티 애플리케이션을 위한 실용적인 솔루션을 제공한다고 결론짓습니다.