기술 요약: Seeing-to-Experiencing (S2E)

문제 정의

방대한 웹 규모의 오프라인 데이터로 학습된 내비게이션 파운데이션 모델들은 다양한 환경에서 강력한 일반화 성능을 입증해 왔습니다. 그러나 이러한 모델들은 주로 수동적인 시각적 모방에 의 Rely하며, 이는 인과관계가 아닌 통계적 상관관계를 포착하는 데 그칩니다. 결과적으로, 이들은 행동의 결과를 추론하거나, 반사실적(counterfactual) 시나리오에 적응하거나, 안전한 도시 주행에 필요한 반응형 동작(예: 동적 장애물 또는 보행자 회피)을 나타내는 능력이 부족합니다. 강화 학습(RL)은 상호작적인 학습을 위한 패러다임을 제공하지만, 기존의 RL 기반 내비게이션 확장 시도는 낮은 샘플 효율성, 유도 편향(inductive priors)의 부재, 그리고 좁은 합성 환경에서 에이전트를 처음부터 학습시키는 어려움으로 인해 난항을 겪어왔습니다. 또한, 단순히 오프라인 지도 학습 데이터를 확장하는 것만으로는 성능 향상의 한계(diminishing returns)에 직면하게 됩니다.

방법론: S2E 프레임워크

저자들은 대규모 오프라인 사전 학습과 시뮬레이션에서의 온라인 강화 학습을 결합한 하이브리드 학습 프레임워크인 **Seeing-to-Experiencing (S2E)**를 제안합니다. 이 프레임워크는 실세계 비디오로부터 학습된 일반화 가능한 시각적 표현을 유지하면서, RL을 통해 상호작적인 능력을 습득하는 것을 목표로 합니다.

1. 사전 학습: 앵커 가이드 분포 매칭 (Anchor-Guided Distribution Matching, AGDM)

내비게이션의 다중 모드(multimodal) 특성(하나의 관측값에 대해 여러 유효한 행동이 존재할 수 있음)을 해결하기 위해, 저자들은 앵커 가이드 분포 매칭 전략을 도입합니다.

• 아키텍처: 이산적인 빈(bin)이나 단일 모드 가우시안을 사용하는 대신, 모델은 "앵커"에 의해 유도되는 가우시안 혼합 모델(GMM)을 예측합니다.
• 메커니즘: 통합된 데이터셋에 대해 K-Means를 통해 $M$개의 대표적인 의도 지점(앵커)을 샘플링합니다. 이 앵커들은 교차 주의(cross-attention) 메커니즘의 쿼리 역할을 합니다. 각 앵커는 학습된 점수, 평균, 표준 편차 및 상관관계를 가진 가우시안 모드에 대응합니다.
• 이점: 이 접근 방식은 표현력과 학습 안정성 사이의 균형을 맞추는 구조화된 다중 모드 분포를 제공합니다. 이를 통해 모델은 다양한 행동(예: 직진, 회전, 양보)을 포착하는 동시에, 후속 적응을 위한 신뢰할 수 있는 백본을 유지할 수 있습니다.

2. 사후 학습: 잔차 주의 모듈 (Residual-Attention Module, RAM)

사전 학습된 지식을 삭제하거나 도메인 변화(sim-to-real)로 인한 문제를 겪지 않으면서 상호작적인 능력을 주입하기 위해, 저자들은 RL 미세 조정을 위한 잔차 주의 모듈을 제안합니다.

• 동기: RL을 통한 전체 파라미터 미세 조정은 "사전 학습된 능력의 망각(FPC)"을 초래하고, 비전 인코더가 시뮬레이터의 텍스처에 과적합되어 실세계 성능을 저하시킬 위험이 있습니다.
• 메커니즘: 원래의 사전 학습된 교차 주의 파라미터는 동결됩니다. 대신, 제로 초기화된 선형 레이어에 의해 게이팅되는 병렬의 학습 가능한 복사본 주의 블록이 도입됩니다.
• 학습 역학: 제로 초기화는 미세 조정 시작 시점에 잔차 브랜치가 아무런 기여를 하지 않음을 보장합니다($Q' = \psi_{pre}(Q)$). 학습이 진행됨에 따라 게이트 가중치가 점진적으로 활성화되어, 모델이 오프라인 사전 학습으로부터 얻은 일반화 가능한 시각-운동 표현을 보존하면서 RL 신호로부터 반응형 동작(예: 장애물 회피)을 선택적으로 학습할 수 있게 합니다.
• 효율성: 이 방식은 전체 모델을 업데이트하는 대신 경량화된 플러그인만을 업데이트하므로 파라미터 효율적이며, 도메인 변화를 방지하기 위해 비전 인코더를 업데이트하지 않습니다.

3. 평가 벤치마크: NavBench-GS

저자들은 종합적인 엔드 투 엔드 평가 벤치마크인 NavBench-GS를 구축했습니다.

• 특징: 실제 세계 장면의 정교한 3D 가우시안 스플래팅(Gaussian Splatting) 재구성을 기반으로 구축되었으며, 정확한 물리적 상호작용과 역학을 포함합니다.
• 범위: 빈 환경, 정적 장애물, 움직이는 보행자, 그리고 정적 장애물과 보행자가 결합된 환경의 네 가지 작업 변형을 포함하는 26개의 시나리오로 구성됩니다.
• 지표: 성공률(Success Rate, SR), 경로 완수율(Route Completion, RC), 충돌 횟수(Collision Times, CT).

주요 결과

스케일링 성능

실험 결과, S2E는 오프라인 데이터만을 확장할 때 발생하는 성능 저하 문제를 완화함을 보여주었습니다.

• RL vs. 데이터 스케일링: 오프라인 데이터를 250k에서 750k 샘플로 늘렸을 때 성공률은 단 2% 향상되었습니다. 반면, 100시간의 데이터로 학습된 모델에 RL 미세 조정을 적용했을 때는 추가적인 오프라인 데이터 없이도 성공률이 15% 향상되었습니다.
• RL vs. SFT: 학습 비용이 증가함에 따라 심각한 과적합을 겪는 지도 학습 미세 조정(SFT)과 비교했을 때, RL은 성공률을 유지하거나 개선하며 더 높은 샘플 효율성을 보여줍니다.

벤치마크 성능 (NavBench-GS)

S2E는 모든 테스트 시나리오에서 최신 내비게이션 파운데이션 모델(GNM, ViNT, NoMaD, MBRA, CityWalker 포함)을 능가했습니다.

• 효율성: 단 100시간의 데이터로 학습된 S2E는 2000시간 이상의 데이터로 학습된 CityWalker를 앞질렀습니다.
• 안전성: S2E는 특히 정적 장애물과 움직이는 보행자가 공존하는 복잡한 시나리오에서 가장 높은 성공률과 가장 낮은 충돌 횟수를 달 기록했습니다.

실세계 배포

이 프레임워크는 바퀴형 로봇과 Unitree GO2 사족보행 로봇이라는 두 가지 서로 다른 로봇 플랫폼에 배포되었습니다.

• 제로샷 일반화: S2E는 보지 못한 실제 도시 시나리오에 대해 제로샷 전이를 달성했습니다.
• 성능: 실세계 테스트에서 S2E-Full은 바퀴형 로봇에서 0.51, 사족보행 로봇에서 0.55의 성공률을 기록하며, 충돌 회피에 어려움을 겪은 NoMad 및 CityWalker와 같은 베이스라인을 크게 앞질렀습니다.

의의 및 주장

본 논문은 로보틱스 분야의 파운데이션 모델을 확장하는 데 있어 온라인 상호작적 경험을 통한 강화 학습의 통합이 필수적이라고 주장합니다. 핵심 기여는 다음과 같습니다:

1. 간극 해소: S2E는 오프라인 사전 학습의 광범위한 일반화 능력과 온라인 상호작적 학습의 반응형 안전성 사이의 간극을 성공적으로 메웠습니다.
2. 기술적 혁신: 앵커 가이드 분포 매칭은 복잡한 다중 모드 분포 학습을 안정화하며, 잔차 주의 모듈은 치명적 망각이나 도메인 변화 없이 상호작적인 행동을 안전하고 점진적으로 학습할 수 있게 합니다.
3. 새로운 패러다임: 이 연구는 오프라인 데이터의 확장이 성능의 주요 동력이라는 관점에 도전하며, RL 사후 학습이 더 견고하고 안전한 내비게이션 정책을 위한 더 효율적인 경로임을 보여줍니다.
4. 재현성: 저자들은 새로운 벤치마크(NavBench-GS)를 제공하며, 커뮤니티 검증을 용이하게 하기 위해 코드와 모델을 공개할 것을 약속합니다.

저자들은 현재 시스템이 2D 시각 입력을 사용하며 명시적인 3D 인지가 부족하여 복잡한 3D 구조물에서 여전히 충돌이 발생할 수 있다는 한계를 인정했습니다. 이들은 향후 연구에서 깊이(depth) 또는 점유 예측(occupancy prediction)을 통합할 수 있음을 시사했습니다.