💻 computer science

RoamFlow: Reinforcement-Aligned One-Step Action MeanFlow Policy for Image-Goal Navigation

RoamFlow는 효율적인 몇 단계 궤적 합성을 위해 MeanFlow를 활용하고 전문가 모방과 강화 학습을 결합한 2단계 훈련 전략을 사용하여 시뮬레이션 및 실제 환경 모두에서 고성능 이미지 목표 내비게이션을 달성하는 생성형 내비게이션 프레임워크입니다.

원저자: Zixuan Zhang, Yuqi Chen, Junjie Gao, Siyuan Song, Yongzhou Pan, Beichen Wang, Mir Feroskhan

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixuan Zhang, Yuqi Chen, Junjie Gao, Siyuan Song, Yongzhou Pan, Beichen Wang, Mir Feroskhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 개를 안내하여 집 안의 복잡한 환경을 통과해 특정 소파 사진을 찾는 상황을 상상해 보세요. 로봇에게는 지도가 없으며, 오직 카메라와 목표물인 소파 사진 한 장뿐입니다. 이것이 바로 **이미지 목표 내비게이션(Image-Goal Navigation)**의 과제입니다.

이 논문은 로봇이 이전 방식들보다 훨씬 더 빠르고 똑똑하게 이 과제를 수행할 수 있도록 돕는 RoamFlow라는 새로운 시스템을 소개합니다. 작동 원리는 다음과 같이 간단한 개념으로 나누어 설명할 수 있습니다.

1. 문제점: "한 걸음씩"의 어려움

기존의 로봇 두뇌는 미로를 풀기 위해 한 번에 아주 작은 한 걸음을 내딛고, 주변을 둘러보고, 다음 단계를 결정하고, 이를 반복하는 사람처럼 작동했습니다.

문제점: 이는 느립니다. 만약 로봇이 소파에 도달하기 위해 50단계를 계획해야 한다면, 로봇은 50번 따로 "생각"해야 합니다. 생각을 마칠 때쯤이면 이미 움직이는 장애물에 대응하기에는 너무 늦습니다. 또한, 오직 한 단계 앞만 내다보기 때문에 "근시안적(myopic)"이 되어 막다른 길로 이어지는 잘못된 경로를 택하기 쉽습니다.

2. 해결책: "한 번의 꿈" (MeanFlow)

RoamFlow는 게임의 판도를 바꿉니다. 한 걸음씩 생각하는 대신, MeanFlow라고 불리는 기술을 사용하여 단 한 번의 번뜩임으로 전체 경로를 "꿈꾸듯" 그려냅니다.

비유: 당신이 화가라고 상상해 보세요.
- 기존 방식 (Diffusion): 당신은 정적 노이즈로 가득 찬 빈 캔버스에서 시작합니다. 노이즈를 아주 작은 붓터치로 하나씩 지워나가며 이미지가 나타날 때까지 그림을 정교하게 다듬습니다. 이 과정은 많은 단계가 필요합니다.
- RoamFlow (MeanFlow): 노이즈를 천천히 지우는 대신, 노이즈를 최종 그림으로 직접 몰고 가는 "평균적인 바람"을 학습합니다. 당신은 단 한 번의 도약으로 전체 이미지를 예측할 수 있습니다.
결과: 로봇은 50개의 개별 동작을 계산하지 않습니다. 대신 현재 위치에서 목표물까지 가기 위해 필요한 "평균적인 방향"을 한 번에 계산합니다. 덕분에 로봇은 믿기지 않을 정도로 빨라졌으며, 지연 현상 없이 배터리로 구동되는 소형 로봇에서도 실행될 수 있습니다.

3. 학습 과정: "견습생" 그 다음 "코치"

이 논문은 인간이 새로운 기술을 배우는 방식과 유사하게, 로봇을 가르치기 위한 2단계 학습 과정을 사용합니다.

1단계: 견습생 (모방 학습 - Imitation Learning):
먼저, 로봇은 "마스터"(전문가 컴퓨터 알고리즘)가 완벽한 경로를 주행하는 모습을 관찰합니다. 로봇은 마스터를 똑같이 따라 하려고 노력합니다. 이를 통해 로봇은 벽에 부딪히며 시작하지 않도록 좋은 출발점을 갖게 됩니다.
2단계: 코치 (강화 학습 - Reinforcement Learning):
복사하는 것만으로는 부족합니다. 실제 세상은 복잡하기 때문입니다. 그 후 로봇은 비디오 게임 시뮬레이션(Habitat)에 투입되어, 목표에 빠르게 도달하면 점수를 얻고 벽에 부딪히면 점수를 잃습니다. 로봇은 스스로 연습하며 마스터의 실수를 바로잡고, 새롭고 까다로운 상황에 적응하는 법을 배웁니다.

4. 안전 필터: "교통 경찰"

빠른 두뇌를 가졌더라도, 로봇은 몇 가지 다른 가능한 경로들(예: "왼쪽으로 가기", "오른쪽으로 가기", "직진하기")을 생성할 수 있습니다.

혁신: RoamFlow에는 특별한 "교통 경찰" 모듈(경로 평가기 - Trajectory Evaluator)이 있습니다. 이 모듈은 로봇이 꿈꾼 모든 가능한 경로를 살펴보고 즉시 가장 안전하고 매끄러운 경로를 선택합니다.
비유: 이것은 오케스트라의 지휘자와 같습니다. 음악가들(생성기)은 몇 가지 다른 음을 연주할 수 있지만, 지휘자(평가기)는 가장 적절한 음을 골라 음악이 충돌 없이 흐르게 만듭니다.

이 기술이 중요한 이유 (논문에 따르면)

저자들은 컴퓨터 시뮬레이션과 실제 로봇 개(Unitree Go2) 모두에서 이를 테스트했습니다.

속도: 약 19밀리초(0.05초 미만) 만에 실행되므로, 실시간 제어가 가능할 만큼 빠릅니다.
성공률: 다른 첨단 방식들보다 목표에 더 자주 도달했으며 장애물 충돌도 적었습니다.
효율성: 이러한 높은 성능을 구현하면서도 슈퍼컴퓨터가 필요하지 않습니다. 로봇에 부착된 작은 칩에서도 작동합니다.

요약하자면, RoamFlow는 로봇이 전체 경로를 한눈에 "보게" 하고, 완벽해질 때까지 연습시킨 뒤, 눈 깜짝할 사이에 가장 안전한 경로를 빠르게 선택하도록 가르칩니다.

기술 요약: RoamFlow

문제 정의

이미지 목표 내비게이션(Image-goal navigation)은 에이전트가 온보드 센서 관측만을 사용하여 목표 이미지로 지정된 대상 위치에 도달해야 하는 임바디드 로보틱스(embodied robotics)의 근본적인 과제입니다. 기존의 강화 학습(RL) 방식은 일반적으로 지각적 관측을 단일 단계 행동으로 직접 매핑합니다. 이러한 방법은 노이즈에는 강하지만, 장기적 의존성(long-horizon dependencies)을 처리하는 데 어려움을 겪으며, 이로 인해 복잡한 환경에서 근시안적인 행동과 차선한 궤적을 초래하곤 합니다.

최근의 생성형 프레임워크(예: 확산 기반 또는 플로우 매칭 정책)는 일관된 다단계 행동 시퀀스를 합성함으로써 궤적 수준의 추론을 가능하게 하여 이 문제를 해결하고자 합니다. 그러나 이러한 방법들은 두 가지 결정적인 한계에 직면해 있습니다:

추론 효율성: 이들은 반복적인 생성 과정(여러 번의 디노이징 단계 또는 수치적 적분)에 의존하며, 이는 자원이 제한된 로봇에 실시간 배포를 방해하는 계산 지연을 유발합니다.
정책 정렬(Policy Alignment): 대부분의 방식은 주로 모방 학습(IL)에 의존합니다. IL은 유용한 사전 지식(priors)을 제공하지만, 차선한 전문가 행동을 교정하거나 보지 못한 환경에 적응할 수는 없으며, 이는 누적된 장기적 오류와 충돌 회피 및 효율적인 목표 도달과 같은 작업 목표와의 불일치를 초사합니다.

방법론

저자들은 효율적인 단일 단계 궤적 생성과 2단계 학습 전략(모방 학습 + 강화 학습)을 결합한 생성형 내비게이션 프레임워크인 RoamFlow를 제안합니다.

1. 아키텍처

시스템은 세 가지 주요 구성 요소로 이루어집니다:

관측 인코딩(Observation Encoding): 현재의 RGB-D 관측값과 목표 RGB 이미지를 EfficientNet-B0 백본을 사용하여 인코딩하고, 트랜스포머 블록을 통해 융합하여 결합된 잠재 표현( $C_t$ )을 생성합니다.
RoamFlow 정책 (MeanFlow 생성기): 표준 플로우 매칭처럼 즉각적인 속도를 예측하는 대신, 정책은 MeanFlow를 활용하여 시간 간격 동안의 **평균 속도장(average velocity field)**을 예측합니다. 이는 즉각적인 변화가 아닌 구간 수준의 변위(interval-level displacement)를 모델링합니다. 이를 통해 정책은 가우시안 노이즈를 전체 궤적 시퀀스( $A_t$ )로 **단 한 번의 순방향 패스(single forward pass)**만에 매핑할 수 있으며, 이는 전송 단계(transport steps)를 크게 줄여줍니다.
궤적 평가기(Trajectory Evaluator): 경량 멀티 레이어 퍼셉트론(MLP) 헤드가 정책에 의해 생성된 후보 궤적들을 평가합니다. 이 헤드는 기하학적 여유 공간(geometric clearance, 안전성)과 매끄러움(smoothness)을 기준으로 궤적 점수를 매겨, 가장 높은 점수를 받은 궤적을 실행 대상으로 선택합니다. 이는 멀티모달 예측에서의 불안정성을 완화하기 위한 안전 필터 역할을 합니다.

2. 학습 전략

RoamFlow는 두 단계의 최적화 파이프라인을 사용합니다:

단계 I: 오프라인 모방 학습 (IL): MeanFlow 생성기와 궤적 평가기는 전문가 데이터셋(토폴로지컬 그래프 상의 Hybrid A*를 통해 생성됨)을 통해 사전 학습됩니다. 생성기는 예측된 평균 속도장과 전문가의 평균 속도장 사이의 오차를 최소화합니다. 평가기는 거리 필드를 기반으로 안전 및 매끄러움 점수를 예측하도록 회귀를 통해 학습됩니다.
단계 II: 온라인 강화 학습 (RL): 특정 작업 목적에 맞게 정책을 정교화하기 위해, 사전 학습된 정책을 Habitat 시뮬레이션 환경에서 미세 조정합니다. 저자들은 결정론적인 MeanFlow 전송을 확률적 마르코프 체인으로 변환하기 위해 학습 가능한 노이즈 네트워크를 도입하여 가능도 기반 최적화를 가능하게 합니다. 정책은 성공, 슬랙(시간 페널티), 진행도 및 충돌 항을 포함하는 보상 함수를 사용하는 **PPO (Proximal Policy Optimization)**를 통해 최적화됩니다.

주요 기여

MeanFlow 기반 생성 정책: 저자들은 효율적인 몇 단계(실질적으로는 단일 단계) 궤적 생성을 가능하게 하는 평균 속도장을 예측하는 정책을 도입했습니다. 이는 반복적인 생성 모델의 계산 병목 현상을 해결하면서 추론 지연 시간을 줄이고 궤적 품질을 유지합니다.
2단계 학습 프레임워크: 안정적인 초기화를 위한 오프-라인 IL과 작업 중심의 정교화를 위한 온-라인 RL을 결합한 새로운 파이프라인입니다. 이 접근 방식은 에이전트가 먼저 전문가의 사전 지식을 학습한 다음, 보상 신호를 통해 궤적 생성을 특정 내비게이션 목표(예: 충돌 회피)에 정렬할 수 있도록 합니다.
궤적 평가기: 추론 시 후보 궤적을 재순위화하는 메커니즘으로, 상당한 계산 오버헤드 없이 견고성과 안전성을 향상시킵니다.

실험 결과

프레임워크는 Habitat 시뮬레이션과 실제 로봇 실험(Unitree Go2 사족보행 로봇) 모두에서 검증되었습니다.

시뮬레이션 성능 (Habitat):
- Gibson 데이터셋에서 RoamFlow는 **성공률(SR) 68.7%**와 **SPL 61.9%**를 달성하여, 강력한 베이스라인인 NavDP(SR 59.3%, SPL 47.5%)를 능가했습니다.
- **충돌률(CR)**을 NavDP의 11.6%에 비해 10.9%로 크게 낮췄습니다.
- 추론 시간: RoamFlow는 19.6 ms의 지연 시간을 달성하였는데, 이는 확산 기반 베이스라인(예: NaviDiffusor의 89.5 ms) 및 다른 모델의 증류(distilled) 버전보다도 상당히 개선된 수치입니다.
- 교차 도메인 일반화: 학습되지 않은 MP3D 데이터셋에서도 Ro을 미세 조정 없이도 높은 성능(SR 56.1%)을 유지하여 강력한 일반화 능력을 입증했습니다.
실제 환경 배포:
- NVIDIA Jetson Orin NX가 탑ずつ된 Unitree Go2 로봇에 배포된 RoamFlow는 세 가지 서로 다른 시나리오에서 20회 실행 동안 100% 성공률을 기록했습니다.
- 가장 낮은 충돌률(실행당 0.10회 충돌)과 가장 빠른 추론 시간(37.2 ms)을 기록하여 10Hz 제어 루프의 실시간 제약 조건을 충족했습니다.
절제 연구 (Ablation Studies):
- IL 사전 학습 단계를 제거했을 때 SR이 68.7%에서 13.2%로 급격히 떨어졌으며, 이는 전문가 사전 지식의 필요성을 확인시켜 줍니다.
- RL 단계를 제거하면 SR이 감소(51.3%)하고 CR이 증가(25.9%)하여, 안전 및 작업 정렬을 위한 RL의 역할을 강조했습니다.
- 궤적 평가기를 무작위 선택으로 대체했을 때 충돌률이 증가하여, 평가기의 안전 필터 역할을 검증했습니다.

의의 및 주장

본 논문은 RoamFlow가 자원이 제한된 온보드 시스템에 생성형 내비게이션 정책을 배포하기 위한 실질적인 솔루션을 제공한다고 주장합니다. 순간적인 속도 모델링에서 **구간 수준의 변위 모델링 (MeanFlow)**으로 전환함으로써, 이 방법은 궤적 품질을 희생하지 않으면서 효율적인 단일 단계 생성을 달성합니다. 또한, 2단계 학습 전략은 정적인 모방 학습과 동적인 작업 요구 사항 사이의 간극을 메워, 정책이 안정적일 뿐만 아니라 안전 및 효율성과 같은 실제 목표에 정렬되도록 보장합니다. 저자들은 이러한 생성 모델링, 효율적인 추론, 그리고 강화 학습 정렬의 결합이 시뮬레이션과 실제 환경 모두에서 견고한 이미지 목표 내비게이션을 가능하게 한다고 단언합니다.