기술 요약: 지속적 로봇 학습을 위한 액션 플로우 매칭 (Action Flow Matching)

문제 정의

지속적 학습(Continual learning)은 인간의 적응력을 모방하여 변화하는 환경과 작업에 적응할 수 있는 시스템을 만드는 것을 목표로 하는 로보틱스의 핵심 과제입니다. 중심적인 도전 과제는 역학 모델(dynamics models)—즉, 로봇이 자신의 행동 결과를 예측하기 위해 사용하는 수학적 표현—을 정교화하는 것입니다. 모델은 계획 및 제어(예: 모델 예측 제어, MPC)를 위해 필수적이지만, 단순화된 가정, 설명되지 않은 환경 요인(예: 접지력 감소), 액추에이터 성능 저하 또는 파라미터 불확실성으로 인해 모델이 실제와 어긋나는(misaligned) 현상이 자주 발생합니다.

전통적인 모델 기반 강화 학습(MBRL) 방식은 대개 모델을 업데이트하기 위한 데이터를 수집하기 위해, 최신 상태이지만 잠재적으로 잘못 정렬된 모델을 사용하여 탐색을 수행합니다. 그러나 이는 비효율적인 데이터 수집, 파괴적 망각(catastrophic forgetting), 그리고 잘못된 예측에 기반한 하위 최적(suboptimal) 또는 잘못된 행동을 실행함으로써 발생하는 안전 위험을 초래할 수 있습니다. 본 연구가 다루는 핵심 문제는 어떻게 하면 로봇이 잘못 정렬된 모델을 가지고도 견고하게 작동하면서, 대규모 리플레이 버퍼나 정답 역학(ground-truth dynamics)에 크게 의존하지 않고도 모델을 재정렬하기 위한 정보가 풍부한 데이터를 효율적으로 수집할 수 있게 할 것인가입니다.

방법론: 액션 플로우 매칭 (Action Flow-Matching, AFM)

저자들은 **액션 플로우 매칭(AFM)**을 제안합니다. 이는 잘못 정렬된 모델을 가지고 탐색하는 대신, 로봇의 "의도"(모델이 완벽하게 정렬되었을 때 취했을 행동)에 더 잘 부합하도록 계획된 행동을 변환하는 데 초점을 맞춘 생성적 프레임워크입니다.

핵심 개념

잘못 정렬된 모델 $f_{\theta_t}$로부터 도출된 계획된 행동 $a^0_t$를 그대로 실행하는 대신, AFM은 이를 교정된 행동 $a^1_t$로 생성하기 위해 변환을 적용합니다. 이 변환은 로봇이 실제로 도달한 상태와 로봇이 계획했던 상태 사이의 편차를 최소화하도록 학습되며, 이를 통해 모델의 부정확성을 효과적으로 보상합니다.

주요 구성 요소

1. 효율적인 역학 공간 축소 (Efficient Dynamics Space Reduction):
   • 무작위 탐색 대신, AFM은 초기(불완전한) 역학 모델을 사용하여 상태-행동 공간의 동역학적으로 실행 가능한 영역을 근사합니다. 이는 학습 과정을 물리적으로 타당한 영역으로 제한하여 데이터 효율성을 높입니다.
2. 정답 없이 구현되는 역학 레짐 표현 (Dynamics Regime Representation Without Ground Truth):
   • 이 방법은 상태 진화의 패턴을 식별함으로써 서로 다른 "역학 레짐"(예: 빙판길 vs 건조한 노면)을 표현하는 법을 배웁니다. 이는 정답 모델을 요구하지 않으며, 대신 계획된 상태 전이와 실제 실현된 상태 전이 사이의 불일치를 인코딩합니다.
3. 의도 매핑을 위한 플로우 매칭 (Flow Matching for Intent Mapping):
   • AFM은 소스 분포(계획된 행동)를 타겟 분포(의도된 행동)로 변환하는 속도장(velocity field)을 학습하는 생성적 프레임워크인 **플로우 매칭(Flow Matching, FM)**을 활용합니다.
   • 훈련 데이터 생성: 배포 중에는 "의도된 행동"(타겟)을 알 수 없으므로, 저자들은 카운터팩추얼(counterfactual)에서 영감을 얻은 훈련 전략을 제안합니다. 초기 모델 $f_{\theta_0}$를 사용하여 상태 전이를 시뮬레이션하되, 해당 전이가 다른 행동으로부터 기인한 것처럼 등록합니다. 이를 통해 $(s, a^0, a^1)$ 쌍의 데이터셋을 생성하며, 여기서 $a^1$은 현재 레짐 하에서 관측된 상태를 만들어냈을 행동을 의미합니다.
   • 아키텍처: 모델은 역학 레짐 인코더(상태, 행동, 예측 오차 처리)와 액션 인코더로 구성되며, 이들이 플로우 모델에 입력되어 속도장을 예측합니다. 이후 ODE 솔버가 이 필드를 적분하여 $a^0_t$를 $a^1_t$로 변환합니다.
4. 지속적 학습 루프 (Continual Learning Loop):
   • 시스템은 예측 오차를 모니터링합니다. 오차가 임계값을 초과하면, AFM 모듈이 활성화되어 행동을 변환합니다.
   • 변환된 행동이 실행되며, 결과로 나타난 상태 전이는 온라인 상에서 기저 역학 모델 $f_{\theta_t}$를 업데이트하는 데 사용됩니다.
   • 모델이 재정렬되면(오차가 감소하면), 시스템은 가공되지 않은 원래의 계획된 행동을 사용하는 상태로 복귀하여 탐색과 활용의 균형을 맞춥니다.

주요 기여

1. 효율적인 역학 공간 축소: 초기 모델을 활용하여 상태-행동 공간을 동역학적으로 실행 가능한 부분 집합으로 축소함으로써, 비효율적인 무작위 궤적 생성을 방지합니다.
2. 정답 없는 레짐 표현: 상태 진화 패턴과 예측 오차에 집중하여 역학 레짐을 표현함으로써, 학습 과정 중 정확한 정답 모델에 대한 필요성을 제거합니다.
3. 학습 가속화를 위한 의도 매핑: 플ow 매칭을 사용하여 가이드 신호(변환된 행동)를 생성함으로써, 모델의 재정렬을 가속화하는 더욱 정보가 풍부한 전이 데이터를 수집합니다.
4. 모델 불가지론적 특성 (Model Agnosticism): 본 프레임워크는 순수 데이터 기반 모델과 물리 기반 하이브리드 모델 모두와 작동하며, 기저 역학 모델 아키텍처에 구애받지 않습니다.

실험 결과

저자들은 두 가지 플랫폼인 **무인 지상 차량(Jackal UGV)**과 **쿼드로터(Crazyflie)**에서 AFM을 검증했습니다.

무인 지상 차량 (UGV)

• 작업: 역동적인 변화(예: 작업 중간의 갑작스러운 마찰 계수 변화)가 발생하는 ETHZ 지도 내의 희소 웨이포인트(sparse waypoints) 탐색.
• 베이스라인: stream-x PE(스트리밍 확률적 앙상블), Online-KNODE-MPC, 그리고 표준 물리 기반 모델과 비교되었습니다.
• 성능:
  • AFM은 평균 **작업 성공률 81.4%**를 달성하였으며, 이는 가장 우수한 베이스라인인 47.2%보다 34.2% 높은 수치입니다.
  • AFM은 베이스라인 대비 작업을 완료하는 데 평균 **15.1% 적은 단계(steps)**를 필요로 했습니다.
  • 까다로운 시나리오에서 AFM은 22건 중 17건의 성공을 거둔 반면, 가장 우수한 베베이스라인은 22건 중 15건에서 실패했습니다.
  • 어블레이션 연구(Ablation studies) 결과, AFM은 가중치 고정(frozen-weight) 모델 및 온라인 업데이트 모델보다 뛰어난 성능을 보였습니다.

쿼드로터 (Quadrotor)

• 작업: 비행 중 질량 변화(페이로드 이동 시뮬레이션)가 발생하는 상황에서의 원형 궤적 추적.
• 베이스라인: Online-KNODE-MPC(물리 정보 신경 ODE 방식) 및 물리 기반 모델과 비교되었습니다.
• 성능:
  • AFM을 Online-KNODE-MPC 베이스라인에 통합했을 때, 평균 궤적 추적 평균 제곱 오차(MSE)가 6.6% 감소했습니다.
  • 이러한 개선은 베이스라인이 이미 전문가가 설계한 물리적 사전 지식(physics priors)을 활용하고 있음에도 불구하고 유의미한 성과였습니다.

의의 및 주장

본 논문은 AFM이 다양한 환경에서 역학 모델을 지속적으로 적응시키고 정교화할 수 있게 함으로써 **평생 로봇 자율성(lifelong robot autonomy)**을 향한 중요한 진전임을 주장합니다.

• 탐색과 활용의 균형: AFM은 실시간으로 행동을 교정함으로써, 즉각적인 목표를 추구(활용)하는 동시에 모델 개선을 위한 고가치 데이터를 동시에 수집(탐색)할 수 있게 합니다.
• 안전성 및 효율성: 잘못 정렬된 모델로 무모하게 탐색하는 대신 행동을 변환함으로써, AFM은 치명적인 실패의 위험을 줄이고 학습 과정을 가속화합니다.
• 의존성 감소: 이 접근 방식은 대규모 리플레이 버퍼나 기존 모델 스냅샷에 대한 의존도를 낮추어, 자원이 제한된 온보드 시스템에 적합하게 만듭니다.
• 일반화 가능성: 순수 데이터 기반 UGV 모델과 물리 정보 기반 쿼드로터 모델 모두에서 성능을 개선하는 AFM의 능력은, 특정 역학 모델 아키텍처와 무관한 지속적 학습의 일반적 프레임워크로서의 잠재력을 입증합니다.

저자들은 AFM이 작업 성공률과 샘플 효율성을 크게 향상시켰지만, 역학 모델 자체의 일반화와 플로우 매칭 모델의 학습 데이터 효율성 측면에서 여전히 과제가 남아있음을 언급하며 향후 연구 방향을 제시하며 결론을 맺었습니다.