기술 요약: 잠재 행동 유도 흐름 매칭 (Latent Action Guided Flow Matching, LAFM)

문제 정의

흐름 매칭(Flow matching)은 소스 분포에서 타겟 액션 분포로 연속적인 수송 필드(transport field)를 학습함으로써, 확산 기반 정책(diffusion-based policies)보다 더 빠른 추론과 안정적인 최적화를 제공하며 로봇 조작 분야의 선도적인 패러다임으로 부상했습니다. 그러나 최첨단 흐름 매칭 정책들은 체계적인 구조적 불일치(systematic structural mismatch) 문제를 겪고 있습니다. 이들은 전역적으로 고정된 등방성 가우시안 소스 분포($N(0, I)$)에 의존하는데, 이는 로봇 액션 공간의 강하게 파편화되고 이분산적인(heteroscedastic) 특성을 반영하지 못합니다.

로봇 조작에서 동일한 시각적 관측값은 여러 가지 유효한 운동 미래(예: 서로 다른 잡기 전략 또는 상호작로 의도)에 대응할 수 있습니다. 단일한 비구조적 소스를 이러한 날카롭게 분리된 액션 모드들과 연결하도록 강제하는 것은 **매우 얽힌 벡터 필드(highly entangled vector fields)**를 생성합니다. 이는 모델이 인접한 노이즈 샘플들이 먼 타겟을 향해 진화해야 하는 복잡한 수송 경로를 학습하게 만들어, 훈련 효율성을 저해하고 정책 성능을 제한하는 병목 현상을 일으킵니다. 또한, 단일 고정 사전 분포는 모드별 불확실성을 포착할 수 없으며, 근본적으로 다른 운동 체계 전반에 걸쳐 균일한 분산을 암묵적으로 강요합니다.

방법론: 잠재 행동 유도 흐로 매칭 (LAFM)

LAFM은 단일한 가우시안 사전 분포를 **잠재 행동 모델(Latent Action Model, LAM)**에 기반한 학습된 사전 분포의 적응형 라이브러리로 교체함으로써 이러한 한계를 해결합니다.

핵심 아키텍처

이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

1. 잠재 행동 모델 (LAM): 관측값($o_t, o_{t+T}$) 사이의 시간적 역학을 이산적 잠재 공간 $C = \{1, \dots, C\}$로 압축하도록 사전 학습됩니다. 이는 즉각적인 제어보다는 고차원적인 운동 프리미티브(motion primitives)의 표현을 제공합니다.
2. 정책 인코더 (Policy Encoder): 현재 관측값으로부터 잠재 행동에 대한 범주형 분포($\pi_k(o_t)$)를 예측합니다. 이 예측은 어떤 사전 분포를 사용할지 선택하는 구조적 편향(structural bias) 역할을 합니다.
3. 흐름 매칭 디코더 (Flow Matching Decoder): 단일 전역 가우시안에서 노이즈를 샘플링하는 대신, 인코더가 예측한 잠재 행동 인덱스 $k$에 의해 선택된 특정 사전 분포 $N(\mu_k, \Sigma_k)$에서 샘플링합니다.

훈련 목적 함수

훈련 과정은 다음을 포함하는 합성 손실 함수(식 5)를 최소화합니다:

• 적응형 흐름 매칭 손실 ($L_{AFM}$): 네트워크는 디노이징 벡터 필드 $u_\theta(A^\tau_t | A_t) = A_t - \epsilon_k$를 회귀합니다. 여기서 $\epsilon_k$는 선택된 잠재 조건부 사전 분포로부터 샘플링됩니다.
• 잠재 행동 분류 손실 ($L_{CCE}$): 인코더가 실제 운동 프리미티브에 해당하는 잠재 행동 인덱스를 정확하게 예측하도록 보장하는 범주형 교차 엔트로피 손실입니다.
• KL 다이버전스 정규화 ($R_{KL}$): 학습된 사전 분포와 표준 정규 분포 사이의 발산을 페널티를 주는 보조 손실입니다. 이는 과도한 특수화를 방지하고, 특히 데이터가 적은 운동 프리미티브에 대해 훈련 안정성을 보장합니다.

이론적 정당성

저자들은 소스 분포를 구조화하면 수송 부담이 줄어든다는 직관을 공식화했습니다. 명제 1은 만약 사전 분포가 조건부 액션 분포의 뚜렷한 모드들과 정렬된다면, 기대 제곱 수송 거리($E||A_t - \epsilon_k||^2$)가 완벽한 모드 결합을 가정할 때 단일 등방성 사전 분포의 거리보다 엄격히 작거나 같음을 보여줍니다. 이는 결과적으로 더 짧고 덜 얽힌 수송 경로를 만들어냅니다.

주요 기여

1. 새로운 정식화: 고정된 것이 아니라 학습 가능한 사전 분포 라이브러리로부터 동적으로 선택되는 조건부 흐름 매칭 프레임워크인 LAFM을 도입했습니다.
2. 구조적 귀납 편향: LAM을 사용하여 이러한 사전 분포를 정립함으로써, 잠재 행동을 단순한 사전 학습 신호에서 수송 과정의 기하학적 구조에 대한 직접적인 구조적 편향으로 변환했습니다.
3. 경험적 우월성: 구조화된 소스 분포가 시뮬레이션 및 실제 환경 모두에서 제어 성능을 크게 향상시키며, 표준 흐름 매칭 및 더 큰 규모의 시각-언어-행동(VLA) 모델보다 뛰어난 성능을 보임을 입증했습니다.

실험 결과

저자들은 실제 로봇 배치와 LIBERO 시뮬레이션 벤치마크를 통해 LAFM을 평가했습니다.

실제 환경 실험

네 가지 조작 작업(플레이트 쌓기, 서랍 조작, 캔 폐기, 그릇 쌓기)을 수행하는 Franka Emika Panda 암을 대상으로 평가되었습니다:

• 성공률: LAFM은 평균 **86.7%**의 성공률을 달성하여, 표준 흐름 매칭(FM) 베이스라인(63.3%)보다 23.4%, 대규모 사전 학습된 VLA인 $\pi_0$(71.7%)보다 15.0% 높은 성능을 보였습니다.
• 완료 점수 (Completion Score): LAFM은 FM 대비 18.9%, $\pi_0$ 대비 11.0% 향상된 연속 완료 점수를 기록했습니다.
• 효율성: LAFM(0.11B 파라미터)은 대규모 사전 학습이나 훨씬 더 많은 파라미터를 가진 $\pi_0$(3.3B 파라미터)보다 뛰어난 성능을 보였습니다.

시뮬레이션 벤치마크 (LIBERO)

• LIBERO-10 (Spatial, Object, Goal, Long): LAFM은 **96.5%**의 최고 수준 평균 성공률을 달성하여, 표준 FM 베이스라인(95.4%)과 UniVLA(95.2%)와 같은 다른 대규모 VLA를 근소하게 앞질렀습니다.
• LIBERO-90: 더 복잡한 90개 작업 세트인 LIBERO-90에서 LAFM은 **93.0%**의 성공률을 달리, 표준 FM 베이스라인(82.6%) 대비 **10.4%**의 절대적 향상을 보였으며, $\pi_0$(92.1%)를 포함한 모든 베이스라인을 능가했습니다.

절제 연구 (Ablation Studies)

LAFM을 "FM + LAC"(잠재 행동이 입력으로 제공되지만 노이즈는 여전히 단일 가우시안에서 샘플링되는 흐름 매칭)와 비교한 결과, 보조 감독(auxiliary supervision)이 도움이 되기는 하지만, 구조화된 사전 분포(structured priors) 자체가 성능 향상의 주요 동력임을 보여주었습니다.

의의 및 주장

본 논문은 LAFM이 표준 흐름 매칭의 구조적 비효율성을 해결함으로써 로봇 조작을 위한 강건하고 효율적이며 확장 가능한 패러다임을 구축한다고 주장합니다. 잠재 행동을 통해 디노이징 과정의 초기화를 거친 운동 의도와 정렬함으로써, 이 방법은 다음과 같은 효과를 얻습니다:

• **벡터 필드를 분리(disentangle)**하여 학습 과제를 더 쉽게 만들고 샘플 효율성을 높입니다.
• 인간 시연의 이분산성(heteroscedasticity)을 수용하여, 모델이 운동 프리미티브에 따라 분산을 적응할 수 있게 합니다.
• 거대 규모의 VLA보다 훨씬 작은 아키텍처를 사용하여 **최첨단 결과(SOTA)**를 달성하며, 이는 생성 모델의 구조적 개선이 단순히 모델 크기를 키우는 것보다 더 큰 성능 향상을 가져올 수 있음을 시사합니다.

저자들은 이 방법이 매우 효과적이지만, 로봇의 운동학을 외부 시각 역학(예: 카메라 이동)으로부터 더 잘 분리하도록 LAM을 정교화하고, 멀티 프리즘 흐름 매칭을 대규모 VLA 사전 학습 파이프라인에 직접 통합하기 위한 후속 연구가 필요하다고 언급했습니다.