Flow-based Policy Adaptation without Policy Updates

기술 요약: GLOVES – 정책 업데이트 없는 흐름 기반 정책 적응(Flow-based Policy Adaptation)

문제 정의
현대 로봇 시스템은 인간 운영자, 모방 학습(IL) 정책, 강화 학습(RL) 정책, 그리고 사전 학습된 시각-언어-행동(VLA) 모델과 같은 사전 지식을 가진 에이전트에 점점 더 많이 의존하고 있습니다. 이러한 에이전트들은 작업 의도를 추론할 수는 있지만, 특히 제로샷(zero-shot) 또는 도메인 변화(domain-shifted) 시나리오에 배치될 때 그 행동이 노이즈가 섞이거나, 편향되거나, 지연되거나, 전문가의 행동과 일치하지 않는 경우가 많습니다. 표준적인 해결책은 에이전트를 작업 특정 데이터로 미세 조정(finetuning)하는 것이지만, 에이전트가 인간이거나, 모델이 블랙박스 API인 경우, 대규모 데몬스트레이션 수집이 어렵거나, 대규모 모델을 업데이트하는 비용이 너무 큰 경우에는 이것이 불가능하거나 바람직하지 않을 수 있습니다. 본 논문은 에이전트 자체를 업데이트하지 않고 실행 시점에 에이전트의 행동을 적응시키는 과제를 다루며, 특히 이미지 조건부 액션 청크(image-conditioned action-chunk) 적응에 초점을 맞춥니다.

방법론: GLOVES
저자들은 GLOVES(흐름 기반 적응 방법론 제품군)를 제안하며, 이는 플로우 매칭(flow matching)을 사용하여 비전문가적 행동을 전문가 행동 분포 쪽으로 이동시켜 교정합니다. 이 프레임워크는 에이전트의 의도를 보존하면서 작업 성공률을 높이는 경량화된 공유 제어(shared-control) 모듈로 작동합니다.

1. 핵심 메커니즘 (플로우 매칭):
   GLOVES는 시각적 관측값 $c$에 조건화된 가측 소스 분포(가우시안 노이즈)를 타겟 전문가 분포로 매핑하는 조건부 흐름 $v_\theta(x, t | c)$를 학습합니다. 훈련 과정에서 제한된 전문가 데몬스트레이션을 통해 전문가 흐름(expert flow)을 학습합니다. 사용 가능한 경우, 불완전한 에이전트의 행동으로부터 에이전트 흐름(agent flow)을 학습할 수도 있습니다.

2. OOD 게이트를 통한 선택적 개입:
   핵심 혁신은 전문가 흐름 자체를 자연스러운 분포 외(out-of-distribution, OOD) 탐지기로 사용하는 것입니다. 별도의 불확정성 모델을 훈련하는 대신, 시스템은 제안된 액션 청크 $a_u$를 역으로 추적하여 잠재 표현 $\hat{z} = F^{-1}_\theta(a_u)$를 추정함으로써 평가합니다. 점수 $s(a_u) = \|\hat{z}\|^2_2$는 비합치도(non-conformity) 지표 역할을 합니다.

   • 점수가 해당 행동이 분포 내에 있음(전문가 사전 확률과 일치함)을 나타내면, 행동을 변경 없이 그대로 실행합니다.
   • 행동이 OOD인 경우, 시스템은 이를 교정하기 위해 개입합니다.
     이 메커니즘은 유효한 행동에 대한 불필요한 편집을 방지하고 계산 오버헤드를 줄입니다.

3. 적응 변체(Adaptation Variants):
   논문은 행동을 정교화하기 위한 GLOVES 제품군 내의 세 가지 특정 방법을 소개합니다.

   • FPAS (Flow-Prior Action Sampling): 에이전트의 명령 주변에서 국소적인 샘플링 기반 탐색을 가이드하기 위해 OOD 점수를 사용합니다. 섭동된 후보들을 샘플링하고, OOD 점수가 높거나 원래의 행동에서 너무 멀리 벗어난 후보에 페널티를 부여하며, 반복적으로 청크를 정교화합니다.
   • FEEG (Flow Editing with Energy Guidance): 학습된 전문가 흐름을 직접 가이드하여, 사용자의 의도와 일치하면서도 전문가다운 행동을 생성합니다. 이는 에이전트에 대한 충실도와 전문가 분포에 대한 합치 사이의 균형을 맞추기 위해 에너지 함수 $E(x) = \frac{1}{2}\|x - a_u\|^2$를 사용하여 흐름 궤적을 정규화합니다.
   • IFAE (Inversion-Free Action-Chunk Editing): FlowAlign에서 영감을 받은 이 방법은 확산 기반 에디터에서 흔히 나타나는 "노이즈 생성 후 디노이징(noise-then-denoise)" 역전 단계를 피합니다. 에이전트 흐름과 전문가 흐름 사이의 결합된 흐름 궤적을 사용하여 에이전트의 액션 청크를 전문가 분포로 직접 이동시키며, 이를 통해 작업 의존적인 "지원 깊이(assistance depth)" 하이퍼파라미터를 선택할 필요를 없앱니다.

주요 기여

• 업데이트 없는 정책 적응: GLOVES는 밑바탕이 되는 정책 파라미터를 수정하지 않고도 실행 시점에 블랙박스 에이전트(인간 및 VLA 포함)를 적응시킬 수 있게 합니다.
• 통합 프레임워크: 정책 적응과 공유 자율성을 단일 행동 교정 프레임워크 내로 통합합니다.
• 소스 일관적 교정: 부분 확산(partial-diffusion)의 충실도-합치 트레이드오프 하이퍼파라미터를 선택해야 하는 방법들과 달리, GLOVES(특히 IFAE)는 명시적인 역전 과정 없이 에이전트의 제안과 일관성을 유지하며 소스에서 전문가로의 전송을 수행합니다.
• 내장된 OOD 탐지: 이 방법은 학습된 전문가 흐로를 선택적 개입(언제 지원할 것인지 결정)과 교정 자체를 위해 모두 활용하여, 별도의 이상 탐지기가 필요하지 않습니다.
• 데이터 효율성: 이 시스템은 어댑터를 훈련하기 위해 소수의 전문가 데몬스트레이션이나 재사용 가능한 성공적인 기술 세그먼트만을 필요로 합니다.

실험 결과
저자들은 네 가지 시뮬레이션 작업(Slalom, CAN placement, Keypad entry, Charger Plug)과 두 가지 실제 로봇 작업(Charger Insertion, Cup Serving)에서 GLOVELS를 평가했습니다.

• 확률적 래퍼 에이전트(Stochastic Wrapper Agents): 시뮬레이션에서 GLOVES 변체들은 16개의 확률적 래퍼 설정(노이즈, 지연, 느림, 편향된 에이전트 포함) 중 13개에서 최고의 성공률을 달 기록했습니다.
• VLA 에이전트: 미세 조정된 VLA 에이전트의 경우, GLOVES는 시뮬레이션에서 성공률을 최대 29.03% 향상시켰습니다.
• 실제 환경 성능: 실제 로봇 환경에서 GLOVES는 베이스라인(DDPM 기반 및 Consistency Model 기반 공유 자율성 방법들)보다 일관되게 우수한 성능을 보였으며, 미세 조정된 VLA의 성능을 개선했습니다.
• 효율성: OOD 게이트는 유효한 행동을 성공적으로 필터링하여, 교정이 필요한 경우에만 적용되도록 함으로써 추론 비용을 줄였습니다.

의의 및 주장
본 논문은 GLOVES가 미세 조정의 계산 및 데이터 비용 없이 불완전한 에이전트를 개선할 수 있는 경량화되고 견고한 프레임워크를 제공한다고 주장합니다. 플로우 매칭을 활용함으로써, 이 방법은 에이전트의 의도 보존과 전문가 행동 준수 사이의 균형을 맞추는 선택적 개입을 위한 자연스러운 메커니즘을 제공합니다. 저자들은 이 접근 방식이 에이전트의 성격(인간 또는 AI)에 관계없이 적용 가능하며, 전문가 정책, 보상 설계, 또는 시스템 역학에 대한 지식을 요구하지 않는다는 점을 강조합니다. 결과는 액션 레벨의 적응을 통한 흐름 전송이 완전한 자율 주행이나 모델 재학습의 효과적인 대안이 될 수 있음을 보여주며, 특히 에이전트 업데이트가 제한적이거나 데이터가 부족한 시나리오에서 그러합니다.