기술 요약: 정교한 조작을 위한 잔차 흐름 스티어링 (Residual Flow Steering, RFS)

문제 정의

디퓨전(diffusion) 및 플로우 매칭(flow matching)과 같은 표현력이 풍부한 생성 모델을 사용하는 모방 학습은 고차원 정교한 조작(dexterous manipulation)을 위한 정책 부트스트래핑에 효과적임이 입증되었습니다. 그러나 인간의 시연 데이터만을 기반으로 사전 학습된 정책은 본질적으로 보지 못한 시나리오에 대한 일반화 능력이 제한적이며, 견고하고 상용 수준의 성능을 달-성하기 위해서는 미세 조정(fine-tuning)이 필요합니다.

기존의 적응 방법들은 다음과 같은 트레이드오프에 직면해 있습니다:

• 지도 학습 기반 미세 조정(Supervised Fine-Tuning): 고품질의 정제된 전문가 데이터가 필요하며, 이는 수집 비용이 매우 높습니다.
• 생성 모델을 활용한 강화 학습(RL): RL은 보상 최적화를 통해 행동을 개선하는 원칙적인 프레임워크를 제공하지만, 표준 RL 미세 조정 방식은 폐쇄형 가능도(closed-form likelihood)나 재매개변수화 기법(reparameterization tricks)에 의존하는 경우가 많습니다. 이는 복잡한 생성 아키텍처(디퓨전/플로우 모델)와 호환되지 않습니다. 또한, 기존의 정책 변조(policy modulation) 기술은 전역적 탐색(global exploration)과 국소적 정밀도(local precision) 사이의 균형을 맞추는 데 어려움을 겪습니다:
  • *잔차 RL(Residual RL)*은 국소적인 행동 교정은 가능하게 하지만, 필요한 전역적인 행동 변화를 유도하는 데는 실패합니다.
  • *디퓨전 스티어링(Diffusion Steering, 입력 변조)*은 전역적인 변조를 허용하지만, 분포 외(off-distribution) 상태에서 세밀한 제어가 제한적입니다.

핵심 과제는 사전 학습된 생성 정책의 전역적 탐색 이점을 유지하면서, 새로운 작업 및 실제 역학(dynamics)에 적응하고 국소적인 실행 오류를 빠르게 교정할 수 있도록 하는 것입니다.

방법론: 잔차 흐ло우 스티어링 (Residual Flow-Steering, RFS)

저자들은 사전 학습된 플로우 매칭 정책을 업데이트하지 않고 입력과 출력을 동시에 변조하여 적응시키는 데이터 효율적인 강화 학습 프레임워크인 **Residual Flow Steering (RFS)**를 제안합니다.

통합 정책 변조 (Unified Policy Modulation)

RFS는 정책 적응을 사전 학습된 베이스 정책 $\pi_{base}$(플로우 매칭 속도장 $v_\theta$로 표현됨)의 하위 파라미터를 업데이트하지 않고 변조하는 과정으로 간주합니다. 이는 다음 두 가지 구성 요소를 공동으로 최적화합니다:

1. 잠재 노이즈 스티어링 (입력 변조, Latent Noise Steering): 정책 $\pi_H$는 상태 $s$에 조건화된 초기 잠재 노이즈 벡터 $a_0$를 출력하도록 학습됩니다. 이는 생성 모델의 전역적 행동을 유도하여, 정책이 모드(mode)를 전환하고 시연 매니폴드를 넘어 탐색할 수 있게 합니다.
2. 잔차 행동 교정 (출력 변조, Residual Action Correction): 정책 $\pi_r$은 베이스 정책의 출력에 더해질 잔차 행동 $a_r$을 학습합니다. 이를 통해 실행 오류를 수정하거나 매니폴드 외의 요구 사항을 처리하기 위한 정밀한 국소적 미세 조정을 수행합니다.

최종 행동은 다음과 같이 계산됩니다:
$$a = a_{base} + a_r$$
여기서 $a_{base}$는 스티어링된 잠재 노이즈 $a_0$로부터 플로우 역학을 적분하여 생성됩니다.

구현 파이프라인

이 프레임워크는 시뮬레이션-투-리얼리티(sim-to-reality) 파이프라인을 통해 구현됩니다:

1. 시뮬레이션 사전 학습: 소량의 VR 텔레오퍼레이션 시연 데이터를 사용하여 베이스 플로우 매칭 정책을 학습합니다.
2. 시뮬레이션 내 온라인 RL: RFS 정책($\pi_{RFS}$)을 온라인 PPO를 사용하여 미세 조정함으로써 파지(grasp) 성공률과 안정성을 최적화합니다. 여기서는 특권 상태 정보(privileged state information, 예: 물체의 포즈)를 사용하여 고품질의 시연 데이터를 생성합니다.
3. 지식 증류 (Distillation): RFS로 강화된 정책을 포인트 클라우드에 조건화된 시각 운동(visuomotor) 정책으로 증류하여, 배포 시 특권 상태 정보가 필요 없도록 합니다.
4. 실제 환경 오프라인 미세 조정: 심-투-리얼(sim-to-real) 격차를 줄이기 위해, 인간이 교정한 전환(transition) 데이터셋을 사용하여 증류된 정책을 적응시킵니다.
   • 데이터 수집: 베이스 정책이 롤아웃을 실행하면, 인간이 교정 행동($a_{human}$)을 통해 개입합니다.
   • 잔차 정의: 잔차는 $a_r = a_{human} - a_{base}$로 정의됩니다.
   • 학습: RFS 정책은 오프라인 RL(구체적으로 TD3+BC)을 사용하여 학습됩니다. 크리틱(critic)은 분해된 구성 요소가 아닌 최종 실행된 행동($a = a_{base} + a_r$)에 조건화되는데, 저자들은 이것이 안정성에 결정적임을 발견했습니다. 액터(actor)는 잔차 행동에 대해 행동 복제(behavior cloning) 정규화를 적용하면서 크리틱 값을 최대화합니다.

주요 기여

1. RFS 프레임워크: 사전 학습된 플ow-matching 정책을 적응시키기 위해 잠재 노이즈(전역 적응용)와 잔차 행동(국소 정밀화용)을 공동으로 최적화하는 통합 프레임워크인 Residual Flow Steering을 도입했습니다.
2. 효과적인 시뮬레이션 사전 학습: RFS가 인간의 시연으로부터 복잡한 다지(multi-finger) 협응 동작을 성공적으로 포착하며 견고한 시뮬레이션 사전 학습을 가능하게 함을 입증했습니다.
3. 데이터 효율적인 실제 환경 적응: RFS가 오프라인 RL을 통한 실제 환경 미세 조정을 지원하며, 부트스트랩된 모방 학습 베이스라인 및 표준 잔차 전용 또는 스티어링 전용 방법보다 우수한 성능을 보임을 검증했습니다.
4. 포괄적인 절제 실험 (Ablations): 높은 성능을 위해 입력 및 출력 변조 구성 요소 모두가 필수적임을 밝히는 광범위한 실험을 수행했습니다.

실험 결과

시뮬레이션 성능

RFS는 Grasping, Pick & Place, Packing, Push-to-Grasp, Stacking, Pouring의 6가지 정교한 조작 작업에 대해 평가되었습니다.

• 베이스라인: RFS는 Diffusion/Flow RL 미세 조정(DPPO, ReinFlow), Offline-to-Online RL(IQL, AWAC, Flow Q-Learning), 그리고 시연을 활용한 RL(RLPD, IBRL)과 비교되었습니다.
• 절제 실험: Residual RL 전용 방식(Policy Decorator, ResiP) 및 Diffusion Steering 전용 방식(DSRL)과 비교되었습니다.
• 결과: RFS는 모든 작업에서 가장 높은 성공률을 기록하며 평균 성공률 0.87을 달성했습니다.
  • 특히, RFS는 다른 방법들이 무너지거나 어려움을 겪는 장기 호라이즌(Packing) 및 고정밀(Stacking, Pouring) 작업에서 베이스 정책 및 모든 베이스라인을 크게 앞질렀습니다.
  • 예를 들어, Stacking 작업에서 RFS는 0.95의 성공률을 기록한 반면, 베이스 정책은 0.15, DSRL은 0.135를 기록했습니다.

실제 환경 성능

Franka 암과 LEAP 핸드를 사용하여 시뮬레이션에서 학습된 정책을 실제 환경의 Grasping 및 Pick-and-Place 작업(본 적 있는 물체 및 보지 못한 물체 모두 포함)으로 전이하는 실험을 수행했습니다.

• 설정: 미세 조정은 단 50개의 인간 교정 시연(오프라인 RL)만을 사용하여 수행되었습니다.
• 베이스라인: Zero-shot transfer, Behavior Cloning(BC) 미세 조정, Co-training이 비교 대상입니다.
• 결과:
  • 본 적 있는 물체 (Seen Objects): RFS는 Pick-and-Place에서 90.0%, Grasping에서 **80.0%**의 성공률을 달성하여, Co-training(60.0% / 83.3%)과 BC(40.0% / 73.3%)를 능가했습니다.
  • 보지 못한 물체 (Unseen Objects): RFS는 뛰어난 일반화 능력을 보여주며 Grasping에서 74.0%, Pick-and-Place에서 **48.0%**의 성공률을 달성하여, zero-shot 베이스라인(43.3% / 30.0%) 및 기타 오프라인 RL 변형 모델들보다 현저히 높은 성능을 보였습니다.
• 크리틱 설계: 저자들은 크리틱을 최종 실행된 행동($a_{base} + a_r$)에 조건화하는 것이 필수적임을 발견했습니다. 분해된 구성 요소에 조건화하는 방식은 일관된 결과를 내지 못했습니다.

의의 및 주장

본 논문은 RFS가 생성적 모방 학습의 "적응 병목 현상(adaptation bottleneck)"에 대한 원칙적인 해결책을 제공한다고 주장합니다. 전역적 탐색(잠재 노이즈를 통해)과 국소적 정밀화(잔차를 통해)를 분리함으로써, RFS는 정책이 다음을 가능하게 합니다:

1. 사전 학습 보존: 사전 학습된 플로우 매칭 정책의 표현력 있는 구조와 멀티모달 능력을 유지합니다.
2. 효율적 적응: 최소한의 실제 환경 상호작용 데이터(오프라인 미세 조정)를 통해 견고한 성능을 달성합니다.
3. 일반화: 시뮬레이션에서 실제 환경으로 성공적으로 전이하며, zero-shot 정책이 실패하는 새로운 물체와 동적인 조건을 처리합니다.

저자들은 RFS가 매우 효과적이지만, 현재의 한계점으로는 포인트 클라우드 관측에 대한 의존성(높은 수준의 의미론적 추론 부족)과 오프라인 미세 조정에 국한된 점(배포 중 동적으로 변화하는 조건에 대한 대응력 제한)을 꼽았습니다.