SERNF: 샘플 효율적인 현실 세계 정교한 조작 정책 미세 조정 (Action-Chunked Critics 및 Normalizing Flows 기반)

이 논문은 SERNF (Sample-Efficient Reinforcement Learning with Normalizing Flows) 를 제안합니다. 이는 제한된 현실 세계 상호작용 예산 하에서 정교한 조작 (Dexterous Manipulation) 작업을 수행하기 위한 시각 - 운동 (Visuomotor) 정책 미세 조정 프레임워크입니다.

1. 문제 정의 (Problem)

현실 세계의 정교한 로봇 조작 정책 미세 조정은 다음과 같은 주요 난제에 직면해 있습니다:

• 제한된 상호작용 예산: 실제 로봇과의 상호작용은 시간과 비용이 많이 들기 때문에, 수집 가능한 데이터 양이 제한적입니다.
• 다중 모드 (Multimodal) 행동 분포: 정교한 작업 (예: 가위 사용, 큐브 회전) 은 단일 최적 행동이 아닌 여러 가지 성공적인 행동 경로를 가질 수 있어, 행동 분포가 복잡하고 다중 모드 (Multimodal) 성격을 띱니다.
• 기존 방법의 한계:
  • 확산 기반 (Diffusion-based) 정책: 표현력은 뛰어나지만, 행동 확률 (Likelihood) 을 계산하는 것이 불가능 (intractable) 하여 보수적인 (conservative) 확률 기반 미세 조정이 어렵습니다.
  • 가우시안 정책: 다중 모드 분포를 모델링할 때 성능이 급격히 저하 (collapse) 됩니다.
  • 기존 크리틱 (Critic): 행동이 '조각 (Chunk)' 단위로 실행될 때, 단계별 (per-step) 크리틱은 장기적인 신용 할당 (Credit Assignment) 을 제대로 수행하지 못합니다.

2. 방법론 (Methodology)

SERNF 는 조건부 정규화 흐름 (Conditional Normalizing Flow, NF) 정책과 행동 조각화 크리틱 (Action-chunked Critic) 을 결합하여 위 문제들을 해결합니다.

A. 정규화 흐름 (Normalizing Flow) 정책

• 정확한 가능도 (Exact Likelihood): NF 는 가역적 변환을 통해 행동 조각 (Action Chunk) 에 대한 정확한 로그 가능도 (log-likelihood) 를 계산할 수 있습니다. 이는 확산 모델과 달리 보수적인 정규화 (Conservative Regularization) 를 가능하게 하여, 초기 정책 (예: 시뮬레이션 또는 원격 조작 데이터) 에서 벗어나지 않도록 안정적으로 미세 조정을 수행할 수 있게 합니다.
• 다중 모드 표현: NF 는 복잡한 다중 모드 행동 분포를 효과적으로 모델링할 수 있습니다.
• 아키텍처: Transformer 기반의 커플링 레이어 (Coupling Layers) 를 사용하여 관찰 (Observation) 에 조건부인 행동 조각을 생성합니다.

B. 행동 조각화 크리틱 (Action-chunked Critic)

• 시간적 정렬: 로봇이 한 번의 결정으로 $H$ 단계의 행동 조각을 실행할 때, 크리틱은 전체 행동 조각에 대한 가치 (Value) 를 평가합니다.
• 신용 할당 개선: 단일 단계가 아닌 전체 시퀀스를 평가함으로써 장기적인 작업 (Long-horizon) 에서의 신용 할당 문제를 해결하고 분산을 줄입니다.
• HL-Gauss 분포: 크리틱의 출력 안정성을 높이기 위해 HL-Gauss 분포를 사용하여 가치 함수를 파라미터화합니다.

C. 학습 파이프라인 (4 단계)

1. 정책 초기화 (Imitation Learning): 성공적인 원격 조작 (Teleoperation) 데이터로 NF 정책을 학습합니다.
2. 오프라인 크리틱 웜업 (Offline Critic Warm-up): 초기 정책 하에서 수집된 데이터로 크리틱을 먼저 학습시켜 가치 추정의 안정성을 확보합니다.
3. 풀 오프라인 RL (Full Offline RL): 행동 정규화 (Behavior Regularization) 를 적용하여 오프라인 데이터만으로 정책을 미세 조정합니다.
4. 온라인 RL 미세 조정 (Online Fine-tuning): 실제 로봇에서 제한된 상호작용 데이터를 수집하여 오프라인 데이터와 혼합하고 정책을 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 현실 세계의 시각 - 운동 제어에 NF 정책과 행동 조각화 크리틱을 결합한 최초의 오프 - 정책 (Off-policy) RL 미세 조정 방법론을 제시했습니다.
2. 실제 하드웨어 검증: 확산 모델이나 가우시안 정책으로는 달성하기 어려운, 가위로 테이프 절단 및 손안 큐브 회전이라는 두 가지 고난이도 정교한 조작 작업에서 안정적인 성능을 입증했습니다.
3. 실용적인 학습 레시피: 제한된 온 - 로봇 데이터 환경에서 초기 정책에 대한 보수적인 정규화를 포함한 실용적인 학습 전략을 제시했습니다.

4. 실험 결과 (Results)

논문은 두 가지 실제 로봇 작업에서 SERNF 의 성능을 평가했습니다.

A. 가위 회수 및 테이프 절단 (Scissors Retrieval & Tape Cutting)

• 시나리오: 상자에 있는 가위를 잡고 공중에 매달린 테이프를 자르는 작업.
• 결과:
  • 초기 시�레이션 (Imitation Learning) 만으로는 가위 잡기 성공률은 50% 이었으나, 테이프 절단은 거의 불가능했습니다.
  • 오프라인 RL은 잡기 성공률을 80% 로 크게 향상시켰으나, 절단 동작은 여전히 미흡했습니다.
  • 온라인 RL 미세 조정을 통해 로봇은 가위 자세를 능동적으로 조정하고 효과적인 절단 동작을 학습하여, **최종 성공률 70%**를 달성했습니다.
  • 기존 방법 (ACT, Flow-Matching 등) 과 비교했을 때, SERNF 는 추가 데이터만으로는 해결되지 않는 문제를 RL 을 통해 성공적으로 해결했습니다.

B. 손안 큐브 회전 (In-hand Cube Rotation)

• 시나리오: 시뮬레이션에서 학습된 정책을 실제 로봇으로 이전 (Sim-to-Real) 하여 손바닥 아래로 큐브를 회전시키는 작업.
• 결과:
  • 초기 증류 (Distillation) 정책은 큐브를 떨어뜨리는 등 불안정했습니다.
  • SERNF 를 통한 온라인 미세 조정 후, 분당 회전 수 (RPM) 가 1.49 에서 6.25 로 급증했습니다.
  • 큐브를 떨어뜨리지 않고 연속적으로 회전시키는 안정적인 제어 능력을 획득했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 샘플 효율성: 실제 로봇과의 상호작용 시간이 매우 제한적인 환경에서도, NF 의 정확한 가능도 계산과 행동 조각화 크리틱을 통해 안정적이고 효율적인 학습을 가능하게 했습니다.
• 확장성: 복잡한 다중 모드 행동을 다루는 정교한 조작 작업에 있어, 기존 확산 모델의 한계 (가능도 계산 불가) 를 극복하고 RL 기반 미세 조정을 가능하게 하는 중요한 이정표입니다.
• 한계 및 향후 과제: 현재는 수동으로 보상이 라벨링되어야 하며, 계산 비용이 높다는 한계가 있으나, VLM(시각 - 언어 모델) 을 활용한 자동 라벨링 및 대규모 VLA 모델 적용 등을 통해 확장 가능성이 큽니다.

요약하자면, SERNF는 제한된 데이터 환경에서 복잡한 정교한 로봇 작업을 성공적으로 수행하기 위해, **정확한 확률 모델링 (NF)**과 **시간적 구조에 맞는 가치 학습 (Chunked Critic)**을 결합한 획기적인 솔루션을 제시합니다.