Planning from Observation and Interaction

1. 문제 정의 (Problem Definition)

• 배경: 기존 로봇 학습 (Imitation Learning, Reinforcement Learning) 은 대부분 전문가의 행동 데이터 (Action) 나 수동으로 설계된 보상 함수 (Hand-designed Reward) 에 의존합니다.
• 제약 조건: 이 연구는 관찰 데이터 (Observation) 만 존재하고, 행동 레이블이나 보상 함수는 전혀 주어지지 않는 극도로 데이터가 제한된 설정을 가정합니다. 즉, 로봇은 인간이 수행하는 작업의 영상 (또는 관찰 데이터) 만 보고, 직접 시도해보며 (Interaction) 어떻게 해야 하는지 학습해야 합니다.
• 기존 방법의 한계:
  • Behavior Cloning (BC): 행동 레이블이 없으면 적용 불가.
  • 기존 IRL (Inverse Reinforcement Learning): 시뮬레이션에서는 작동하지만, 실제 세계 (Real-world) 에서 학습 효율이 매우 낮고 불안정함.
  • RL with Demonstrations (RLPD): 보상과 행동 레이블이 필요하여 이 설정에 부합하지 않음.

2. 제안 방법: MPAIL2 (Model Predictive Adversarial Imitation Learning 2)

저자들은 기존 MPAIL 알고리즘을 확장하여 **실제 세계에서의 관찰 기반 역강화학습 (IRLfO)**을 가능하게 하는 MPAIL2를 제안합니다. 핵심은 **세계 모델 (World Modeling)**과 **계획 (Planning)**을 결합한 오프-폴리시 (Off-policy) 학습 프레임워크입니다.

주요 구성 요소

1. 인코더 (Encoder, $e_\omega$): 원시 관찰 데이터 (이미지, 관절 정보 등) 를 잠재 공간 (Latent Space, $z$) 으로 매핑합니다.
2. 동역학 모델 (Dynamics, $f_\psi$): 현재 상태 $z_t$와 행동 $a_t$를 입력받아 다음 상태 $z_{t+1}$을 예측합니다. 이는 로봇이 자신의 행동이 세계에 어떤 영향을 미치는지 학습하게 합니다.
3. 추론된 보상 (Inferred Reward, $r_\theta$): 관찰된 전문가의 시퀀스와 학습자의 시퀀스를 비교하여 보상을 추론합니다. (적대적 학습 방식 사용)
4. 가치 함수 (Value, $Q_\zeta$): 상태 - 행동 쌍에 대한 기대 보상을 예측합니다.
5. 다단계 정책 (Multi-step Policy, $\pi_\phi$): 즉각적인 행동 하나를 예측하는 것이 아니라, 일정 시간 구간 ($H$) 의 행동 시퀀스 (Plan) 를 생성합니다.
6. 계획기 (Planner, MPPI): 학습된 세계 모델을 사용하여 무작위로 샘플링된 여러 행동 시퀀스 (Plans) 를 시뮬레이션하고, 가장 높은 예상 보상을 주는 시퀀스를 선택하여 실행합니다.

학습 프로세스 (Algorithm 1 & 2)

• 관찰 및 상호작용: 로봇은 관찰 데이터를 저장하고, 계획기를 통해 행동을 선택하여 실제 환경과 상호작용합니다.
• 모델 업데이트:
  • 동역학 및 인코더: 실제 경험 데이터와 예측 데이터 간의 오차를 최소화하여 학습 (자기 지도 학습).
  • 보상 모델: 전문가 데이터 (D) 와 학습자 경험 데이터 (B) 를 구분하는 적대적 학습 (Adversarial Learning) 을 통해 학습. (Wasserstein GAN 의 Gradient Penalty 사용으로 안정화)
  • 가치 및 정책: 오프-폴리시 (Off-policy) 방식으로 TD($\lambda$) 리턴을 사용하여 학습.
• 계획 (Planning): MPPI (Model Predictive Path Integral) 알고리즘을 사용하여, 현재 상태에서 미래 상태까지의 잠재 공간 내 시뮬레이션을 수행하고, 보상과 가치 함수를 기반으로 최적의 행동 시퀀스를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 실제 세계에서의 첫 번째 IRLfO 구현: 사전 모델링 가정 없이, 실제 로봇 (Real-world) 에서 관찰 데이터만으로 시작하여 작업을 학습한 최초의 연구입니다.
2. 압도적인 샘플 효율성 (Sample Efficiency):
   • 기존 RL 또는 BC 기반 방법들은 1 시간 이상의 학습 후에도 성공하지 못하거나 실패하는 반면, MPAIL2 는 40 분 이내에 일관된 성공을 거두었습니다.
   • RLPD(보상과 행동 레이블이 있는 상태) 나 Diffusion Policy(BC) 와 비교하여 훨씬 적은 상호작용으로 더 높은 성공률을 달성했습니다.
3. 온라인 전이 학습 (Online Transfer Learning):
   • 한 작업 (예: 블록 밀기) 에서 학습된 세계 모델 표현을 기반으로, 새로운 작업 (예: 반대 방향으로 블록 밀기) 을 실제 세계에서 처음부터 (From Scratch) 다시 학습하지 않고도 빠르게 전이하여 학습할 수 있음을 증명했습니다.
   • 이는 학습된 세계 모델 (동역학, 보상 등) 이 작업에 독립적인 일반 지식을 포착했음을 시사합니다.

4. 실험 결과 (Results)

• 실험 환경:
  • 시뮬레이션: IsaacLab 기반 (Block Push, Pick-and-Place).
  • 실제 세계: Franka 로봇 팔 (Block Push), Kinova Gen3 로봇 팔 (Pick-and-Place).
• 성능 비교:
  • 실제 세계 Block Push: MPAIL2 는 100% 성공률을 달성한 반면, RLPD 와 BC 는 0% 또는 매우 낮은 성공률을 보였습니다.
  • 실제 세계 Pick-and-Place: MPAIL2 는 82% 의 성공률을 기록한 반면, BC 는 12% 에 그쳤습니다. (BC 는 관찰된 행동을 그대로 모방하려다 블록을 잡지 못해도 계속 움직이는 등 일반화 실패 발생)
  • 안정성: 계획 (Planning) 을 도입한 MPAIL2 는 계획 없이 정책만 사용하는 변형 (MPAIL2 [-P]) 보다 학습 안정성이 훨씬 높았으며, 플라스틱 손실 (Plasticity Loss) 을 완화하여 전이 학습에 유리했습니다.
• 전이 학습 실험:
  • 한 작업에서 학습된 모델을 초기화하여 새로운 작업으로 전이했을 때, MPAIL2 는 처음부터 학습하는 것보다 약 2 배 빠른 속도로 성공률을 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 로봇 학습의 새로운 길: 이 연구는 로봇이 인간의 행동 관찰만으로 시작하여, 직접 세계와 상호작용하며 스스로 보상을 추론하고 계획을 세울 수 있음을 증명했습니다. 이는 실제 환경에서 데이터 수집 비용이 크거나 전문가 데이터가 부족한 상황에서 매우 중요한 진전입니다.
• 세계 모델의 중요성: 단순히 정책을 학습하는 것을 넘어, 세계 모델 (동역학, 보상) 을 학습하고 이를 기반으로 계획하는 것이 실제 세계에서의 학습 효율성과 일반화 능력을 극대화한다는 것을 입증했습니다.
• 미래 작업: 사전 학습된 대규모 세계 모델 (Pre-trained World Models) 과의 결합, 더 복잡한 동적 환경에서의 적용, 그리고 안전성 보장 등을 통해 확장 가능성이 큽니다.

요약하자면, MPAIL2 는 "관찰만 보고 시작하여, 직접 부딪히며 배우는 (Learning from Observation and Interaction)" 로봇의 능력을 현실 세계에서 실현 가능한 수준으로 끌어올린 획기적인 연구입니다.