💻 computer science

MoRI: Mixture of RL and IL Experts for Long-Horizon Manipulation Tasks

이 논문은 강화학습 (RL) 과 모방학습 (IL) 전문가를 동적으로 혼합하여 복잡한 장기 작업에서 샘플 효율성과 안전성을 극대화하고, 실제 환경에서 2~5 시간 내 97.5% 의 성공률로 인간 개입을 대폭 줄인 'MoRI' 시스템을 제안합니다.

원저자: Yaohang Xu, Lianjie Ma, Gewei Zuo, Wentao Zhang, Han Ding, Lijun Zhu

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yaohang Xu, Lianjie Ma, Gewei Zuo, Wentao Zhang, Han Ding, Lijun Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 스스로 배우는 '마법 같은 조율사': MoRI 소개

안녕하세요! 오늘 소개해 드릴 논문은 로봇이 복잡한 일을 할 때, 어떻게 하면 더 빠르고 정확하게, 그리고 사람 개입 없이 스스로 학습할 수 있는지에 대한 획기적인 방법을 다룹니다. 이 방법의 이름은 **MoRI(모리)**입니다.

이걸 이해하기 위해 요리사와 요리 보조원의 이야기를 상상해 보세요.

1. 왜 로봇 학습은 어려울까요? (두 가지 문제)

로봇이 새로운 일을 배우는 데는 크게 두 가지 방식이 있습니다.

방식 A: 시범 따라 하기 (Imitation Learning, IL)
- 비유: 요리사가 "이렇게 칼질해"라고 시범을 보이면, 보조원이 그대로 따라 하는 거예요.
- 장점: 처음부터 빠르게 배울 수 있어요.
- 단점: 만약 시범을 본 요리사가 실수하면, 보조원도 그 실수를 그대로 따라 하게 돼요. 그리고 예상치 못한 상황 (예: 재료가 미끄러짐) 이 생기면 당황해서 일을 망치기 쉽습니다.
방식 B: 시행착오를 통한 학습 (Reinforcement Learning, RL)
- 비유: 보조원이 "내가 직접 해볼게!"라고 말하며 무작위로 시도해 보는 거예요. 실패하면 다시 하고, 성공하면 보상을 받죠.
- 장점: 새로운 상황에도 유연하게 대처할 수 있고, 스스로 문제를 해결하는 법을 터득합니다.
- 단점: 실패가 너무 많아요. 로봇이 물건을 떨어뜨리거나 부수는 일이 빈번해서, 사람 (감독관) 이 계속 개입해서 도와줘야 합니다. 시간이 너무 오래 걸리죠.

기존 연구들은 이 두 가지를 섞으려 했지만, 복잡한 일 (예: 수건 접기, 구멍에 꽂기) 을 할 때는 여전히 효율이 떨어졌습니다.

2. MoRI 의 해결책: "상황에 맞는 전문가 팀"

저자 팀은 **"하나의 로봇이 두 가지 두뇌를 가지고, 상황에 따라 누가 주도권을 잡게 할까?"**라는 아이디어를 냈습니다. 이것이 바로 **MoRI(Mixture of RL and IL Experts)**입니다.

이 시스템은 마치 정교한 오케스트라 지휘자처럼 작동합니다.

IL 전문가 (시범 따라 하기 팀):
- 역할: 로봇이 대략적인 움직임 (예: 서랍을 여는 것, 상자를 들어 올리는 것) 을 할 때 나섭니다.
- 특징: 미리 보여준 시범 데이터를 기반으로 하므로 빠르고 안정적입니다.
RL 전문가 (시행착오 팀):
- 역할: 로봇이 정밀한 조작 (예: 나사를 꽂을 때의 미세한 각도 조절, 수건을 접을 때의 힘 조절) 을 할 때 나섭니다.
- 특징: 실시간으로 상황을 판단하고 실험하며, 가장 좋은 방법을 찾아냅니다.

3. 어떻게 작동할까요? (지휘자의 신호)

MoRI 의 핵심은 **'어떤 전문가가 지금 더 잘할까?'**를 실시간으로 판단하는 **게이트 (Gating Network)**입니다.

판단 기준: 두 전문가가 내리는 행동이 얼마나 **불확실한지 (변동성)**를 봅니다.
- 만약 두 전문가가 "서랍을 열어"라고 거의 똑같은 말을 한다면? → IL 전문가가 주도권을 잡습니다. (안정적이니까)
- 만약 두 전문가가 의견이 다르고, "어떻게 꽂아야 할지 모르겠다"는 신호가 강하다면? → RL 전문가가 주도권을 잡습니다. (새로운 시도가 필요하니까)
안전장치: RL 전문가가 너무 무모하게 실험하지 않도록, IL 전문가의 지식을 '규칙'처럼 적용합니다. 마치 유모차에 안전벨트를 채워주는 것처럼, 로봇이 너무 위험한 행동을 하지 않게 막아줍니다.

4. 실제 성과: 놀라운 속도

이 방법을 실제 로봇 (프랑카 암) 에 적용해 보니 결과가 정말 놀라웠습니다.

학습 시간: 기존 방식보다 21% 더 빨라졌습니다. (약 2~5 시간 만에 학습 완료)
성공률: 4 가지 복잡한 작업 (서랍에 물건 넣기, 수건 접기 등) 에서 **97.5%**의 성공률을 기록했습니다.
사람의 개입: 사람이 로봇을 도와줘야 하는 횟수가 85.8%나 줄었습니다. 로봇이 거의 혼자서 일을 해냅니다.

5. 한 줄 요약

"MoRI 는 로봇에게 '시범을 따라 하는 빠른 보조원'과 '시행착오를 통해 배우는 창의적인 전문가'를 동시에 붙여주었습니다. 그리고 상황의 난이도에 따라 누가 일할지 지휘자가 자동으로 정하게 함으로써, 로봇이 사람 도움 없이도 복잡한 일을 빠르고 정확하게 마스터하게 만들었습니다."

이 기술은 앞으로 창고 관리, 정밀 조립, 심지어 수술 보조 로봇 등 다양한 분야에서 로봇이 더 똑똑하고 안전하게 일할 수 있는 길을 열어줄 것입니다.

1. 문제 정의 (Problem)

로봇 조작 (Manipulation) 작업, 특히 장기적 (Long-Horizon) 이고 접촉이 많은 (Contact-rich) 복잡한 작업은 단일 학습 패러다임으로 해결하기 어렵습니다.

모방 학습 (Imitation Learning, IL): 전문가의 시연 데이터를 통해 효율적으로 정책을 학습할 수 있으나, 시연 데이터의 분포에 제한을 받아 **누적 오차 (Compounding Errors)**와 분포 이동 (Distribution Shift) 문제가 발생하며, 고정밀 조작에는 한계가 있습니다.
강화 학습 (Reinforcement Learning, RL): 탐색을 통해 시연 범위를 넘어선 성능을 낼 수 있고 환경 적응력이 뛰어나지만, 샘플 효율성이 낮고 시행착오 (Trial-and-error) 비용이 매우 높습니다. 또한, 실제 환경에서의 학습은 안전 문제와 인간 개입의 필요성으로 인해 수렴 속도가 느립니다.
기존 하이브리드 방법의 한계: 기존 IL 과 RL 을 결합한 방법들은 복잡한 장기 작업에서 여전히 수렴 시간이 길거나 인간 개입이 과도하게 필요하다는 문제가 있었습니다.

2. 제안 방법: MoRI (Methodology)

저자들은 RL 과 IL 전문가의 혼합 (Mixture of RL and IL Experts, MoRI) 프레임워크를 제안했습니다. 이는 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처를 기반으로 하며, 두 가지 주요 단계로 구성됩니다.

A. 핵심 메커니즘: 동적 스케줄링 (Dynamic Scheduling)

작동 원리: 시스템은 각 전문가 (IL 전문가와 RL 전문가) 가 예측한 행동의 **분산 (Variance)**을 기반으로 동적으로 전문가를 선택합니다.
- IL 전문가 (BC 정책): 행동 분산이 낮은 거친 운동 (Coarse movements) 및 고정밀도가 요구되지 않는 반복적인 작업 (예: 서랍 열기/닫기) 을 담당합니다.
- RL 전문가: 행동 분산이 높거나 불확실성이 큰 정밀 조작 (Fine-grained manipulations) 및 접촉이 많은 복잡한 작업 (예: 물체 잡기, 삽입) 을 담당합니다.
게이팅 네트워크 (Gating Network): 상태 $s$ 에 대해 두 전문가의 가중치 ( $w_{bc}, w_{rl}$ ) 를 생성하며, 분산이 더 낮은 전문가의 출력을 선택하여 최종 행동을 결정합니다.

B. 학습 파이프라인 (Two-Stage Pipeline)

오프라인 사전 학습 (Offline Pre-training):
- 소량의 시연 데이터 (20 개) 를 사용하여 BC(행동 클로닝) 정책을 미세 조정하고, AWAC(Advantage-Weighted Actor-Critic) 알고리즘을 통해 RL 정책을 초기화합니다.
- 이 단계에서 MoE 게이팅 네트워크는 학습되지 않아 과적합을 방지합니다.
온라인 미세 조정 (Online Fine-tuning):
- 실제 로봇 환경에서 RL 과 IL 을 동시에 학습합니다.
- BC 정규화 (BC Regularization): RL 정책이 BC 정책의 행동 분포에서 너무 벗어나지 않도록 정규화 항을 추가하여 탐색의 안전성을 확보하고 샘플 효율성을 높입니다.
- 데이터 버퍼 관리: 성공 시연, 실패 시연, 인간 개입 데이터, 그리고 RL 탐색 데이터를 통합하여 각 전문가가 필요한 데이터를 효율적으로 학습합니다.

3. 주요 기여 (Key Contributions)

동적 스케줄링 메커니즘: MoE 프레임워크 내에서 행동 분산에 기반하여 IL 과 RL 전문가를 조율하는 새로운 메커니즘을 제안했습니다. 이는 시스템의 전반적인 견고성을 향상시킵니다.
오프라인 - 온라인 통합 파이프라인: 소량의 시연 데이터로 전문가를 초기화하고 오프라인 사전 학습과 온라인 미세 조정을 통합하여 공학습 효율성을 극대화하고 수렴 속도를 가속화했습니다.
안전한 탐색을 위한 정규화: IL 의 행동 분포를 RL 에게 정규화 (Regularization) 로 적용하여, 인간 개입 없이도 안전한 탐색을 가능하게 하고 샘플 효율성을 높였습니다.

4. 실험 결과 (Results)

저자는 실제 세계의 4 가지 복잡한 작업 (서랍에 블록 넣기, 뚜껑 있는 상자에 수건 넣기, 두 개의 소켓 삽입, 수건 두 번 접기) 에서 MoRI 를 평가했습니다.

성공률: 2~5 시간의 온라인 미세 조정 후 **평균 97.5%**의 성공률을 달성했습니다.
기존 방법 (ConRFT) 대비 성능:
- 수렴 시간: 21% 단축 (평균 273.8 분 $\rightarrow$ 216.3 분).
- 인간 개입 감소: 85.8% 감소 (데이터 내 시연 비율 49.6% $\rightarrow$ 7.0%).
- 자율 성공률: 111.7% 증가.
서브 전문가 비교: MoRI 는 단일 BC 정책 (평균 37.5% 성공률) 이나 단일 RL 정책 (77.5% 성공률) 보다 훨씬 높은 성능 (97.5%) 을 보였습니다.
BC 정규화의 효과: BC 정규화를 제거할 경우, RL 의 과도한 무작위 탐색으로 인해 인간 개입이 급증 (5.5% $\rightarrow$ 45.4%) 하고 성공률이 하락하는 것을 확인했습니다. 또한, 전문가 간 전환 시 동작의 불연속성이 크게 증가하여 BC 정규화가 부드러운 전환에 필수적임을 입증했습니다.
그립퍼 제어: DQN 기반의 그립퍼 제어보다 **DBC (Discrete BC)**를 사용한 것이 수렴 속도와 성공률 면에서 훨씬 우수했습니다.

5. 의의 및 결론 (Significance)

효율성과 견고성의 균형: MoRI 는 IL 의 효율성과 RL 의 적응력을 결합하여, 장기적 조작 작업에서 인간 개입을 최소화하면서도 높은 성공률을 달성하는 실용적인 솔루션을 제시했습니다.
실제 적용 가능성: 복잡한 접촉 작업에서도 2~5 시간 내 고수준 성능을 달성함으로써, 실제 로봇 배포에 필요한 학습 시간과 비용을 획기적으로 줄일 수 있음을 보였습니다.
향후 과제: 현재 프레임워크는 큰 외란 (Perturbation) 하에서의 일반화 능력에 한계가 있으므로, 향후 비전 - 언어 모델 (VLM) 을 활용한 고수준 추론이나 월드 모델 (World Models) 을 통한 시뮬레이션 기반 학습으로 확장할 계획입니다.

이 논문은 로봇 조작 분야에서 IL 과 RL 의 상호 보완적 강점을 효과적으로 활용하여, 안전하고 효율적인 자율 로봇 학습을 위한 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.