🤖 machine learning

Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

이 논문은 제한된 시연 데이터로 로봇이 복잡한 행동을 학습할 수 있도록 인간 지각과 행동을 모방하여 '자신의 전문성을 마스터하는 (MYOE)' 프레임워크와 선호도 후회 (preference regret) 기반의 최적화 기법을 제안합니다.

원저자: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia

게시일 2026-04-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 아주 적은 시범 데이터만으로도 어떻게 똑똑하게 일을 배울 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 로봇 학습 방식은 마치 **"전문가에게 모든 동작을 하나하나 보여주고 그대로 따라 하라"**는 식이었습니다. 하지만 현실에서는 전문가의 시범 데이터를 구하기 어렵고, 로봇이 실수를 하면 그 실수가 쌓여서 결국 완전히 엉망이 되는 문제 (Cascading Errors) 가 있었습니다.

이 논문은 이를 해결하기 위해 **"스스로의 전문성을 마스터하라 (MYOE)"**라는 새로운 방식을 제안합니다. 이해를 돕기 위해 일상적인 비유로 설명해 드리겠습니다.

1. 문제 상황: "나쁜 지도자"와 "실수 누적"

기존 방식은 로봇에게 **"이것만 따라 해"**라고 가르치는 것이었습니다.

비유: 요리 초보자가 요리사에게 "감자 껍질 벗기는 법"을 5 번만 보여받고 바로 따라 했다고 상상해 보세요.
문제: 만약 요리사가 실수로 감자를 너무 세게 깎았다면, 초보자는 그 실수도 그대로 따라 하게 됩니다. 그리고 그다음 단계에서 실수가 또 생기면, 그 실수들이 쌓여서 결국 감자가 다 부서져버립니다. 이를 **'실수의 연쇄 (Cascading Errors)'**라고 합니다.
한계: 또한, 요리사가 보여준 방법이 '최고의 방법'이 아닐 수도 있습니다. (예: 요리사가 감자를 너무 얇게 깎아서 맛없게 만들었다면, 초보자는 그 나쁜 방법을 그대로 따라 하게 됩니다.)

2. 해결책: "내 마음속의 이상적인 지도자" 만들기 (MYOE)

이 논문이 제안한 MYOE 방식은 로봇에게 단순히 "따라 하라"고 하지 않습니다. 대신 로봇에게 **"네가 상상하는 가장 완벽한 미래"**를 그려보게 합니다.

핵심 기술 1: QMoP-SSM (꿈꾸는 지도자)

로봇은 주어진 5 번의 시범 데이터를 보고, **"이 일을 완벽하게 해내는 가장 이상적인 시나리오"**를 스스로 상상합니다.

비유: 요리 초보자가 요리사를 보며 "아, 저 사람은 감자를 너무 세게 깎았네. 내가 만약 완벽하게 깎는다면 이렇게 해야겠다!"라고 자신만의 이상적인 레시피를 머릿속에 그리는 것과 같습니다.
이 로봇은 단순히 눈으로 보는 것뿐만 아니라, **"어떻게 해야 가장 잘할까?"**를 예측하는 능력을 갖게 됩니다.

핵심 기술 2: 선호도 후회 (Preference Regret)

이제 로봇은 실제 행동과 자신이 상상한 '이상적인 행동'을 비교합니다. 이때 **'선호도 후회 (Preference Regret)'**라는 개념이 나옵니다.

비유:
- 상황 A (실수): 로봇이 감자를 깎다가 실수해서 감자가 떨어졌습니다. 이때 로봇은 "아! 내가 상상했던 완벽한 감자 깎기랑 달라! (후회!)"라고 생각합니다. 이 '후회' 감정을 통해 로봇은 "다음엔 이렇게 하지 말아야지"라고 배웁니다.
- 상황 B (나쁜 시범): 만약 요리사가 보여준 방법이 실제로는 나쁜 방법이었다면? 로봇은 "요리사가 보여준 대로 따라 하면 감자가 맛이 없네. 내가 상상한 방법이 더 낫군!"이라고 깨닫습니다.
- 결론: 로봇은 맹목적으로 시범을 따르지 않고, **"내 상상한 목표 (선호도) 에 얼마나 가까운가?"**를 기준으로 학습합니다. 만약 시범이 나쁘면, 시범을 무시하고 더 좋은 방법을 찾아갑니다.

3. 왜 이 방식이 특별한가요?

이 방식은 로봇이 **적은 데이터 (5 번의 시범)**로도 다음과 같은 능력을 갖추게 합니다.

실수 방지: 작은 실수가 쌓여 큰 실패로 이어지는 것을 막아줍니다. (상상한 완벽한 길로 다시 돌아오기 때문)
유연한 학습: 전문가가 보여준 방법이 나쁘더라도, 로봇은 스스로 더 좋은 방법을 찾아낼 수 있습니다. (맹목적인 모방이 아닌, 목표 지향적 학습)
실제 환경 적용: 컴퓨터 시뮬레이션뿐만 아니라, 실제 로봇 팔 (7bot, PX100) 에서도 다른 최신 기술들보다 훨씬 잘 작동했습니다.

4. 요약: 한 마디로 표현하면?

"로봇에게 "무조건 따라 해"라고 가르치는 게 아니라, "네가 상상하는 가장 완벽한 미래를 그려보고, 그 길에서 벗어나면 스스로 후회하며 배우게" 만드는 기술입니다."

이 논문은 로봇이 적은 경험으로도 스스로 성장하고, 실수를 교정하며, 나쁜 시범까지도 극복할 수 있는 지능적인 학습 시스템을 개발했다는 점에서 매우 의미 있습니다. 마치 어린아이가 어른의 실수를 보고 "저건 안 좋은 방법이야, 나는 저렇게 하지 않을 거야"라고 스스로 판단하며 성장하는 것과 같습니다.

논문 요약: 제한된 시연 데이터 하에서의 선호도 후회 (Preference Regret) 를 통한 뉴로로봇 정책 최적화

1. 문제 정의 (Problem Statement)

기존의 로봇 강화학습 (RLfD, Reinforcement Learning from Demonstrations) 은 전문가 데이터가 풍부하다고 가정하지만, 실제 세계에서는 데이터 수집 비용과 희소성으로 인해 이러한 가정이 비현실적입니다. 또한, 기존 모방 학습 (Imitation Learning, IL) 및 행동 복제 (Behavioral Cloning, BC) 알고리즘은 데이터가 독립적이고 동일하게 분포되어 있다고 (i.i.d.) 가정하는데, 이는 실제 실행 과정에서 발생하는 작은 오차가 누적되어 정책이 붕괴되는 '연쇄 오류 (Cascading Errors)' 문제를 초래합니다. 특히 제한된 시연 데이터만 주어지는 환경에서 온라인으로 학습해야 하는 뉴로로봇 (Neurorobot) 의 경우, 이러한 문제들이 더욱 치명적입니다.

2. 제안 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 **"자신의 전문성을 마스터하라 (Master Your Own Expertise, MYOE)"**라는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 생성적 세계 모델 (Generative World Model) 과 능동적 추론 (Active Inference, AIF) 이론을 결합하여 제한된 데이터에서도 로봇이 복잡한 행동을 학습하도록 합니다.

핵심 구성 요소:

질의 가능한 선호도 혼합 상태 공간 모델 (QMoP-SSM):
- 개념: 에이전트가 각 시간 단계에서 원하는 목표 (Goal) 를 추정하고, 이를 바탕으로 미래의 '선호도 (Preference)' 궤적을 예측하는 모델입니다.
- 구조: 표현 학습 (Representation Learning) 과 선호도 학습 (Preference Learning) 두 가지 병렬 과정을 통해 작동합니다.
  - 표현: 관측치로부터 내부 상태 (latent state) 를 추론하고 미래 관측치를 예측합니다.
  - 선호도: 전문가 데이터나 에이전트의 상호작용을 통해 성공적인 궤적을 학습하여 미래의 선호 상태 분포를 예측합니다.
- 혼합 모델 (Mixture of Preferences): 단일 궤적 예측의 모드 붕괴 (Mode Collapse) 를 방지하고 다양한 행동을 탐색하기 위해, 여러 개의 확률 분포를 혼합하여 다양한 미래 선호 궤적을 생성합니다. 이는 엔트로피를 최대화하여 탐색을 촉진합니다.
선호도 후회 (Preference Regret) 기반 정책 최적화:
- 정의: 에이전트의 실제 보상 ( $r_o$ ) 과 선호도 궤적을 통해 추정된 보상 ( $r_p$ ) 간의 차이를 '선호도 후회'로 정의합니다.
- 내부 보상 (Intrinsic Reward) 공식:
  $R_\tau = r_o^\tau - (r_p^\tau - r_o^\tau) + \alpha H[p(s_o^\tau)]$
  - 첫 번째 항: 실제 환경 보상.
  - 두 번째 항 (선호도 후회): 실제 궤적이 선호 궤적과 다를 때 패널티를 주거나, 반대로 전문가가 비최적일 때 (선호도 보상이 실제 보상보다 낮을 때) 이를 보정하여 에이전트가 더 높은 보상을 추구하도록 유도합니다.
  - 세 번째 항: 표현 상태의 엔트로피 (호기심/탐색).
- 학습 메커니즘: 이 선호도 후회를 기반으로 한 보상을 사용하여 가치 함수 (Value Function) 와 정책 (Policy) 을 업데이트합니다. 이는 PPO(Proximal Policy Optimization) 와 일반화된 이득 추정 (GAE-λ) 을 기반으로 하며, 전문가 데이터의 모방과 환경 상호작용을 통한 최적화 사이의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

MYOE 프레임워크 도입: 제한된 전문가 시연 데이터 (5 에피소드) 만으로도 온라인 학습이 가능하도록 하는 자기 모방 (Self-Imitation) 프레임워크를 제안했습니다.
QMoP-SSM 모델 개발: 목표와 선호도를 예측하여 정책 학습을 안내하는 질의 가능한 혼합 상태 공간 모델을 설계했습니다. 이는 연쇄 오류를 완화하고 에이전트가 이상적인 궤적을 '상상'할 수 있게 합니다.
선호도 후회 (Preference Regret) 개념 정립: 단순한 모방을 넘어, 전문가 데이터가 비최적일 경우 이를 보정하고 환경 보상을 극대화할 수 있도록 하는 새로운 내부 보상 메커니즘을 제안했습니다.
광범위한 실험 검증: 시뮬레이션 (Franka Kitchen, Meta-World, Robosuite) 과 실제 로봇 (7bot, PX100) 환경에서 기존 SOTA(최첨단) 알고리즘 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

시뮬레이션 환경: 32 가지 태스크 (Franka Kitchen 4 개, Meta-World 26 개, Robosuite 2 개) 에서 평가되었습니다.
- 성능: MYOE 는 DreamerV3-BC, PPO-BC, LAIfO, MBC-RNN 등 다양한 베이스라인 모델보다 대부분의 태스크에서 성공률 (Success Rate) 이 현저히 높았습니다. 특히 희소 보상 (Sparse Reward) 환경과 전문가 데이터가 비최적인 경우 (예: M Window Close) 에도 뛰어난 적응력을 보였습니다.
- 수렴 속도: 대부분의 태스크에서 다른 모델들보다 더 빠르게 수렴했습니다.
실제 로봇 학습 (Real-World):
- 7bot (6-DOF) 과 PX100 (4-DOF) 로봇을 사용하여 'Reach' 및 'Block Picking' 태스크를 수행했습니다.
- 제한된 데이터 (5 에피소드 시연, 총 125 에피소드 학습) 조건에서 MYOE 는 모든 베이스라인을 압도하며 높은 성공률과 누적 보상을 기록했습니다. 이는 연쇄 오류에 강건함을 입증합니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 **데이터 효율성 (Data Efficiency)**과 강건성 (Robustness) 측면에서 뉴로로봇 학습에 중요한 기여를 했습니다.

데이터 부족 문제 해결: 전문가 데이터가 극히 제한적인 상황에서도 에이전트가 스스로의 경험을 통해 전문성을 확장할 수 있는 메커니즘을 제공했습니다.
연쇄 오류 극복: 단순한 모방 학습의 한계를 넘어, '선호도 후회'를 통해 학습된 궤적과 실제 환경 간의 불일치를 보정함으로써 정책 붕괴를 방지했습니다.
실용성: 실제 물리 로봇에서의 온라인 학습 가능성을 보여주었으며, 제한된 컴퓨팅 자원과 시간 내에 복잡한 로봇 제어 과제를 해결할 수 있음을 입증했습니다.

결론적으로, MYOE 프레임워크는 제한된 시연 데이터 하에서도 로봇이 유연하게 적응하고 최적의 행동을 학습할 수 있도록 하는 강력한 접근법으로, 실제 로봇 공학 및 뉴로로봇 분야에서 중요한 진전을 이룩했습니다.