PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions

이 논문은 자연어 지시와 인간 피드백을 활용하여 시뮬레이션된 조작 작업에서 모방 학습 정책을 강화 학습으로 정제하는 'PRISM' 프레임워크를 제안함으로써, 새로운 목표와 제약 조건에 대한 정책의 재사용성과 데이터 효율성을 높이고 배포 강건성을 개선하는 방법을 제시합니다.

핵심

이 논문은 로봇이 인간의 손놀림을 배우고, 그다음에 우리의 말 한마디와 작은 지적을 통해 더 똑똑해지도록 돕는 새로운 방법론인 PRISM을 소개합니다.

이 복잡한 기술을 일상적인 비유로 설명해 드리겠습니다.

🤖 PRISM: 로봇을 위한 '맞춤형 요리 교실'

상상해 보세요. 로봇이 요리를 배운다고 가정합시다.

1. 첫 단계: 요리사 견습생 (모방 학습, Imitation Learning)
먼저, 로봇은 초보 요리사 견습생입니다. 이 로봇은 인간이 직접 조종봉 (텔레오퍼레이션) 을 잡고 요리를 하는 모습을 50 번 정도 지켜보고 따라 합니다.

• 비유: 마치 요리 학교에서 셰프가 "이렇게 소스를 붓고, 이렇게 뒤집어라"라고 시범을 보이면, 학생이 그 동작을 그대로 따라 하는 것과 같습니다.
• 문제점: 학생은 셰프가 보여준 대로만 할 줄 압니다. 만약 셰프가 보여주지 않은 상황에서 (예: 냄비가 조금 기울었을 때) 문제가 생기면, 학생은 당황해서 실패하거나 넘어집니다.

2. 두 번째 단계: 실전 훈련과 보상 (강화 학습, Reinforcement Learning)
이제 로봇은 혼자서 실전 훈련을 시작합니다. 하지만 처음부터 모든 걸 새로 배우는 건 너무 느리고 위험합니다. 그래서 로봇은 이전에 배운 요리 실력 (모방 학습) 을 기본 베이스로 삼습니다.

• 비유: 이제 학생은 혼자서 요리를 해보지만, 실패하면 "아, 이건 너무 세게 뒤집었네"라고 스스로 깨닫고 다시 시도합니다. 이때 로봇은 "성공하면 점수 +1, 실패하면 점수 -1"이라는 점수 시스템 (보상) 을 받으며 학습합니다.

3. 핵심 아이디어: "AI 요리 컨설턴트"와 "사용자의 한 마디" (PRISM 의 혁신)
여기서 PRISM 이 특별한 점이 나옵니다. 로봇이 스스로 점수를 매기는 것만으로는 부족할 때가 있습니다. 로봇이 "소스를 너무 많이 넣었어"라고 생각할지, "소스가 적당해"라고 생각할지 알 수 없기 때문입니다.

PRISM 은 두 가지 도구를 사용합니다:

• AI 요리 컨설턴트 (LLM, Eureka): 로봇이 "이제 소스를 더 적게 넣어야 해"라고 말하면, AI 컨설턴트가 이를 구체적인 점수 규칙 (보상 함수) 으로 바꿔줍니다.
• 사용자의 한 마디 (Human Feedback): 로봇이 요리를 해보는데, "아, 그릇을 너무 세게 잡아서 깨질 뻔했어"라고 사용자가 한마디 하면, 로봇은 그 부분을 즉시 수정합니다.

🌟 PRISM 의 마법: "새로운 주문"에 맞춰 로봇을 바꾼다
이제 가장 중요한 부분입니다.

• 기존 상황: 로봇은 "상자를 들고 쓰레기통에 던져라"는 명령을 배웠습니다.
• 새로운 주문: 사용자가 "아니, 상자를 부드럽게 테이블 위에 올려놓아라"라고 말합니다.
• PRISM 의 작동: 로봇은 "던지는" 행동을 배운 기본 실력을 유지한 채, 사용자의 새로운 말 ("부드럽게 올려놓아라") 과 "상자가 기울지 않게 해라"라는 추가 지시를 듣고, AI 컨설턴트와 함께 몇 번의 시도만으로 새로운 행동을 완성합니다.

💡 왜 이것이 중요한가요?

1. 시간과 노력 절약: 로봇이 처음부터 모든 걸 새로 배우는 게 아니라, 이미 배운 실력을 바탕으로 조금만 수정하면 되므로 훨씬 빠릅니다. (데이터 효율성)
2. 사용자 맞춤: 로봇이 사용자의 성향 (예: "조금 더 천천히 움직여줘", "손잡이를 더 단단히 잡아줘") 을 쉽게 받아들입니다.
3. 안전함: 처음부터 무작정 실험하는 대신, 인간이 배운 안전한 기본기를 바탕으로 학습하므로 위험한 실수를 줄입니다.

📝 결론

이 논문은 **"로봇에게 일을 가르칠 때, 처음에는 사람이 시범을 보이고, 그다음에는 로봇이 스스로 연습하되, 사용자가 '여기 좀 고쳐줘'라고 말하면 AI 가 그 말을 번역해서 로봇이 바로 고쳐주게 하자"**는 아이디어입니다.

이 방식 덕분에 로봇은 전문적인 기술자 없이도 일반인이 쉽게 원하는 대로 맞춤형 작업을 수행할 수 있게 되었습니다. 마치 요리 학교를 졸업한 견습생이, 고객의 취향에 맞춰 메뉴를 즉석에서 변형해 낼 수 있는 마스터 셰프가 되는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

로봇 조작 (Manipulation) 분야에서 비정형 환경 (unstructured settings) 은 데이터 효율성과 동적 변화, 목표, 제약 조건에 대한 강건성이 요구됩니다. 기존 접근법에는 다음과 같은 한계가 존재합니다.

• 순수 모방 학습 (Imitation Learning, IL): 소수의 데모만으로 유능한 행동을 빠르게 학습할 수 있지만, 훈련 분포에서 벗어난 상황 (Out-of-Distribution) 에 취약하며, 오류 발생 시 복구 전략이 부재합니다. 또한, 사용자의 개인적 선호도 (그립 방식, 속도, 접촉 민감도 등) 를 반영하지 못해 비전문가 사용자와의 협업 시 신뢰도와 안전성이 떨어질 수 있습니다.
• 순수 강화 학습 (Reinforcement Learning, RL): 탐구를 통해 강건하고 반응적인 행동을 발견할 수 있으나, 처음부터 학습 (from scratch) 시 샘플 효율성이 매우 낮고, 보상 함수 (Reward Function) 설계가 어렵습니다.
• 기존 하이브리드 방식: IL 과 RL 을 결합한 방법들은 존재하지만, 대부분 엔지니어링된 보상에 의존하거나, 자연어 지시를 통한 해석 가능한 개인화 인터페이스를 제공하지 못합니다.

따라서, 데모 기반의 초기 정책을 유지하면서 자연어 지시와 인간의 피드백을 통해 새로운 목표와 제약 조건에 맞춰 정책을 정제 (Refinement) 하고 개인화할 수 있는 효율적인 프레임워크가 필요합니다.

2. 방법론 (Methodology)

논문의 핵심인 PRISM은 모방 학습 (IL) 과 강화 학습 (RL) 을 매끄럽게 연결하는instruction-conditioned(지시 기반) 정제 파이프라인을 제안합니다. 전체 프로세스는 크게 세 단계로 구성됩니다.

A. 데이터 수집 및 모방 학습 (Data Collection & IL)

• 텔레오퍼레이션 데모: 비전문가 사용자가 VR 장비를 통해 로봇 엔드 이펙터를 제어하여 데모 데이터를 수집합니다.
• 초기 정책 학습: 수집된 데모를 Robomimic 프레임워크를 사용하여 BC-GMM-RNN(가우시안 혼합 모델과 순환 신경망을 결합한 행동 클로닝) 으로 학습합니다. 이는 하류의 정제 작업을 위한 '행동 사전 (Behavioral Prior)' 역할을 합니다.
• 데이터 구조: 각 데모는 시맨틱 원시 (primitives, 예: 도달, 잡기, 운반, 놓기) 로 세분화되며, 성공/실패 라벨이 자동 부여됩니다.

B. 강화 학습 정제 (RL Refinement)

초기 IL 정책을 기반으로 RL 을 통해 정책을 개선합니다. PPO(Proximal Policy Optimization) 알고리즘을 사용하며 두 단계로 나뉩니다.

1. 작업 적응 (Task Adaptation):
   • 행동 일치 정규화 (Behavior-matching Regularization): PPO 목적 함수에 IL 기반 정책의 행동과 유사성을 유지하도록 하는 정규화 항을 추가합니다. 이는 보상 악용 (Reward Hacking) 을 방지하고 샘플 효율성을 높입니다.
   • 자연어 지시 기반 보상 생성: 사용자의 자연어 지시 (예: "컵을 세운 채로 옮기세요") 를 Eureka 모듈 (LLM 기반) 이 분석하여 구조화된 보상 함수로 변환합니다.
2. 개인화 (Personalization):
   • 하이브리드 피드백 루프: 자동 생성된 프롬프트 (LLM 이 환경 상태 기반 평가 기준을 통해 생성) 와 간헐적인 인간 피드백 (Human-in-the-Loop) 을 결합합니다.
   • 사용자는 중간 롤아웃 (Rollout) 결과에 대해 자연어 피드백 (예: "A 시나리오에서는 목표에 도달했지만 컵이 기울어졌습니다") 을 제공하며, 이는 LLM 이 보상 함수를 수정하는 데 활용됩니다.

C. 파이프라인 흐름

1. 비전문가 데모 $\rightarrow$ 일반적 IL 정책 생성.
2. 새로운 자연어 지시 (목표 변경 또는 제약 조건 추가) 입력.
3. LLM(Eureka) 이 보상 후보 생성 $\rightarrow$ RL 로 정책 미세 조정.
4. 인간 피드백을 통한 보상 함수 정제 $\rightarrow$ 최종 개인화된 정책 도출.

3. 주요 기여 (Key Contributions)

1. 지시 기반 정제 프레임워크: IL 의 데이터 효율성과 RL 의 적응성을 결합하여, 데모 기반 정책을 자연어 지시와 인간의 피드백으로 새로운 목표/제약 조건에 맞게 정제하는 새로운 파이프라인을 제시했습니다.
2. 개인화된 인간 - 로봇 상호작용: 비전문가 사용자가 복잡한 보상 설계 없이 자연어와 간단한 피드백으로 로봇의 행동 (그립 방식, 속도, 자세 유지 등) 을 개인화할 수 있게 하여, 협업 작업의 안전성과 사용성을 높였습니다.
3. 샘플 효율성 및 강건성 향상: IL 사전 지식을 유지하면서 RL 을 적용하고, 인간 피드백을 통해 보상 함수를 정제함으로써, 처음부터 학습하는 방식이나 인간 피드백이 없는 자동화 방식보다 훨씬 적은 데이터로 높은 성공률을 달성했습니다.
4. Eureka 와의 통합: 자연어에서 보상 함수를 생성하는 Eureka 메커니즘을 IL 기반 RL 정제 파이프라인에 통합하여, 수동 보상 엔지니어링의 필요성을 제거했습니다.

4. 실험 결과 (Results)

• 실험 환경: IsaacSim 시뮬레이터에서 수행되었으며, 비전문가 사용자가 VR 로 데모를 수집했습니다.
• 작업: "큐브를 집어 서랍에 던지기 (일반적)" $\rightarrow$ "큐브를 집어 서랍 위에 수직으로 놓기 (개인화/제약 조건 추가)" 로 변경.
• 성능 비교:
  • IL 만 사용: 성공률 21.2% (환경 변화에 취약).
  • RL 만 사용 (Eureka 기반, 데모 없음): 1500 스텝 x 10 회 반복 후에도 성공하지 못함 (실패).
  • PRISM (IL + RL + 자동화): 98% 성공률 달성.
  • PRISM (IL + RL + 인간 피드백): 96.8% 성공률 달성.
• 인간 피드백의 효과: 인간 피드백이 포함된 하이브리드 방식은 완전 자동화 방식보다 수렴 속도가 빠르고, 최종 작업 수행력이 더 우수하며 변동성이 적음을 확인했습니다.
• 시간 효율성: 전체 작업 적응 및 개인화에 약 4 시간이 소요되었으며, 이는 제안된 변형 작업을 완료한 유일한 방법이었습니다.

5. 의의 및 결론 (Significance)

PRISM 은 로봇 조작 분야에서 데이터 효율성, 강건성, 그리고 사용자 친화적인 개인화를 동시에 해결하는 실용적인 솔루션을 제시합니다.

• 실용성: 비전문가 사용자도 복잡한 프로그래밍 없이 자연어로 로봇의 행동을 수정하고 개인화할 수 있어, 실제 현장 배포 가능성을 높였습니다.
• 기술적 진보: IL 의 안정성과 RL 의 적응성을 결합하고, LLM 과 인간 피드백을 통해 보상 설계의 장벽을 낮췄습니다.
• 한계 및 향후 과제: 현재는 시뮬레이션 환경에서만 검증되었으며, 실제 물리 세계의 동역학, 센서 노이즈, 하드웨어 제약에 대한 검증이 필요합니다. 또한, 다양한 사용자와 장기적인 상호작용에서의 확장성 및 시뮬레이션 - 실제 (Sim-to-Real) 격차 해소가 향후 연구 과제로 남았습니다.

요약하자면, PRISM 은 "데모로 시작하여, 자연어와 인간의 피드백으로 완성되는" 차세대 로봇 학습 파이프라인을 제시함으로써, 로봇이 비전문가 사용자의 요구에 맞춰 유연하고 안전하게 적응할 수 있는 길을 열었습니다.