How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference

이 논문은 힘 감지 데이터 수집과 모방 학습을 통한 초기 정책 학습, 그리고 정량적 지표와 인간 피드백을 결합한 선호도 기반 미세 조정을 통해, 감자나 오이 등 다양한 과일의 껍질 벗기기 작업에서 90% 이상의 성공률과 뛰어난 일반화 능력을 달성하는 로봇 조작 학습 프레임워크를 제안합니다.

핵심

이 논문은 **"로봇이 칼로 과일을 껍질을 벗기는 것"**이라는 매우 까다로운 작업을 어떻게 인간처럼 정교하게, 그리고 인간의 취향에 맞춰 배우게 했는지에 대한 이야기입니다.

기존의 로봇은 물건을 집어 올리는 (Pick-and-Place) 일은 잘했지만, 칼로 껍질을 벗기거나 수술을 하는 것처럼 힘을 조절해야 하고, 실패 기준이 모호한 작업은 거의 불가능했습니다. 이 논문은 그 문제를 해결하기 위해 '인간의 취향 (선호도)'을 가르치는 새로운 방법을 제시합니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 요리사 견습생과 스마트한 선생님의 비유로 설명해 드리겠습니다.

---

1. 문제: 로봇은 왜 칼질에 서툴까?

상상해 보세요. 로봇이 사과 껍질을 벗기려는데, 너무 세게 누르면 사과 속살이 다 나가고, 너무 약하면 껍질이 안 벗겨집니다. 게다가 사과마다 모양도 다르고, 껍질 두께도 다릅니다.

기존 로봇들은 "껍질을 벗겨라"라는 명령만 들었을 뿐, **"어떻게 벗겨야 '맛있게' 보이는지"**를 몰랐습니다. 로봇은 "껍질이 벗겨졌으면 성공"이라고 생각하지만, 인간은 "껍질이 너무 두껍거나, 살이 잘렸으면 실패"라고 생각합니다. 이 **'인간의 눈높이'**를 로봇에게 가르치는 게 핵심 과제였습니다.

2. 해결책: 두 단계로 배우는 '요리사 견습생'

저자들은 로봇에게 두 단계의 훈련 과정을 만들었습니다.

1 단계: "손맛"을 익히는 기초 훈련 (Force-Aware Imitation Learning)

• 상황: 로봇이 처음 칼을 잡았을 때, 어떻게 해야 할지 모릅니다.
• 방법: 인간이 직접 로봇 팔을 잡고 (Teleoperation), 사과 껍질을 벗기는 시범을 보입니다. 이때 로봇은 **카메라 (눈)**로 사물을 보고, **힘 센서 (손끝의 감각)**로 칼이 얼마나 눌리는지 느낍니다.
• 비유: 마치 요리 학교에서 스승이 제자의 손을 잡고 칼질하는 법을 가르치는 것과 같습니다. 제자는 "칼을 얼마나 세게 대야 하는지"를 몸으로 익힙니다.
• 결과: 이 단계만 거치면 로봇은 다양한 과일 (사과, 감자, 오이 등) 에 대해 60% 이상의 성공률을 보이며, 본 적 없는 과일에도 어느 정도 대응할 수 있게 됩니다.

2 단계: "맛있는 요리"를 위한 취향 교정 (Preference-Based Finetuning)

• 상황: 기초를 다졌지만, 로봇이 벗긴 껍질은 여전히 "인간이 보기엔 어색한" 경우가 많습니다. (예: 살이 살짝 잘리거나, 껍질이 너무 두꺼움)
• 방법: 인간이 로봇이 벗긴 껍질을 보고 **"이건 10 점 만점에 8 점, 저건 3 점"**이라고 점수를 매깁니다. 그리고 이 점수를 바탕으로 로봇에게 **"다음엔 이렇게 해봐"**라고 가르칩니다.
• 비유: 이제 제자가 혼자 요리를 해냈습니다. 미식가 (인간) 가 맛을 보고 "이건 너무 짜고, 저건 너무 싱거워"라고 피드백을 줍니다. 로봇은 이 피드백을 받아들이고, "아, 인간은 얇고 고르게 벗겨진 걸 좋아하는구나"라고 깨닫고 스스로 고쳐 나갑니다.
• 핵심 기술: 로봇은 단순히 "성공/실패"만 보는 게 아니라, 어떤 껍질이 더 '아름답고' '효율적인지'를 학습합니다.

3. 놀라운 성과: 적은 데이터로 대박

이 시스템은 놀라운 효율성을 보여줍니다.

• 적은 데이터: 사과 50~200 개만 벗겨본 데이터 (약 33 개 감자 분량) 만으로도 90% 이상의 성공률을 달성했습니다.
• 범용성: 오이로 훈련한 로봇이 아예 다른 과일인 호박이나 배를 보고도 껍질을 벗겨냅니다. (Zero-shot Generalization)
• 성능 향상: 인간의 취향을 반영한 2 단계 훈련을 거치면, 성능이 최대 40% 까지 향상되었습니다.

4. 왜 이 연구가 중요한가?

이 논문은 로봇이 단순히 "일"을 하는 것을 넘어, **"질 좋은 결과"**를 만들어내는 방법을 보여줍니다.

• 과거: 로봇은 "껍질이 벗겨지면 OK"라고 생각했습니다.
• 현재: 로봇은 "인간이 보기에도 깔끔하고, 살이 손상되지 않은 껍질"을 벗기는 법을 배웠습니다.

이는 수술, 장인 정신, 정밀한 요리처럼 인간의 손끝 감각과 취향이 중요한 분야에서 로봇이 실생활에 들어올 수 있는 길을 열었습니다.

요약

이 논문은 **"로봇에게 칼질하는 법을 가르칠 때, 단순히 동작만 복사하는 게 아니라, 인간의 '눈과 입맛'을 점수화해서 가르쳐주면 훨씬 더 똑똑하고 정교한 로봇이 된다"**는 것을 증명했습니다. 마치 열심히 연습한 요리 견습생에게 미식가의 피드백을 주어 스타 셰프로 성장시키는 과정과 같습니다.

기술 요약

1. 문제 정의 (Problem)

로봇 조작 분야에서 식품 준비, 수술, 공예와 같은 작업은 여전히 자동화하기 어렵습니다. 이러한 작업의 주요 난제는 다음과 같습니다.

• 접촉 풍부하고 힘에 민감한 역학 (Contact-rich, Force-sensitive): 칼날과 표면 간의 불안정한 접촉을 정밀하게 제어해야 하며, 힘 조절이 필수적입니다.
• 암묵적이고 주관적인 성공 기준 (Implicit Success Criteria): '픽 앤 플레이 (Pick-and-place)'와 달리, 껍질 벗기기의 성공 여부는 연속적이고 주관적입니다 (예: 껍질의 두께, 균일성, 결함 유무). 이는 정량적 평가와 보상 (Reward) 설계의 어려움을 야기합니다.
• 데이터 수집의 어려움: 고品質의 시연 데이터를 대규모로 수집하는 것이 비용이 많이 들고 어렵습니다.
• 일반화 부족: 기존 모델 기반 제어기는 모델 오차와 물체 변형에 취약하며, 학습 기반 방법은 방대한 데이터가 필요하거나 단순한 기하학적 형태에 국한됩니다.

2. 방법론 (Methodology)

저자들은 2 단계 학습 파이프라인을 제안하여 위 문제들을 해결합니다.

A. 시스템 설계 (System Design)

• 하드웨어: 7 자유도 (DoF) Kinova Gen3 로봇 팔, ATI mini45 힘/토크 (F/T) 센서,手腕 (손목) 에 장착된 2 개의 RealSense D405 카메라, 그리고 맞춤형 칼 마운트가 사용됩니다.
• 제어: 임피던스 제어 (Impedance Control) 를 구현하여 로봇이 물체와 부드럽게 상호작용하도록 합니다.

B. 1 단계: 데이터 수집 및 초기 정책 학습 (Base Policy Learning)

• 데이터 수집: 3Dconnexion SpaceMouse 를 이용한 원격 조종 (Teleoperation) 을 통해 고품질 껍질 벗기기 데이터를 수집합니다. (VR 또는 힘 기반 원격 조종보다 SpaceMouse 가 더 정밀하고 효율적임이 입증됨).
• 관측 및 행동: 시각 (RGB-D, 칼과 물체 마스크), 힘 (F/T 센서), 그리고 고유 감각 (Proprioception) 을 입력으로 받습니다.
• 모델: Diffusion Policy를 사용하여 시각과 힘 정보를 기반으로 로봇의 동작 (Proprioception) 을 예측하는 초기 정책을 학습합니다.
• 목표: 다양한 물체 변형에 대해 최소 60% 이상의 성공률을 갖는 강건한 초기 정책을 확보합니다.

C. 2 단계: 인간 선호도 기반 미세 조정 (Preference-based Finetuning)

• 보상 모델 학습 (Reward Model):
  • 정량적 보상: 껍질의 두께를 6 단계로 분류하여 측정합니다.
  • 정성적 보상: 껍질의 전체적인 외관 (연속성, 매끄러움, 결함 등) 을 인간이 0~9 점의 리커트 척도 (Likert scale) 로 평가합니다.
  • 이 두 가지를 결합하여 **학습된 보상 모델 (Learned Reward Model)**을 구축합니다. 이 모델은 상태 - 행동 쌍에 대해 인간 선호도 점수를 예측합니다.
• 잔차 정책 학습 (Residual Policy Finetuning):
  • 초기 Diffusion 정책 ($\pi_{base}$) 은 고정 (Freeze) 하고, **잔차 정책 (Residual Policy)**을 학습합니다.
  • 잔차 정책은 보상 모델이 추출한 잠재 표현 (Hidden representation) 과 초기 정책의 동작을 기반으로 동작 보정 (Action Correction) 을 예측합니다.
  • 보상 가중 행동 복제 (Reward-weighted Behavioral Cloning): 예측된 선호도가 높은 데이터 샘플에 가중치를 두어 잔차 정책을 학습시킵니다. 이를 통해 로봇의 행동이 인간의 '품질' 개념과 정렬되도록 합니다.

3. 주요 기여 (Key Contributions)

1. 2 단계 학습 프레임워크: 힘 인식 데이터 수집, 모방 학습, 그리고 인간 선호도 기반 미세 조정을 결합하여 정밀한 조작 작업을 학습하는 파이프라인을 제안했습니다.
2. 선호도 기반 보상 모델: 정량적 지표와 정성적 인간 피드백을 결합한 하이브리드 보상 모델을 학습하고, 이를 통해 실제 로봇의 정책 성능을 획기적으로 개선하는 방법을 제시했습니다.
3. 데이터 효율적 일반화 (Data-efficient Generalization): 소량의 실제 데이터 (최소 8 개의 과일, 약 50~200 개의 궤적) 만으로도 학습이 가능하며, 훈련된 단일 품목 정책이 훈련되지 않은 다른 품목 (Zero-shot) 에도 높은 성공률로 일반화됨을 입증했습니다.

4. 실험 결과 (Results)

• 성공률: 오이, 사과, 감자 등 3 가지 농산물에서 90% 이상의 평균 성공률을 달성했습니다.
• 성능 향상: 선호도 기반 미세 조정을 통해 성능이 최대 40% 까지 향상되었습니다 (예: 사과 껍질 벗기기의 성공률이 60% 에서 100% 로 상승).
• Zero-shot 일반화:
  • 오이 정책은 호박 (Zucchini) 에서 50%, 사과 정책은 배 (Pear) 에서 90%, 감자 정책은 무 (Daikon) 에서 80% 의 성공률을 보였습니다.
  • 이는 훈련된 정책이 훈련 데이터와 다른 기하학적 구조와 물리적 특성을 가진 물체에도 잘 적응함을 의미합니다.
• 비교 실험:
  • 데이터 수집: SpaceMouse 원격 조종이 VR, 힘 기반 원격 조종, 수동 지도 (Kinesthetic teaching) 보다 더 높은 품질의 데이터를 효율적으로 수집했습니다.
  • 센서 모달리티: 회색조 (Grayscale) RGB 이미지와 힘 센서 데이터를 모두 사용하는 것이 일반화 성능에 가장 중요했습니다.
  • 학습 방법: 잔차 네트워크를 사용한 2 단계 학습이 처음부터 학습하거나 (From Scratch) 잔차 없이 미세 조정하는 것보다 훨씬 안정적이고 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇이 제한된 실제 경험으로부터 정밀하고 적응력 있으며 일반화 가능한 접촉 풍부 (Contact-rich) 조작 기술을 습득할 수 있음을 보여줍니다. 특히, 정량적 지표뿐만 아니라 인간의 주관적인 '품질' 개념을 학습된 보상 모델을 통해 정렬함으로써, 기존에 정량화하기 어려웠던 복잡한 작업 (수술, 공예, 식품 준비 등) 에 대한 로봇 자동화의 새로운 길을 열었습니다.

이 프레임워크는 데이터 효율성과 인간 선호도 정렬을 결합하여, 실제 세계의 다양한 물체와 환경에서 작동할 수 있는 범용 조작 시스템 개발을 위한 실용적인 길을 제시합니다.