Learning Acrobatic Flight from Preferences

이 논문은 복잡한 역학과 주관적인 목표가 요구되는 곡예 비행과 같은 작업에서 수동으로 설계된 보상 함수의 한계를 극복하고, 불확실성을 명시적으로 모델링하는 '신뢰도 기반 보상 앙상블 (REC)' 프레임워크를 제안하여 시뮬레이션에서 학습된 정책을 실제 세계로 제로샷 전이하는 데 성공했음을 보여줍니다.

핵심

🚁 핵심 비유: "드론 코치 vs. 드론 학생"

상상해 보세요. 드론을 가르치는 코치가 있고, 배우는 드론이 있습니다.

1. 기존 방식의 문제점: "너무 복잡한 점수표"

기존에는 코치가 드론에게 **"이 점수표에 따라 점수를 매겨줄게"**라고 했습니다.

• "회전할 때 10 점, 흔들리면 -5 점, 속도가 빠르면 +2 점..."
• 하지만 문제는 **곡예 비행 (Acrobatic Flight)**은 점수표로 표현하기 어렵다는 것입니다. "어떤 비행이 더 아름답고 매끄러운가?"는 주관적인 문제입니다.
• 연구자들은 직접 만든 점수표 (수동 설계 보상 함수) 가 인간의 눈과 얼마나 일치하는지 확인해 보니, 단 60.7% 만 일치했습니다. 즉, 코치가 "완벽해!"라고 점수 준 것을 인간은 "어색해 보이는데?"라고 생각할 때가 절반이 넘었습니다.

2. 새로운 방식 (이 논문): "비교하는 눈"

이 논문은 점수표를 버리고, 인간이 두 개의 비행 영상을 보고 "어느 것이 더 좋나요?"라고 선택하게 하는 방식을 제안합니다.

• "A 비행과 B 비행 중, 어느 것이 더 매끄럽나요?"
• 드론은 이 '선택'을 통해 스스로 점수표를 만들어가며 배웁니다.

---

🌟 이 논문의 핵심 기술: "REC (불확실성을 아는 코치)"

그런데 여기서 새로운 문제가 생깁니다. 두 비행이 거의 비슷할 때, 인간이 "A 가 더 좋아"라고 선택하는 것은 우연일 수도 있습니다. (예: "음... A 가 조금 더 좋아 보이는데, B 도 나쁘지 않은데?" 같은 상황)

기존 AI 는 이 '우연'을 무시하고 무조건 A 가 더 좋다고 믿어버려서, 엉뚱한 방향으로 학습할 수 있습니다.

이 논문이 제안한 **REC (Reward Ensemble under Confidence)**는 다음과 같은 특징을 가집니다:

1. 여러 명의 코치 (Ensemble): 점수를 매기는 코치를 한 명만 두지 않고, **여러 명 (앙상블)**을 둡니다.
2. 의견 불일치 감지: 만약 여러 코치들이 "A 가 좋아", "B 가 좋아", "모르겠어"라고 의견이 갈릴 때, REC 는 **"아, 이 부분은 내가 아직 확신이 없구나 (불확실성이 높구나)"**라고 인식합니다.
3. 호기심 자극: "내가 확신이 없는 곳"은 드론이 더 많이 가보게 합니다. (탐색을 장려)
   • 비유: "이곳은 아직 내가 잘 모르는 곳이야. 한번 더 가봐서 확실하게 해보자!"라고 드론을 부추기는 것입니다.

---

🏆 실험 결과: 얼마나 잘했나요?

연구팀은 시뮬레이션에서 드론을 훈련시킨 뒤, **실제 드론 (220g 무게)**에 그대로 적용해 보았습니다. (실제 드론을 다시 가르치지 않고 바로 날린 것, 즉 'Zero-shot' 전이)

• 기존 방식 (Preference PPO): 인간이 원하는 곡예 비행의 55.2% 정도만 성공했습니다. (점수표와 인간의 눈이 안 맞아서 학습이 불안정함)
• 새로운 방식 (REC): **88.4%**까지 성공률을 높였습니다.
• 결과: REC 를 사용하면 드론이 **연속 파워루프 (Powerloop)**나 새로운 '8'자 비행 같은 어려운 곡예를 인간이 점수표 없이도, 오직 "어느 것이 더 좋아?"라는 선택만으로 완벽하게 익힐 수 있었습니다.

---

💡 한 줄 요약

"드론에게 복잡한 점수표를 주지 말고, 인간이 '어느 것이 더 예쁜가?'를 선택하게 하세요. 그리고 AI 가 '내가 아직 확신이 없는 부분'을 스스로 찾아내서 더 열심히 연습하게 하세요. 그러면 점수표 없이도 인간이 원하는 멋진 곡예 비행을 할 수 있습니다."

이 연구는 로봇이 인간의 '감'과 '취향'을 이해하고, 불완전한 피드백에서도 스스로 성장할 수 있는 새로운 길을 열었다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 자율 드론의 곡예 비행 (Acrobatic Flight) 은 복잡한 동역학, 빠른 상태 전환, 그리고 오차 허용 폭이 매우 좁아 제어 정책 학습에 있어 큰 도전 과제입니다.
• 기존 방법의 한계: 강화학습 (RL) 을 적용할 때, 일반적으로 수동으로 설계된 보상 함수 (Reward Function) 가 필요합니다. 그러나 곡예 비행과 같은 작업은 '매끄러움', '타이밍', '스타일' 등 주관적이고 고차원적인 의도를 포함하므로, 이를 명확한 보상 함수로 정의하기가 매우 어렵습니다.
• 핵심 문제: 연구진은 수동으로 설계된 보상 함수가 인간의 판단과 일치하는 비율이 **60.7%**에 불과하다는 것을 발견했습니다. 이는 수동 보상 설계가 인간의 선호도를 제대로 반영하지 못해 최적의 정책을 학습하는 데 한계가 있음을 시사합니다.
• 목표: 명시적인 보상 함수 없이, 인간 (또는 합성) 이 제공하는 '경로 간 비교 (Preference)' 피드백만으로 드론의 곡예 비행 정책을 학습하고, 이를 실제 물리적 드론에 제로샷 (Zero-shot) 으로 이전 (Transfer) 하는 것입니다.

2. 제안 방법론: REC (Reward Ensemble under Confidence)

저자들은 선호도 기반 강화학습 (PbRL) 의 불확실성을 명시적으로 모델링하여 해결책을 제시합니다.

• 핵심 아이디어: 선호도 피드백은 본질적으로 확률적입니다. 두 경로가 유사할 때 어떤 것이 더 나은지 판단하는 것은 노이즈가 많고 불확실합니다. REC 는 이를 결정론적 레이블이 아닌 확률 분포로 모델링합니다.
• 주요 구성 요소:
  1. 확률적 보상 모델 앙상블 (Probabilistic Reward Ensemble):
     • 단일 보상 모델 대신 여러 개의 보상 모델 (앙상블) 을 사용합니다.
     • 각 타임스텝의 보상을 평균 ($r_{mean}$) 과 표준편차 ($r_{std}$) 를 가진 정규 분포로 모델링합니다.
     • 브래들리 - 테리 (Bradley-Terry) 소프트맥스 함수 대신, 가우스 누적 분포 함수 (CDF) 를 사용하여 경로 간 선호도 확률을 계산합니다. 이는 모델의 불확실성 (표준편차) 을 선호도 손실 함수에 자연스럽게 반영합니다.
  2. 불확실성 인식 보상 집계 (Uncertainty-aware Reward Aggregation):
     • 앙상블 멤버 간의 의견 불일치 (Disagreement) 가 큰 영역, 즉 모델이 불확실한 영역에서 보상을 인위적으로 증가시킵니다.
     • 이를 통해 에이전트가 불확실한 상태 (Exploration) 를 더 많이 방문하도록 유도하여, 더 많은 선호도 피드백을 얻을 수 있게 합니다.
  3. 앙상블 리셋 메커니즘 (Ensemble Resetting):
     • 학습 과정에서 성능이 떨어지는 앙상블 멤버의 가중치를 초기화하여, 앙상블 내의 다양성을 유지합니다. 이는 불확실성 추정의 신뢰성을 높이고 과적합을 방지합니다.

3. 주요 기여 (Key Contributions)

1. REC 프레임워크 제안: 보상 모델의 불확실성을 명시적으로 모델링하고, 이를 선호도 손실과 탐색 전략에 통합한 확률적 보상 학습 프레임워크를 제안했습니다.
2. 성능 향상: 곡예 드론 제어 작업에서 REC 는 기존 선호도 기반 PPO (Preference PPO) 대비 **88.4%**의 보상 설계 (Shaped Reward) 성능을 달성했습니다. (기존 Preference PPO 는 55.2% 에 그침).
3. 실제 환경 제로샷 이전 (Zero-shot Sim-to-Real): 시뮬레이션에서 학습된 정책을 실제 220g 쿼드콥터에 추가 튜닝 없이 직접 적용하여, 연속 파워루프 (Powerloop) 및 새로운 '수직 Figure-8' 곡예 기동을 성공적으로 수행했습니다.
4. 수동 보상 설계의 한계 입증: 수동 설계 보상과 인간 판단의 일치율이 60.7% 에 불과함을 보여주어, 주관적 목표가 있는 작업에서는 선호도 기반 접근법의 필요성을 강력하게 뒷받침했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 평가 (Flightmare):
  • Continuous Powerloop 작업: REC 는 평균 평가 보상 382.4 (Shaped Reward 대비 88.4%) 를 기록한 반면, 표준 Preference PPO 는 238.9 (55.2%) 를 기록했습니다.
  • 안정성: REC 는 시드 (Seed) 간 분산이 훨씬 낮아 학습의 신뢰성이 높았습니다.
  • Ablation Study: 확률적 손실 함수 (Probabilistic Loss) 와 보상 노이즈 (Reward Noise) 가 성능 향상에 가장 큰 기여를 했으며, 앙상블 리셋은 학습의 일관성을 높이는 데 기여했습니다.
• 실제 드론 배포:
  • 합성 선호도 (Synthetic Preferences) 와 실제 인간 평가자 (Human Annotator) 의 선호도 모두를 사용하여 학습된 정책이 실제 드론에서 성공적으로 작동했습니다.
  • 인간 평가자만 사용하여 '수직 Figure-8'이라는 새로운 곡예 기동을 보상 함수 설계 없이 학습하여 성공적으로 수행했습니다.
• 일반 벤치마크: DM Control Suite 의 'Walker-Walk' 작업에서도 REC 가 기존 방법보다 우수한 성능을 보여 항공 로봇을 넘어선 일반성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 주관적 작업의 자동화: 보상 함수 설계의 어려움과 주관성을 해결하여, 인간이 직접 보상 함수를 코딩하지 않고도 복잡한 곡예 기동을 학습할 수 있는 새로운 패러다임을 제시했습니다.
• 불확실성 활용: 선호도 데이터의 노이즈와 불확실성을 단순한 장애물이 아닌, 탐색 (Exploration) 을 유도하는 자원으로 활용하는 방법을 제시했습니다.
• 실용성: 시뮬레이션에서 학습된 정책을 실제 물리적 시스템에 바로 적용 (Sim-to-Real) 할 수 있음을 입증하여, 실제 드론 비행 제어 분야에서의 PbRL 적용 가능성을 크게 확장했습니다.

이 논문은 보상 설계의 한계를 극복하고, 인간의 직관적 판단을 통해 로봇이 복잡한 동적 작업을 습득할 수 있음을 보여주는 중요한 연구로 평가됩니다.