Learning-Based Robust Control: Unifying Exploration and Distributional Robustness for Reliable Robotics via Free Energy

이 논문은 자유 에너지 원리에 기반하여 환경 역학과 보상을 동시에 학습하면서도 인지적 불확실성에 대한 분산 강인성을 보장하는 새로운 제어 모델을 제안함으로써, 시뮬레이션과 실제 로봇 (Franka Research 3) 간의 차이를 줄이고 미세 조정 없이도 반복 가능한 조작 작업을 가능하게 합니다.

핵심

이 논문은 **"로봇이 실수하지 않고, 예상치 못한 상황에서도 안전하게 일할 수 있도록 하는 새로운 두뇌 (제어 알고리즘)"**에 대해 설명합니다.

기존의 로봇 학습 방식은 마치 **"완벽한 지도를 보고 연습한 학생"**과 같습니다. 시뮬레이션 (가상 현실) 에서 완벽하게 훈련된 로봇은 실제 세상으로 나가면 조금만 예상치 못한 장애물이 있거나, 바닥이 미끄러우면 바로 넘어지거나 실수를 합니다.

이 논문은 그 문제를 해결하기 위해 "예상치 못한 상황을 미리 상상하며, 가장 안전한 길을 찾는 두 가지 전략을 하나로 합친" 새로운 방법을 제안합니다.

---

🧠 핵심 아이디어: "두 가지 두뇌를 하나로"

이 연구는 로봇이 세상을 이해하는 두 가지 서로 다른 방식을 섞었습니다.

1. "호기심 많은 탐험가" (MaxDiff - 최대 확산 학습)

• 비유: 로봇이 처음 들어간 미로에서, **"어디든 가보지 않은 곳으로 최대한 많이 이동해 보자!"**라고 생각하는 탐험가입니다.
• 역할: 로봇이 새로운 환경을 빠르게 배우고, 다양한 시나리오를 경험하게 합니다. 하지만 이 탐험가는 "위험한 곳"을 피하는 법을 잘 모릅니다. 그냥 무작정 돌아다니는 것일 뿐이죠.

2. "겁쟁이 안전요원" (DR-FREE - 분포적 강건성)

• 비유: 로봇이 **"만약 내가 잘못 계산했다면? 만약 바닥이 미끄러우면? 만약 장애물이 갑자기 나타나면?"**이라고 끊임없이 걱정하는 안전요원입니다.
• 역할: 로봇이 실수할 가능성을 미리 계산해서, 가장 최악의 상황에서도 로봇이 넘어지지 않도록 경계합니다. 하지만 너무 겁이 많으면 로봇이 한 발짝도 못 떼고 멈춰버릴 수 있습니다.

🚀 이 논문이 한 일: "호기심과 안전의 완벽한 조화"

저자들은 이 두 가지 방식을 섞어서 **"호기심은 많지만, 위험할 때는 즉시 멈추고 안전한 길을 찾는 로봇"**을 만들었습니다.

• 기존 방식: 시뮬레이션에서 완벽하게 훈련된 로봇을 실제 세상 (Real World) 에 보내면, 작은 차이 (소음, 마찰력 변화 등) 때문에 로봇이 망가집니다.
• 이 논문의 방식: 로봇이 훈련할 때부터 **"내 지도가 100% 정확하지 않을 수도 있어. 그래서 내가 실수할 확률을 계산해서, 그 실수 범위 안에서 가장 안전한 길을 찾아야 해"**라고 가르칩니다.

이를 위해 **'자유 에너지 (Free Energy)'**라는 수학적 개념을 사용했습니다. 쉽게 말해, **"불확실성 (공포) 을 최소화하면서, 목표를 달성하는 에너지"**를 계산하는 방식입니다.

🤖 실제 실험 결과: "한 번도 연습하지 않은 로봇이 실전에서 성공했다!"

이론만 좋은 게 아니라, 실제 로봇 실험에서도 놀라운 결과를 보였습니다.

1. 시뮬레이션 vs 현실 (Sim-to-Real):

   • 컴퓨터 시뮬레이션에서 훈련된 로봇을, **실제 물리적인 로봇 팔 (Franka Research 3)**에 바로 적용했습니다.
   • 결과: 로봇을 다시 가르치거나 (Fine-tuning) 수정할 필요 없이, 그대로 실전에 투입하자마자 성공했습니다. 이를 **'제로샷 (Zero-shot) 배포'**라고 합니다. 마치 외국어를 전혀 배우지 않은 사람이 처음 가서도 현지인과 대화할 수 있는 것과 같습니다.

2. 장애물 회피:

   • 로봇이 물건을 옮기는데 길에 장애물이 생겼습니다.
   • 일반 로봇: 충돌하거나 멈춥니다.
   • 이 논문의 로봇: "여기는 위험할 수 있어"라고 계산해서, 장애물 위로 손을 들어 올리거나 (Lift-over), 안전한 우회 경로를 찾아서 물건을 성공적으로 옮겼습니다.

3. 반복성:

   • 같은 작업을 20 번 해봐도 18 번 성공했습니다. (기존 방식은 6 번 정도 성공)

💡 요약: 왜 이것이 중요한가?

이 기술은 로봇이 **"실제 세상"**에서 일할 수 있는 문을 엽니다.

• 과거: 로봇은 완벽한 환경에서만 일할 수 있었습니다. (공장에서만 가능)
• 현재와 미래: 이 기술을 쓰면 로봇은 예상치 못한 장애물, 미끄러운 바닥, 센서 오차가 있는 가난한 집이나 복잡한 병원, 야외 환경에서도 스스로 판단하여 안전하게 일할 수 있게 됩니다.

한 줄 요약:

"로봇에게 '호기심'을 주면서도, '위험을 미리 계산하는 안전장비'를 채워주어, 훈련장 밖에서도 실수 없이 일하게 만든 혁신적인 두뇌 개발!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 자율 로봇을 설계하기 위해 시뮬레이션에서 제어 정책을 학습하는 패러다임이 널리 사용되고 있습니다.
• 문제점: 고충실도 시뮬레이터라도 훈련 중 경험하지 못한 실제 환경의 미세한 불일치 (접촉, 센서/구동 노이즈, 비선형 마찰, 캘리브레이션 드리프트 등) 가 발생하면 정책이 실패할 수 있습니다. 이러한 불일치는 로봇과 환경에 치명적인 결과를 초래할 수 있습니다.
• 기존 접근법의 한계:
  • 적대적/앙상블 학습 (RARL, EPOpt) 및 도메인 무작위화: 훈련 중 교란을 노출시키거나 파라미터를 무작위화하여 견고성을 높이지만, 배포 시 최악의 경우 모델 오정렬에 대한 명시적인 제어나 보장이 없습니다.
  • 최대 엔트로피 RL (MaxEnt) 및 MaxDiff: 탐색을 극대화하고 성능이 뛰어나지만, 견고성 (Robustness) 이 최적 정책의 엔트로피에 의해 간접적으로만 발생하며 사전 (a-priori) 에 명시적인 보장을 제공하지 못합니다.
  • 분산형 강건 자유 에너지 (DR-FREE): 명시적인 강건성 보장을 제공하지만, 환경 모델과 보상 함수에 대한 사전 접근이 필요합니다.
• 핵심 과제: 환경 모델과 보상 함수를 알지 못하는 상황에서도 정책을 학습하면서, 동시에 **인지적 불확실성 (Epistemic Uncertainty)**에 대한 명시적인 강건성 보장을 제공하는 계산 모델을 개발하는 것.

2. 제안된 방법론 (Methodology)

저자들은 최대 확산 학습 (Maximum Diffusion, MaxDiff) 프레임워크를 **분산형 강건 자유 에너지 원칙 (Distributionally Robust Free Energy, DR-FREE)**과 결합하여 새로운 모델을 제안합니다.

가. 핵심 개념: DR-FREE 와 MaxDiff 의 통합

• DR-FREE (Distributionally Robust Free Energy):
  • 정책 ($\pi$) 과 환경 모델 ($p$) 에 대한 Min-Max 문제를 정의합니다.
  • 학습된 명목 모델 ($\bar{p}$) 주위의 KL 발산 (Kullback-Leibler Divergence) 제한 집합 (Ambiguity Set) 내에서 최악의 경우를 가정하여 자유 에너지를 최소화합니다.
  • 이를 통해 모델 오정렬에 대한 명시적인 강건성 보장을 제공합니다.
• MaxDiff (Maximum Diffusion RL):
  • 경로 엔트로피를 최대화하여 상태 공간 탐색을 극대화하는 프레임워크입니다.
  • 환경 모델과 보상 함수 없이도 학습이 가능합니다.
• 통합 전략 (Proposed Framework):
  1. MaxDiff 의 확산 (Diffusion) 을 DR-FREE 에 주입: DR-FREE 의 복잡도 항 (Complexity term) 에 MaxDiff 의 '최대 확산' 상태 생성 커널 ($p_{max}$) 을 참조 분포로 사용합니다.
  2. KL 신뢰 영역 (Trust Region) 계산: 학습된 명목 동역학 모델 $\bar{p}$에 대해 최대 엔트로피를 갖는 커널 $p_{max}$를 계산합니다 (KL 제약 조건 하에서).
  3. 내부 최적화 (Inner Maximization): 각 상태 - 행동 쌍에 대해 KL 발산 제약 하에서 비용 (Cost) 을 최대화하는 문제를 해결하여 '모호성 비용 (Cost of Ambiguity)'을 도출합니다. 이는 스칼라 볼록 최적화 문제로 변환되어 실시간 계획이 가능합니다.
  4. 외부 최적화 (Outer Minimization): 도출된 모호성 비용을 포함하여 깁스 (Gibbs) 형태의 최적 정책을 도출합니다.

나. 동역학 및 비용 교란에 대한 결합 강건성

• 증강 상태 (Augmented State) 공식화: 단계별 비용 (Stage Cost) 의 교란 ($\delta c$) 을 처리하기 위해 시스템 상태에 누적 비용 변수를 추가합니다.
• 이론적 보장: 동역학 오차와 비용 오차를 동시에 KL 예산 (Budget) 내에서 처리할 수 있음을 증명했습니다. 이는 정책이 동역학 모델의 불확실성뿐만 아니라 보상 함수의 교란에도 강건하게 작동함을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 모델: 연속 제어 작업에서 정책을 학습하면서도 사전에 (a-priori) 명시적인 강건성 보장을 제공하는 최초의 자유 에너지 계산 모델을 제안했습니다.
   • 기존 MaxDiff: 학습은 가능하나 강건성 보장이 사후적 (a-posteriori) 이고 간접적입니다.
   • 기존 DR-FREE: 강건성 보장은 가능하나 모델과 보상이 사전에 필요합니다.
   • 본 연구: 두 접근법의 장점을 결합하여, 모델/보상 없이 학습하면서도 DR-FREE 수준의 사전 강건성 보장을 제공합니다.
2. 실시간 계산 가능성: 복잡한 Min-Max 문제를 스칼라 볼록 최적화 문제로 축소하여 실시간 계획 (Real-time planning) 을 가능하게 했습니다.
3. Zero-shot 배포 가능성: 시뮬레이션에서 학습된 정책을 실제 로봇에 추가 미세 조정 (Fine-tuning) 없이 직접 배포할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

연구진은 OpenAI Gym, MuJoCo 시뮬레이션 및 실제 Franka Emika Panda 로봇을 사용하여 실험을 수행했습니다.

• HalfCheetah-v5 (MuJoCo):
  • 제안된 방법 (DR-FREE + MaxDiff) 은 MaxDiff 베이스라인보다 더 낮은 분산으로 안정적인 학습 곡선을 보였습니다.
  • 평가 시 20 회 중 18 회 성공 (제안 방법) 대 6 회 성공 (MaxDiff) 으로 목표 도달률이 현저히 높았습니다.
• Franka Obstacle Task (시뮬레이션):
  • 장애물이 있는 테이블탑 조작 작업에서 충돌 없이 경로를 계획하는 능력을 입증했습니다.
  • 모호성 비용 (Ambiguity cost) 이 장애물 근처에서 증가하여 정책이 안전한 행동을 선택하도록 유도했습니다.
• Franka Research 3 (실제 로봇 - Zero-shot):
  • 시뮬레이션 (모델이 실제 로봇과 다름) 에서 학습된 정책을 실제 Franka 로봇에 직접 배포했습니다.
  • 장애물 없는 상황: 직선 경로로 물체를 이동.
  • 장애물 있는 상황: 정책이 자동으로 그리퍼를 들어 장애물을 피하고 물체를 이동시키는 충돌 회피 행동을 수행.
  • 결과: 추가적인 실제 데이터 수집이나 미세 조정 없이도 반복 가능한 테이블탑 조작 (Pick-and-place) 에 성공했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 로봇 제어의 새로운 패러다임: 이 연구는 기계 학습, 로봇 공학, 신경과학 (자유 에너지 원칙) 을 통합하여, 실제 현장 (Field) 에서 배포될 로봇에 대한 **공학적 인증 (Certificate)**을 제공할 수 있는 이론적 기반을 마련했습니다.
• Sim-to-Real 갭 해소: 시뮬레이션과 실제 환경 간의 불일치 (Sim-to-Real gap) 를 줄이고, 모델 기반의 불확실성을 정량화하여 이를 정책 학습에 직접 반영함으로써, 실제 환경에서의 실패 위험을 사전에 관리할 수 있습니다.
• 실용성: 복잡한 강화 학습 알고리즘의 계산 부하를 줄이면서도 (볼록 최적화 활용), 실제 로봇에 적용 가능한 수준의 견고성과 탐색 능력을 동시에 제공합니다.

요약하자면, 이 논문은 자유 에너지 원칙을 기반으로 **탐색 (Exploration)**과 **분산형 강건성 (Distributional Robustness)**을 통합하여, 실제 환경의 불확실성 하에서도 신뢰할 수 있는 로봇 제어를 가능하게 하는 획기적인 프레임워크를 제시했습니다.