Mission-Aligned Learning-Informed Control of Autonomous Systems: Formulation and Foundations

1. 문제 정의 (Problem Statement)

자율 물리적 에이전트 (로봇, 드론 등) 의 실용화와 함께, 특히 인간과 밀접하게 상호작용하는 분야 (예: 노인 돌봄 로봇) 에서 **안전성 (Safety)**과 **해석 가능성 (Interpretability)**이 핵심 과제로 대두되었습니다.

• 기존 RL 의 한계: 강화학습 (RL) 은 복잡한 환경에서 우수한 성능을 보이지만, 본질적으로 통계적 모델로서 '블랙박스' 성격을 가집니다. 이는 다음과 같은 문제를 야기합니다:
  • 안전성 보장 부재: 훈련 중 위험한 행동 (Out-of-Distribution) 이 발생할 수 있으며, 물리적 안전에 대한 엄격한 수학적 보장이 어렵습니다.
  • 해석 불가능성: 규제 기관이나 사용자가 로봇의 의사결정 논리를 이해하기 어렵습니다.
  • 물리 법칙 반영 부족: RL 은 자연과학의 방대한 지식을 구조적으로 통합하지 못해 인과관계와 물리적 제약을 이해하는 데 한계가 있습니다.
• 목표: 물리적 안전을 보장하면서도 환경 변화에 적응할 수 있고, 사용자가 이해할 수 있는 (해석 가능한) 자율 시스템 제어 프레임워크를 구축하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 이중 계층 (Bilevel) 최적화 프레임워크를 제안하며, 이는 **상위 계층 (계획/스케줄링)**과 **하위 계층 (제어)**을 통합하고, 두 계층 사이를 **학습 (RL)**으로 연결합니다.

A. 계층적 구조 (Hierarchical Architecture)

1. 상위 계층 (High-Level): 해석 가능한 계획 및 스케줄링

   • 역할: 추상적인 임무 (예: "식사 준비", "약 배달") 와 논리적 행동 시퀀스를 결정합니다.
   • 기술: 고전적 계획 (Classical Planning) 및 스케줄링 기법을 사용하며, 상태와 행동을 **논리적 토큰 (Relational Logic Tokens)**으로 표현합니다.
   • 특징: 사용자에게 해석 가능한 의사결정 (예: "왜 이 약을 먼저 줘야 하는가?") 을 제공합니다.

2. 하위 계층 (Low-Level): 물리 기반 제어

   • 역할: 로봇의 실제 구동기 (모터, 바퀴 등) 를 제어하여 물리적 운동을 수행합니다.
   • 기술: **모델 예측 제어 (MPC)**를 사용합니다. MPC 는 물리 법칙 (동역학 모델) 과 안전 제약 조건 (충돌 회피 등) 을 명시적으로 포함합니다.
   • 특징: 실시간으로 최적 제어 입력을 계산하여 물리적 안전을 보장합니다.

3. 연결 계층: 학습 및 퍼지 매핑 (Learning & Fuzzy Mapping)

   • 퍼지 상태 추정 (Fuzzy State Estimation): 하위 계층의 연속적인 물리 상태 (위치, 속도) 를 퍼지 소속 함수 (Membership Function) 를 통해 상위 계층의 이산적 논리 상태 (예: "병실에 있음", "배터리 낮음") 로 변환합니다. 이는 연속 공간과 이산 공간 간의 간극을 메웁니다.
   • RL 기반 적응 (RL-based Adaptation):
     • MPC 파라미터 학습: RL 을 통해 MPC 의 비용 함수 (Cost Function) 및 제약 조건 파라미터를 환경 데이터에 맞춰 조정합니다.
     • 미분 가능한 인터페이스: 미분 가능 최적화 (Differentiable Optimization) 및 **함수 미분 정리 (Implicit Function Theorem, IFT)**를 활용하여, 상위 계층의 계획 목표가 하위 계층의 제어 파라미터에 미치는 영향을 미분 (Gradient) 하여 학습합니다. 이를 통해 "퍼지화 (Fuzzification) 를 통한 미분"이 가능해집니다.

B. 핵심 알고리즘 흐름

1. 스케줄러가 상위 임무 (예: 약 배달) 를 할당합니다.
2. **계획기 (Planner)**가 해당 임무를 수행하기 위한 논리적 행동 시퀀스 (토큰) 를 생성합니다.
3. 각 논리적 행동이 MPC 제어기를 트리거하여, 해당 행동을 수행하기 위한 연속 제어 입력 (속도, 가속도 등) 을 계산합니다.
4. 로봇이 물리 세계를 이동하며 실제 상태와 보상을 관찰합니다.
5. 학습 모듈이 관찰된 보상과 상태 오차를 바탕으로 MPC 파라미터와 계획기의 비용 함수 가중치를 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 이중 계층 통합 최적화 체계: 고수준의 해석 가능한 토큰 기반 의사결정과 저수준의 물리적 제어 행동을 통합한 데이터 기반 최적화 프레임워크를 제안했습니다.
2. 계획 - 제어 차분 (Differentiation) 기법: 퍼지 연산자 (Fuzzification operators) 를 사용하여 계획 (Planning) 과 제어 (Control) 간의 차분을 가능하게 하는 새로운 방법론을 제시했습니다. 이는 엔드-투-엔드 (End-to-End) 학습을 가능하게 합니다.
3. 안전성 보장 및 해석 가능성: MPC 를 하위 계층에 내장하여 물리적 안전을 수학적으로 보장하고, 상위 계층의 논리적 계획을 통해 사용자와 규제 기관이 시스템을 이해할 수 있게 했습니다.
4. 불확실성 하의 적응 학습: 시스템 동역학의 불완전한 지식 (Grey-box modeling) 을 데이터로 학습하여 MPC 모델을 보정하고, 환경 변화에 적응하는 능력을 입증했습니다.

4. 실험 결과 (Results)

논문의 실험은 병원 서비스 로봇 시나리오 (약 배달 및 식사 준비) 에서 수행되었습니다.

• 실험 설정: 5 가지 다른 환자 프로필 (속도 중시, 안전 중시, 배터리 중시, 편안함 중시, 서비스 품질 중시) 에 대해 40 회 에피소드 동안 학습을 진행했습니다.
• 성능:
  • 편향 학습 (Preference Learning): 로봇은 환자의 선호도 (예: 안전 vs 속도) 를 정확히 학습하여, 각 프로필에 맞는 최적의 경로와 행동 (예: 안전 중시 환자는 우회 경로 선택, 속도 중시 환자는 직진 경로 선택) 을 수행했습니다.
  • 수렴성: 25 번의 독립적인 실행 중 22 번이 선호도 벡터의 오차 임계값 내에서 수렴했습니다.
  • 작업 다양성: 학습된 선호도에 따라 약 배달 경로 (약국/보관실 선택) 와 식사 준비 유형 (샌드위치 vs 수프 vs 정식) 이 적절하게 분화되었습니다.
  • 안전성: MPC 기반 제어는 모든 에피소드에서 100% 작업 완료율을 달성하며 충돌 없이 임무를 수행했습니다.
• 시뮬레이션: MuJoCo 환경에서 CasADi/Acados를 사용하여 MPC 와 민감도 분석을 구현하고, 퍼지 상태 추정기를 통해 연속/이산 상태를 매핑했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 안전이 중요한 자율 시스템 (Safety-Critical Autonomous Systems) 분야에서 RL 의 한계를 극복하기 위한 중요한 통찰을 제공합니다.

• 블랙박스 문제 해결: 순수 RL 의 불투명성과 안전성 부재를 해결하기 위해, 물리 법칙 기반의 제어 (MPC) 와 논리적 추론 (Planning) 을 RL 과 결합했습니다.
• 실용적 적용 가능성: 의료, 제조, 자율 주행 등 고위험 분야에서 인간과 협력하는 로봇의 신뢰성을 높일 수 있는 프레임워크를 제시했습니다.
• 미래 지향성: 단순한 시뮬레이션을 넘어, 실제 물리 환경에서의 불확실성을 학습으로 보정하고, 사용자의 선호도에 맞춰 개인화된 서비스를 제공할 수 있는 적응형 자율 시스템의 기초를 마련했습니다.

요약하자면, 이 연구는 이해 가능한 논리적 계획과 안전한 물리적 제어를 데이터 기반 학습으로 연결하여, 안전하고 신뢰할 수 있으며 인간과 조화롭게 작동하는 차세대 자율 에이전트를 위한 이론적 및 실용적 토대를 제시했습니다.