기술 요약: 최적 제어를 위한 가용 액션 (Feasible Action for Optimal Control, FAOC)

문제 정의

제약 조건이 있는 동적 시스템을 운용하기 위해서는 복잡한 과제를 해결하는 동시에 재귀적 가용성(recursive feasibility)과 안전 제약 조건을 엄격히 준수할 수 있는 제어기가 필요합니다. 강화 학습(RL)은 다양한 영역에서 복잡한 제어 문제를 해결하는 능력을 입증해 왔으나, 샘플 효율성이 낮고 제약 조건 충족을 엄격하게 보장할 수 없다는 내재적 한계가 있습니다. 반대로, 최적 제어(Optimal Control, OC), 특히 모델 예측 제어(MPC)는 명시적인 제약 조건 강화를 통해 엄격한 안전 보장을 제공하지만, 비볼록(nonconvex) 및 장기 호라이즌(long-horizon) 문제에서의 계산 복잡도 문제와 액션 공간 튜닝에 많은 노력이 필요하다는 어려움이 있습니다.

RL과 OC를 결합한 기존의 하이브리드 접근 방식은 흔히 다음과 같은 결정적인 트레이드오프에 직면합니다:

1. 가용성 문제: RL 에이전트가 최적 제어 문제(OCP)의 파라미터를 직접 선택할 때, 에이전트의 액션이 OCP를 불가능(infeasible)하게 만들 수 있으며, 이를 해결하기 위해 슬랙 변수(slack variables)나 휴리스틱 페널티를 사용해야 하는데 이는 성능 저하를 야기합니다.
2. 액션 공간 설계: 가용성을 보장하기 위해 기존 연구들은 종종 정적이고 휴리스틱한 액션 공간(예: 유계된 하이퍼큐브)을 사용합니다. 이는 기저 OCP의 상태 의존적인 가용 파라미터 집합을 고려하지 않습니다. 이로 인해 불가능하거나 중복된 액션이 포함되어, RL 정책이 복잡한 가용성 경계를 암묵적으로 학습하도록 강요하며, 이는 학습 효율성과 최종 성능을 저해합니다.

방법론: 최적 제어를 위한 가용 액션 (FAOC)

저자들은 계산 효율적인 최적화 기반 매핑 알고리즘을 통해 RL과 OC를 연결하는 계층적 프레임워크인 FAOC를 제안합니다. 핵심 혁신은 RL 에이전트의 출력을 정적이고 기하학적으로 단순한 추상 액션 집합에서 OCP의 상태 의존적 가용 파라미터 집합으로 변환하는 전단사 매핑(bijective mapping)입니다.

프레임워크 아키텍처

1. 상위 수준 RL 정책: RL 에이전트는 정적이고 컴팩트하며 견고하고 볼록한 추상 액션 공간 $\bar{A}$(예: 하이퍼박스) 내에서 동작합니다. 에이전트는 로우(raw) 액션을 출력하며, 이는 추상 액션 $\bar{a} \in \bar{A}$로 변환됩니다.
2. 매핑 알고리즘 ($M$): 새로운 알고리즘은 $\bar{a}$를 OCP의 상태 의존적 가-용 집합 $P(x)$에 속하는 파라미터 $p$로 매핑합니다. 이 매핑은 $p$가 현재 시스템 상태 $x$에 대해 항상 가용함을 보장하여 OCP가 계속 해결 가능한 상태를 유지하도록 합니다.
3. 하위 수준 OCP: 매핑된 파라미터 $p$(예: 종단 상태 목표)는 파라미터화된 OCP에 입력됩니다. OCP는 물리적 제약을 준수하면서 최적 제어 궤적을 계산하여 안전성과 재귀적 가용성을 보장합니다.

주요 알고-리즘 구성 요소

본 논문은 $\bar{A}$와 상태 의존적 집합 $P(x)$ 사이의 기하학적 변환을 처리하기 위한 일련의 매핑 알고리즘을 개발했습니다:

• 위상적 특성 규명: 저자들은 일반적인 OCP의 가용 파라미터 집합 $P(x)$가 컴팩트하고, 솔리드(solid)하며, 볼록함을 보장하는 완만한 기하학적 조건(Lemma 1)을 확립했습니다. 이는 종단 제약 조건이 있는 선형 MPC에 대해 명시적으로 입증되었습니다(Corollary 1).
• 역변환 가능한 방사형 매핑: 핵심 매핑(Algorithm 1)은 $\bar{A}$에서 $P(x)$로 점들을 전단사적으로 변환하는 방사형 스케일링 알고리즘입니다. 이는 역변환 가능성을 보장하여, 어떤 가용 파라로도 추상 액션 공간으로 투영될 수 있게 함으로써 "액션 에일리어싱(action aliasing)"을 방지합니다.
• 기하학적 왜곡 완화:
  • 2D 면적 매칭: 2D 공간의 경우, 집합들의 면적에 대한 주변 각도 분포를 일치시키기 위한 방향성 변환이 도출됩니다(Propositions 2 & 3). 이는 타겟 집합의 좁은 영역에 점이 집중되는 현상을 방지합니다.
  • 선형 변환 (임의 차원): 고차원에서는 기하학적 왜곡을 근사하기 위해 아핀 대리물(특히 최대 부피 내접 타원체, Maximum Volume Inscribed Ellipsoids)을 사용하는 방법을 제안합니다. 이를 통해 $P(x)$의 명시적인 기하학적 표현 없이도 분포 밀도를 보존하는 확장 가능한 선형 변환이 가능해집니다(Proposition 4).
• 암묵적 집합 처리: 이러한 매핑을 $P(x)$의 명시적인 기하학적 표현 없이 수행할 수 있다는 점이 중요한 기여입니다. OCP 제약 구조를 활용하여, 저자들은 내부 점(interior points)과 형상 행렬(shape matrices)을 직접 계산할 수 있는 견고한 정식화를 도출함으로써 실시간 실행을 가능하게 했습니다(Propositions 6–8).

주요 기여

본 논문은 다섯 가지 주요 기여를 명시합니다:

1. 위상적 특성 규명: 일반적인 OCP의 상태 의존적 파라미터 집합이 컴팩트하고, 솔리드하며, 볼록함을 보장하는 기하학적 조건을 식별했습니다.
2. 역변환 가능한 가용 액션 매핑: 추상 RL 액션을 보장된 가용 OCP 파라미터로 전단사적으로 매핑하는 계산 효율적인 방사형 알고리즘을 개발했습니다.
   을 통해 가용성을 보장합니다.
3. 기하학적 왜곡 완화: 점의 축적을 방지하고 학습을 가속화하기 위한 면적 매칭(2D) 및 선형 변환(임의 차원) 기술을 개발했습니다.
4. 암묵적 집합에 대한 계산 가능성: 명시적인 기하학적 표현을 피하면서 OCP 제약으로부터 필요한 매핑 구성 요소(내부 점, 형상 행렬)를 직접 계산하는 견고한 정식화를 도출했습니다.
5. 실험적 검증: 8자유도 로봇 탁구 시스템에 적용하여 실시간 모션 플래닝에서 전문가 수준의 성능을 입증했습니다.

실험 결과

FAOC 프레임워크는 높은 속도의 의사 결정과 운동학적 제약의 엄격한 준수가 요구되는 실제 8자유도 로봇 팔 탁구 과제에서 평가되었습니다.

• 설정: RL 에이전트(Soft Actor-Critic 사용)는 각 관절에 대한 2D 웨이포인트(위치 및 속도)를 선택했습니다. FAOC 매퍼는 이를 파라미터화된 OCP를 위한 가용 종단 제약 조건으로 변환했습니다.
• 베이스라인: FAOC는 다음 모델들과 비교되었습니다:
  • 1D 변형 모델: RL 에이전트가 위치, 속도 또는 가속도 중 하나만 선택하는 제어기(제어력 제한).
  • 2Dsoft: 불가능한 타겟을 처리하기 위해 소프트 종단 비용(soft terminal costs)을 사용하는 정적, 상태 독립적 액션 공간 제어기.
• 성능:
  • 샘플 효율성: FAOC는 모든 실험에서 가장 높은 샘플 효율성과 최종 성능을 달 기록하며 1D 및 2Dsoft 베이스라인을 능가했습니다.
  • 제어 가능성: FAOC는 특히 RL 결정 빈도가 감소할 때(지연 시간 시뮬레이션) 우수한 제어 가능성을 보여주었습니다. 다른 제어기들이 낮은 빈도에서 성능이 크게 저하된 반면, FAOC는 상태 의존적 액션 공간 덕분에 가용 궤적 세그먼트를 보장하며 성능을 유지했습니다.
  • 실제 환경 성공: 이 프레임워크는 로봇이 공식 ITTF 경기에서 프로 수준의 인간 플레이어를 상대로 경쟁하고 승리할 수 있게 했습니다.

의의 및 주장

본 논문은 FAOC가 RL과 OC를 결합할 때 발생하는 지속적인 가용성 및 탐색 문제를 해결한다고 주장합니다. RL 에이전트를 물리적 제약으로부터 분리함으로써, 프레임워크는 정책이 전략적 의사 결정에만 집중할 수 있게 하는 동시에 OCP가 국소적 운동학적 제약을 처리하도록 합니다.

저자들은 FAOC가 기존 연구와 달리 전문가가 설계한 액션 공간을 요구하지 않으며, 불가능한 액션으로 인해 OCP 정식화가 훼손되지 않는다는 점을 강조합니다. 이 프레임워크는 OC의 예측 가능한 안전성과 RL의 유연성을 효과적으로 결합합니다. 고속 경쟁 환경의 실제 로봇에 성공적으로 배치된 것은, 이 접근 방식이 (RL이 처리하는) 비볼록 전략 문제와 (OC가 처리하는) 엄격한 국소 가용성을 동시에 다룰 수 있음을 보여주는 개념 증명 역할을 합니다. 매핑 알고리즘과 OCP 구현은 추가 연구를 위해 오픈 소스로 공개되었습니다.