기술 요약: 다중 작업 기술 전이를 위한 RepMT-SAC

문제 정의

강화 학습(RL)은 단일 작업에 대한 복잡한 제어 정책을 학습하는 데는 성공을 거두었으나, 다중 작업 환경에 적용될 때는 샘플 효율성이 떨어지고 일반화 성능이 저하되는 문제를 겪는다. 표준적인 접근 방식들은 흔별하게 작업을 독립적으로 취급하여, 정책이 특정 보상 신호에 과적합(overfit)되게 만들고 공통된 환경 역학이나 물리 법칙과 같은 공유된 구조를 활용하지 못하게 한다. 핵심 과제는 재사용 가능한 표현(representation)의 학습을 가능하게 하기 위해 작업별 목적 함수와 작업 불변 구조를 분리하는 것이다. 본 논문은 쿼드로터 궤적 추적과 같은 제어 애플리케이션에서 흔히 발생하는 시나리오, 즉 모든 작업이 동일한 기저 시스템 역학을 공유하지만 보상 함수나 참조 목적 함수는 서로 다른 특정 클래스의 다중 작업 마르코프 결정 과정(MDP)을 다룬다.

방법론: RepMT-SAC

저자들은 작업 불변 환경 표현과 작업별 목적 함수를 명시적으로 분리하도록 설계된 프레임워크인 RepMT-SAC(Representation-based Multi-Task Soft Actor-Critic)를 제안한다. 이 방법은 MDP의 스펙트럼 분해(spectral decomposition)에 기반하며 두 가지 별도의 단계로 작동한다.

1. 이론적 기초

본 프레임워크는 스펙트럼 분해를 다중 작업 설정으로 확장한다. 이는 임의의 작업 $\tau$에 대하여, 보상 함수 $r(s, a, \tau)$가 작업 불변 특징 $\phi(s, a)$와 작업 의존적 파라미터 $\theta(\tau)$의 선형 결합으로 표현될 수 있다고 가정한다. 결과적으로, 행동 가치 함수 $Q^\pi(s, a; \tau)$는 다음과 같은 선형 파라미터화를 갖는다:
$$Q^\pi(s, a; \tau) = \langle \phi(s, a), w^\pi(\tau) \rangle$$
여기서 $\phi(s, a)$는 환경의 공유된, 작업 불가지론적(task-agnostic) 역학을 포착하며, $w^\pi(\tau)$는 작업별 기여도를 인코딩한다. 이러한 구조를 통해 Q-함수를 작업에 따라 가중치가 부여된 재사용 가능한 기술들의 선형 결합으로 모델링할 수 있다.

2. 2단계 학습 패러다임

• 업스트림 단계 (공동 학습): 프레임워크는 환경 역학에 대한 작업 불가지론적 표현과 Q-함수의 작업 의존적 인코딩을 공동으로 최적화한다.
  • 역학 학습: 조건부 밀도 추정(conditional density estimation) 프레케임을 사용하여 조건부 전이 밀도 $P(s'|s, a)$를 근사함으로써 작업 불변 특징 맵 $\phi(s, a)$와 보조 표현 $\mu(s')$를 학습한다. 이는 샘플링 기반의 교차 엔트로피 손실을 통해 수행된다.
  • 가치 학습: 작업 인코딩 $w(\tau; \theta)$는 시간차(TD) 손실을 사용하여 업데이트되며, 이를 통해 정책 평가가 안정적인 선형 최적화 문제로 유지되도록 보장한다.
  • 정책 도출: 탐험과 강건성을 장려하기 위해 Soft Actor-Critic (SAC) 프레임워크를 따라 학습된 Q-함수로부터 최대 엔트로피 정책을 도출한다.
• 다운스트림 단계 (빠른 적응): 새로운 미경험 작업(out-of-distribution)을 마주했을 때, 학습된 작업 불변 역학($\phi$ 및 $\mu$)은 **동결(frozen)**된다. 오직 작업별 인코딩 $w(\tau; \theta)$와 정책 $\pi$만이 미세 조정(fine-tuning)을 통해 업데이트된다. 이는 학습 가능한 파라미터 수를 크게 줄여, 최소한의 환경 상호작용만으로도 신속한 특화 학습을 가능하게 한다.

주요 기여

1. 명시적 분리: 잠재 임베딩 내에 역학과 보상을 암묵적으로 얽어놓는 기존 방법들과 달리, RepMT-SAC는 작업 불변 역학을 작업별 목적 함수와 분리된 독립적인 객체로 명시적으로 파라미터화한다.
2. 스펙트럼 MDP 분해: 본 논문은 스펙트럼 분해 이론을 다중 작업 RL로 확장하여, 작업 조건부 가치 함수가 작업 불변 특징과 작업 의존적 가중치에 의해 선형적으로 파라미터화될 수 있음을 증명한다.
3. 효율적인 적응 메커니즘: 다운스트림 적응 시 역학 표현을 동결함으로써, 시스템의 기저 물리학을 다시 학습하지 않고도 분포 외(OOD) 작업에 대해 빠른 퓨샷 학습(few-shot learning)을 달전한다.
4. 쿼드로터 제어 적용: 이 방법은 서로 다른 참조 궤적(레전드르 다항식 계수로 인코딩됨)을 작업으로 정의하지만 동일한 비행 역학을 공유하는 쿼드로터 궤적 추적 작업에 적용되었다.

실험 결과

본 프레임워크는 IsaacSim 환경에서 쿼드로터 궤적 추적 작업을 대상으로 표준 SAC 및 절제된 변형 모델인 CTRL-SAC와 비교 평가되었다.

• 소스 작업 (In-Distribution 학습): RepMT-SAC는 100%의 성공률과 평균 보상 $1094.2 \pm 17.9$를 달성하였으며, 이는 SAC($857.1 \pm 277.9$)와 CTRL-SAC($377.9 \pm 35.4$)를 크게 상회하는 수치이다. 또한 베이스라인의 진동하는 동작과 비교하여 낮은 분산과 함께 안정적이고 단조로운 학습을 보여주었다.
• 내부 분포(ID) 일반화: 소스 작업들의 볼록 조합(convex combinations)으로 구성된 작업들에 대해, RepMT-SAC는 100%의 성공률과 평균 보상 $1100.7 \pm 16.1$을 유지하였다. 반면 SAC는 60%의 성공률만을 기록했고, CTRL-SAC는 완전히 실패(0% 성공)하여 구조적 분해의 필요성을 입증했다.
• 외부 분포(OOD) 적응: 훈련 범위 밖의 고차 다항식으로 정의된 작업에 대해, RepMT-SAC는 단 25,000회의 반복(사전 훈련 예산의 10%)만으로 미세 조정을 수행했다. 그 결과 100%의 성공률과 평균 보상 $1034.8 \pm 23.3$을 달성했다. 베이스라인들은 적응에 어려움을 겪었으며, SAC는 40%의 성공률에 그쳤고 CTRL-SAC는 0%에 머물렀다.
• 성능 향상: 저자들은 RepMT-SAC가 다양한 지표에서 베이스라인 대비 최대 30% 높은 보상 및 성공률을 기록했다고 보고했다.

의의 및 주장

본 논문은 RepMT-SAC가 환경 역학의 공유된 구조를 활용함으로써 다중 작업 강화 학습을 위한 강력한 토대를 제공한다고 주장한다. 주요 의의는 내부 분포 작업에 대한 강력한 제로샷(zero-shot) 성능과 외부 분포 작업에 대한 신속한 퓨샷(few-shot) 적응을 가능하게 한다는 점에 있다. 재사용 가능한 역학 학습과 작업별 목적 함수를 분리함으로써, 이 프레임워크는 표준 다중 작업 RL 방식의 고질적인 문제인 샘플 비효율성과 낮은 일반화 성능을 극복한다.

저자들은 현재의 연구가 수작업으로 설계된 작업 분포($\mu_{train}$)에 의존하고 있음을 언급하며, 향후 연구는 학습된 작업 임베딩을 활용하여 구조화된 탐험을 유도하고 실제 쿼드로터 플랫폼으로의 Sim2Real 전이를 촉진하는 데 집중할 것이라고 밝혔다.