🤖 machine learning

Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning

이 논문은 상호 정보량 기반의 목적 함수와 가치 분해를 통해 재사용 가능한 요소별 기술을 학습함으로써, 기존 방식들을 크게 능가하여 하위 계층 강화 학습 과제들을 효율적으로 해결하는 새로운 방법론인 DUSDi(Disentangled Unsupervised Skill Discovery)를 제안한다.

원저자: Jiaheng Hu, Zizhao Wang, Peter Stone, Roberto Martín-Martín

게시일 2026-07-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaheng Hu, Zizhao Wang, Peter Stone, Roberto Martín-Martín

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 자동차 운전을 가르치고 있다고 상상해 보세요. 예전 방식에서는 로봇에게 단 하나의 "기술 다이얼"을 주었습니다. 만약 로봇이 그 다이얼을 올리면, 자동차는 속도를 높이는 동시에 왼쪽으로 급커브를 틀고 헤드라이트까지 깜빡였습니다. 만약 로봇이 속도나 방향은 바꾸지 않고 오직 헤드라이트만 켜고 싶었다면, 그것은 악몽과 같았습니다. 로봇은 "다이얼을 아주 조금만 돌리면, 차는 가만히 있고 불만 켜질까?"라며 추측해야 했을 것입니다. 이는 마치 줄 하나를 당기면 몸 전체가 펄쩍 뛰는 인형을 조종하는 것과 같습니다. 연구자들은 이를 "얽힌(entangled)" 기술이라고 부르며, 이 논문은 이것이 새로운 과업을 배우는 것을 믿기 힘들 정도로 어렵고 느리게 만든다고 주장합니다.

여기에 등장한 것이 바로 DUSDi(Disentangled Unsupervised Skill Discovery, 분리된 비지도 기술 발견)입니다. 이 방법은 모든 움직임에 대해 별도의 버튼이 달린 리모컨을 가진 숙련된 인형술사처럼 행동합니다. 하나의 커다란 다이얼 대신, DUSDi는 로봇에게 독립적인 "기술 버튼" 세트를 제공합니다. 한 버튼은 오직 속도만을 제어하고, 다른 버튼은 오직 조향만을, 세 번째 버튼은 오직 헤드라이트만을 제어합니다. 로봇은 스승이나 보상 없이, 그저 세상을 탐험하며 스스로 이 버튼들을 익힙니다.

이 논문의 주요 발견은 로봇에게 이러한 분리된 "디스엔탱글드(disentangled)" 버튼들을 가르쳤을 때, 나중에 새로운 과업을 배우는 데 있어 천재적인 능력을 발휘한다는 것입니다. 단순한 2D 슈팅 게임부터 복잡한 3D 로봇의 집 안 탐색에 이르기까지 일련의 컴퓨터 시뮬레이션에서, DUSDi는 이러한 요소들을 독립적으로 제어하는 법을 배웠습니다. 그 후 연구자들이 로봇에게 특정 도전 과제(예: "빨간 구역으로 운전하기" 또는 "TV 켜기")를 해결하도록 요청했을 때, DUSDi의 분리된 버튼을 사용하는 로봇은 기존의 "얽힌" 다이얼을 사용하는 로봇보다 훨씬 빠르게 학습하고 더 나은 성능을 보였습니다.

이 논문은 단 하나의 무질서한 기술 변수가 복잡한 업무에 충분히 유용할 것이라는 생각에 명시적으로 반대합니다. 하나의 변화가 동시에 모든 것에 영향을 미치는 기술을 강요하면, 로봇이 혼란을 겪고 새로운 목표를 위해 그 기술들을 어떻게 조합해야 할지 파악하는 데 어려움을 겪는다는 것을 보여줍니다. 저자들은 네 가지 환경에서 13가지의 서로 다른 다운스트림 과업을 통해 이를 측정했습니다. 로봇이 여러 가지 일을 동시에 처리해야 하는 복잡한 세계(예: 10개의 서로 다른 에이전트를 제어하거나 지저도한 방 안의 로봇 팔을 제어하는 경우)에서, 기존 방식들은 종로히 실패하거나 매우 느리게 학습했지만, DUSDi는 일관되게 기존 방식들보다 뛰어난 성능을 보였습니다.

이 논문이 사용하는 멋진 기법 중 하나는 '상호 정보량(mutual information)'이라는 수학적 "성적표"입니다. 이것은 로봇이 특정 버튼(예: "속도" 버튼)을 조작했을 때 속도가 변하면 점수를 얻지만, 그 버튼이 실수로 조향이나 불빛까지 변화시키면 감점을 받는 게임과 같습니다. 로봇은 기술을 완벽하게 분리함으로써 이 점수를 극대화하는 법을 배웁니다. 이 학습 과정을 더 빠르고 안정적으로 만들기 위해, 연구자들은 로봇의 "가치" 계산을 전체의 무질서한 혼합물을 한꺼번에 예측하는 대신, 각 버튼에 대한 작은 조각들로 나누었습니다. 이는 특히 더 크고 복잡한 시뮬레이션에서 로봇이 개별 기술을 더 안정적으로 학습하는 데 도움을 주었습니다.

또한, 이 논문은 로봇이 세상의 정확한 수치를 아는 대신 카메라(픽셀)를 통해서만 "볼" 수 있는 경우에도 이 방식이 작동하는지 테스트했습니다. 특수한 이미지 판독 도구를 먼저 사용함으로써, DUSDi는 여전히 이러한 분리된 기술을 배우고 과업을 해결할 수 있었던 반면, 다른 방법들은 이미지만으로는 시작조차 할 수 없었습니다.

하지만 저자들은 이 방법이 로봇이 세상을 "요인화된(factored)" 관점, 즉 세상을 단순히 흐릿한 덩어리가 아니라 별개의 부분들(예: 속도, 방향, 조명)로 볼 수 있어야 한다는 점에 의존한다는 점을 주의 깊게 언급합니다. 이미지를 통해 이러한 부분들을 먼저 추출함으로써 이 방식이 작동할 수 있음을 보여주었지만, 로봇이 요인들을 쉽게 분리할 수 없는 매우 무질서한 실제 환경에서는 이 방법이 도움이 필요할 수 있다고 제안합니다. 그러나 테스트된 시뮬레이션 세계에서 결과는 명확했습니다. 로봇에게 독립적이고 분리된 기술 세트를 주는 것이, 단 하나의 엉킨 다이얼을 주는 것보다 실제 세계를 준비하는 데 훨씬 더 나은 방법이라는 것입니다.

기술 요약: 효율적인 계층적 강화 학습을 위한 분리된 비지도 기술 발견 (DUSDi)

문제 정의

비지도 기술 발견(Unsupervised Skill Discovery)은 보상이 없는 상태에서 재사용 가능한 행동을 학습함으로써 강화 학습(RL)의 샘플 효율성을 높이는 것을 목표로 하지만, 기존 방식들은 **엉킴(entanglement)**이라는 결정적인 한계에 직면해 있습니다. 현재의 방식들(예: DIAYN)에서는 단일 기술 변수 $z$ 가 일반적으로 상태 공간의 여러 차원에 동시에 영향을 미칩니다. 이러한 엉킴 현상은 에이전트가 하위 태스크를 해결하기 위해 기술들을 재조합하는 것을 매우 어렵게 만듭니다. 특히 독립적인 개체들을 동시에 제어해야 하는 복잡한 도메인(예: 속도, 조향, 헤드라이트를 동시에 제어하는 로봇)에서 더욱 그러합니다. 인간은 독립적인 요소들을 동시에 조절하는 "분리된(disentangled)" 능력을 자연스럽게 갖추고 있지만, 현재의 인공 에이전트는 순수하게 비지도 상호작용을 통해 이러한 모듈식의 구성 가능한 기술을 학습할 수 있는 메커니즘이 부족합니다.

방법론: DUSDi

저자들은 각 구성 요소가 정확히 하나의 요인으로 구성된 상태 공간에 영향을 미치는 기술을 학습하도록 설계된 프레임워크인 **분리된 비지도 기술 발견(Disentangled Unsupervised Skill Discovery, DUSDi)**을 제안합니다.

1. 요인화된 상태 및 기술 공간 (Factored State and Skill Space)

DUSDi는 상태 공간 $S$ 가 $N$ 개의 독립적인 요인 $S = S_1 \times \dots \times S_N$ 으로 분해되는 요인화된 마르코프 결정 과정(f-MDP) 내에서 작동합니다.

기술 요인화: 잠재 기술 변수 $z$ 는 $N$ 개의 독립적인 구성 요소 $z = (z_1, \dots, z_N)$ 로 분해되며, 여기서 $z_i$ 는 상태 요인 $S_i$ 를 제어하고자 하는 의도가 담긴 기술 구성 요소입니다.
목표: $z_i$ 가 $S_i$ 에는 영향을 미치되 다른 요인 $S_{\neg i}$ 에는 최소한의 영향만을 미치도록 하는 정책 $\pi(a|s, z)$ 를 학습하는 것입니다.

2. 학습 목적 함수: 상호 정보량과 엉킴 페널티

분리(disentanglement)를 강제하기 위해, DUSDi는 상호 정보량(Mutual Information, MI)에 기반한 새로운 목적 함수를 최적화합니다. 각 구성 요소 $z_i$ 와 그 대상 요인 $S_i$ 에 대해, 에이전트는 다음을 수행합니다:

기술 구성 요소와 대상 요인 사이의 MI인 $I(S_i; Z_i)$ 를 최대화합니다.
기술 구성 요소와 다른 모든 요인 사이의 MI인 $I(S_{\neg i}; Z_i)$ 를 최소화합니다.

공식적인 목적 함수는 다음과 같습니다:
$J(\theta) = \sum_{i=1}^{N} I(S_i; Z_i) - \lambda I(S_{\neg i}; Z_i)$
여기서 $\lambda \in [0, 1)$ 는 연관성 보상과 엉킴 페널티 사이의 균형을 맞추는 하이퍼파라미터입니다. 저자들은 상태 요인 간의 본질적인 역학적 의존성으로 인해 피할 수 없는 상관관계가 발생할 수 있음을 인정하며, 실험에서 $\lambda = 0.1$ 로 설정했습니다.

3. 변분 추론 및 Q-분해를 통한 최적화

이 목적 함수를 직접 최대화하는 것은 불가능합니다. DUSDi는 두 가지 핵심적인 기술적 혁신을 사용합니다:

변분 하한(Variational Lower Bound): MI 항들은 변분 분포(신경망 판별기 $q_\phi$ 및 $q_\psi$ 로 구현됨)를 사용하여 근사됩니다. 내재적 보상 $r_z$ 는 다음과 같이 유도됩니다:
$r_z(s, a) = \sum_{i=1}^{N} [\log q_\phi^i(z_i|s_i) - \lambda \log q_\psi^i(z_i|s_{\neg i})]$
Q-함수 분해(Q-Function Decomposition): $2N$ 개의 보상 항을 합산할 때 발생하는 높은 분산과 신용 할당(credit assignment) 문제를 해결하기 위해, DUSDi는 전역 Q-함수를 $N$ 개의 별개이고 분리된 Q-함수( $Q_i$ )로 분해합니다. 각 $Q_i$ 는 해당 구성 요소 $z_i$ 와 관련된 특정 보상 항 $r_i$ 만을 사용하여 업데이트됩니다. 전역 크리틱(global critic)은 이 구성 요소들의 합으로 복구됩니다: $Q_\pi = \sum Q_i$ . 이는 많은 상태 요인이 존재하는 환경에서 학습을 크게 안정화합니다.

4. 하위 태스크 학습

기술이 학습되면, 이들은 계층적 강화 학습(HRL) 설정에서 고정된 저수준 정책(low-level policy) 역할을 합니다. 고수준 정책 $\pi_{high}$ 는 태스크 보상을 최대화하기 위해 $L$ 스텝 동안의 호라이즌 동안 기술 벡터 $z$ 를 선택합니다. 구조화되고 분리된 기술 공간의 특성 덕분에 더 효율적인 탐색이 가능하며, 기술 구성 요소와 보상 항 사이의 인과적 의dependency가 알려진 경우 **인과적 정책 경사(Causal Policy Gradient, CPG)**를 적용할 수 있습니다.

주요 기여

분리된 기술 프레임워크: 기술을 하나의 요인과 일대일로 매핑되는 구성 요소로 명시적으로 분해하여 동시적이고 독립적인 제어를 가능하게 하는 DUSDi를 도입했습니다.
새로운 목적 함수: 기술-요인 연관성을 장려하는 동시에 교차 요인 영향을 억제하는 상호 정보량 기반의 목적 함수를 제안했습니다.
알고리즘 효율성: 복잡한 다중 항 내재적 보상을 효율적으로 최적화하기 위해 Q-함수 분해를 제안하여, 분산을 줄이고 고차원 상태 공간에서의 수렴을 개선했습니다.
실험적 검증: DUSDi가 모든 환경에서 DIAYN-MC보다 훨씬 높은 분리도(Disentanglement) 및 완결성(Completeness) 점수(DCI 지표)를 달성함을 입증하였으며, 조정된 제어가 필요한 다운스트림 태스크에서 기존의 비지도 RL 방식들(DIAYN, CIC, CSD, METRA 등)을 크게 능가함을 보여주었습니다.

실험 결과

저자들은 2D Gunner, Multi-Particle (멀티 에이전트), iGibson (로보틱스), DMC Walker의 네 가지 도메인에서 DUSDi를 평가했습니다.

분리도(Disentanglement): DUSDi는 모든 환경에서 DIAYN-MC에 비해 유의미하게 높은 DCI 점수를 기록했습니다.
기술 학습 효율성: Q-분해가 복잡한 도메인(Multi-Particle, iGibson)으로 확장하는 데 결정적임을 보여주었으며, 기술 구성 요소의 예측 정확도 측면에서 표준 Q-네트워크보다 우수한 성능을 보였습니다.
다운스트림 성능: 조정된 제어가 필요한 태스크(예: 멀티 에이전트 입자 상호작용, 가사 로봇 조작)에서 DUSDi는 모든 베이스라인보다 빠르게 수렴하고 더 높은 보상을 달s성했습니다. 단순한 태스크(DMC Walker)에서는 동시적인 독립 제어가 필요하지 않을 때 분리의 이점이 덜 드러나므로 베이스라인과 유사한 성능을 보였습니다.
이미지 관측: DOCDi는 객체 중심 표현 학습(object-centric representation learning)을 통합하여 이미지 기반 관측으로 성공적으로 확장되었으며, 상태 기반 학습과 대등한 성능을 유지했습니다.
샘플 효율성: 구조화된 기술 공간을 활용한 Causal Policy Gradient는 다운스트림 학습에서 샘플 효율성을 더욱 향 향상시켰습니다.

의의 및 주장

본 논문은 DUSDi가 인공 에이전트가 인간과 유사한 모듈식 제어를 모방할 수 있는 분리된 기술 구성 요소를 학습할 수 있는 메커니즘을 제공한다고 주장합니다. 주요 의의는 계층적 RL을 통해 이러한 기술을 복잡한 다운스트림 태스크에 효율적으로 재사용할 수 있다는 점에 있습니다.

저자들은 기존의 비지도 방식들이 재조합을 방해하는 엉킨 기술을 학습하는 반면, DUSDi의 구조화된 기술 공간은 독립적인 여러 상태 요인을 동시에 조작해야 하는 도메인에서 더 효율적인 탐색과 우수한 성능을 보장한다고 단언합니다. 이 연구는 DUSDi의 구조화된 기술 공간이 학습 효율을 더욱 높이기 위해 도메인 지식(예: Causal Policy Gradient를 통해)을 주입할 수 있는 새로운 길을 열어준다는 점을 시사합니다.

저자들은 현재 방식이 요인화된 상태 공간에 대한 접근을 가정하고 있다는 점(비록 이미지로부터 추출하는 것을 보여주었지만)과 기술 학습 단계에서의 탐색 능력이 기본이 되는 최적화 알고리즘(현재 DIAYN 기반)에 의존한다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 이들은 향후 연구가 이러한 원칙들을 다른 기술 발견 패러다임으로 확장할 수 있기를 제안합니다.