🤖 machine learning

Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model

본 논문은 기존의 간접적 확률 방법론의 한계를 극복하고 고차원 및 희소 보상 환경에서 우수한 성능을 달anim하기 위해, 직접적인 오프-폴리시 교정(off-policy correction)과 최적 수준 동기화(optimal level synchronization)를 가능하게 하는 흐름 기반 딥 생성 모델(Flow-Based Deep Generative Model)을 활용한 새로운 계층적 강화 학습 모델을 제안한다.

원저자: JaeYoon Kim, Junyu Xuan, Christy Liang, Farookh Hussain

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: JaeYoon Kim, Junyu Xuan, Christy Liang, Farookh Hussain

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 복잡한 작업을 수행하도록 가르치는 것이 마치 젖돌아기에게 "성 쌓아봐!"라고 소리치는 것과 같은 세상이 있다고 상상해 보십시오. 만약 아이가 성이 어떻게 생겼는지, 벽돌을 어떻게 잡아야 하는지 모른다면, 그저 팔다리를 휘두를 뿐일 것입니다. 이것이 바로 소프트웨어 에이전트가 시행착오를 통해 학습하는 인공지능의 한 분야인 **강화 학습(Reinforcement Learning, RL)**이 매일 마주하는 고군분투입니다. 단순한 RL에서 에이전트는 무언가를 올바르게 했을 때만 "보상"(점수나 간식 같은 것)을 받습니다. 하지만 현실 세계에서는 보상이 드물게 나타나며 작업은 거대하고 복잡합니다. 에이전트는 가능한 선택지의 바다 속에서 길을 잃고, 올바른 움직임을 찾아내지 못하게 됩니다.

이를 해결하기 위해 과학자들은 **계층적 강화 학습(Hierarchical Reinforcement Learning, HRL)**을 발명했습니다. HRL을 아이에게 '상사'를 붙여주는 것이라고 생각해보십시오. 이 "상사"(고수준 정책)는 벽돌을 어떻게 잡아야 하는지 고민하지 않습니다. 대신 "여기에 벽을 쌓아라" 또는 "저기에 탑을 만들어라"와 같은 거시적인 명령을 내립니다. 그러면 "일꾼"(저수준 정책)이 실제로 그 벽돌을 놓기 위해 필요한 아주 작고 구체적인 움직임들을 파악합니다. 이러한 팀워크는 학습 속도를 훨씬 빠르게 만듭니다. 하지만 여기에는 함정이 있습니다. 상사와 일꾼이 서로 조화를 이루어야 한다는 점입니다. 만약 일꾼이 벽을 쌓는 데 더 능숙해졌는데도 상사가 일꾼의 예전의 서툰 기술을 바탕으로 계속 명령을 내린다면, 팀 전체가 실패하게 됩니다. 여러분이 읽게 될 논문은 바로 이 상사와 일꾼을 완벽한 조화 상태로 유지하는 문제를 다룹니다.

상사, 일꾼, 그리고 마법의 거울

"Flow-Based Deep Generative Model을 기반으로 한 최적 수준 동기화 기반 계층적 강화 학습(Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model)"이라는 논문에서, 호주 기술 대학교(University of Technology Sydney)의 김재윤 연구원과 그의 팀은 AI 팀의 "상사"와 "일꾼"을 완벽하게 동기화하는 영리한 새로운 방법을 제안합니다.

보통 일꾼(저수준 정책)이 새로운 것을 배울 때마다 상사(고수준 정책)도 전략을 업데이트해야 합니다. 하지만 까다로운 점은, 상사가 일꾼이 아직 초보자였던 과거의 데이터를 사용하여 훈련된다는 것입니다. 만약 상사가 조정 없이 이 오래된 데이터로부터 배우려 한다면, 이는 마치 프로 팀을 위해 설계된 플레이를 가지고 루키 쿼터백을 가르치려는 코치와 같습니다. 일꾼의 역량이 변했기 때문에 상사는 혼란에 빠지게 됩니다.

이전의 방법들은 일꾼이 할 수 있었을 법한 행동을 추측함으로써 이 문제를 해결하려 했습니다. 그들은 과거의 목표를 재라벨링하기 위해 일종의 "통계적 추측"을 사용했습니다. 저자들은 이것이 벽에 비친 그림자를 보고 수학 문제의 답을 맞히려는 것과 같다고 주장합니다. 즉, 간접적이며 종종 부정확하다는 것입니다. 그들은 "추측할 바에야 차라리 물어보는 게 어떠냐?"라고 말합니다.

새로운 접근 방식: 마법의 거울

연구팀의 해결책은 **흐름 기반 딥 생성 모델(Flow-Based Deep Generative Model, FDGM)**을 사용하는 것입니다. 이를 이해하기 위해, 일꾼이 단순히 로봇이 아니라 '마법의 거울'이라고 상상해 보십시오. 예전에는 일꾼이 무엇을 생각하는지 알기 위해 그 움직임을 관찰하고 추측해야 했습니다. 하지만 이 새로운 "마법의 거울"이 있다면, 결과물(일꾼이 취한 행동)을 거울에 보여주기만 하면 됩니다. 그러면 거울은 그 결과를 만들어내기 위해 목표가 반드시 어떠했어야만 했는지를 즉각적으로 역방향으로 투영하여 보여줍니다.

이것을 **직접 역연산(direct inverse operation)**이라고 부릅니다. 추측하는 대신, 시스템은 일꾼의 행동을 수학적으로 역전시켜 완벽하고 업데이트된 목표를 찾아냅니다. 이를 통해 상사는 과거의 데이터가 아닌, 현재의 숙련된 일꾼으로부터 배울 수 있습니다. 마치 상사가 시간을 즉시 되감아 일꾼의 새로운 기술을 확인하고, 그에 맞춰 명령을 조정할 수 있는 것과 같습니다.

난관: 딱딱한 상자

하지만 이 "마법의 거울"(FDGM)을 사용하는 데에는 문제가 있었습니다. 이 모델들은 매우 까다롭습니다. 마치 입력과 출력의 크기가 정확히 일치해야만 받아들이는 딱딱한 상자와 같습니다. 만약 상사가 8개의 숫자로 된 목표를 준다면, 일꾼의 거울은 반드시 8개의 숫자로 된 행동을 출력해야 합니다. 하지만 현실 세계에서 상사의 목표와 일꾼의 행동은 크기가 다른 경우가 많습니다. 이러한 경직성은 복잡한 AI 작업에서 이 거울을 사용하기 어렵게 만들었습니다.

저자들은 포기하지 않았습니다. 그들은 스마트 어댑터처럼 작동하는 새로운 구조를 구축했습니다. 그들은 일꾼을 세 부분으로 나누었습니다:

순방향 부분(The Forward Part): 세상과 상호작용하는 실제 일꾼입니다.
조건부 부분(The Conditional Part): 상사의 목표와 현재 상황을 받아 이를 정교하게 다듬는 번역기입니다.
FDGM 부분: 행동을 역전시키는 핵심 역할을 하는 마법의 거울입니다.

이 "번역기"(조건부 부분)를 추가함으로써, 그들은 정보를 늘리거나 줄여서 딱딱한 거울이 처리할 수 있도록 만들 수 있었습니다. 이를 통해 "딱딱한 상자" 문제를 해결했고, 시스템이 깨지지 않고도 다양한 크기의 목표를 처리할 수 있게 되었습니다.

연구 결과

연구팀은 디지털 개미가 장애물을 통과하고, 블록을 밀고, 안전하게 넘어지는 가상 세계인 MuJoCo Ant에서 이 새로운 시스템을 테스트했습니다. 그들은 자신들의 "마법의 거울" 시스템을 두 가지 유명한 방법인 HIRO(기존의 추측 방식을 사용하는 모델) 및 LSP(유사한 거울을 사용하지만 딱딱한 상자 문제에 갇혀 있는 모델)와 비교했습니다.

결과는 유망했습니다. 대부분의 도전적인 작업에서 그들의 새로운 모델은 다른 모델들보다 더 빠르게 학습하고 더 높은 점수를 달랐습니다.

Ant Push Multi 및 Ant Fall Multi 작업에서 그들의 모델은 다른 추측 기반 방법들보다 훨씬 앞서 나갔으며, 상사와 일꾼을 훨씬 더 잘 동기화할 수 있음을 보여주었습니다.
시스템이 "비최적(non-optimal)" 목표 크기를 사용하도록 강제했을 때(상사와 일꾼이 서로 다른 "언어"를 사용하게 했을 때)에도, 그들의 모델은 적응하여 여전히 좋은 성능을 보인 반면, 다른 모델들은 어려움을 겪거나 실패했습니다.
그들은 시스템이 매우 훌륭하게 작동하지만, 여전히 "편향된 로그 밀도 추정(biased log-density estimation)"(거울이 모든 수학적 세부 사항에서 완벽하게 정확하지는 않다는 기술적 의미)이라는 작은 과제에 직면해 있다는 것을 발견했습니다. 하지만 경쟁 모델들을 이기기에는 충분히 정확했습니다.

시사점

이 논문은 AI의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 매우 구체적이고 강력한 도구를 제공합니다. 즉, 추측하는 대신 행동을 직접 역전시켜 완벽한 목표를 찾는 방식으로 계층적 AI 팀을 훈련하는 방법입니다. 딱딱한 수학적 모델 주변에 유연한 어댑터를 구축함으로써, 저자들은 AI 상사가 과거의 실수가 아닌 현재의 기술로부터 배울 수 있음을 보여주었습니다. 이는 인간 팀이 협력하는 것처럼 자연스럽게 복잡하고 다단계적인 작업을 학습하는 AI를 향한 한 걸음입니다.

기술 요약: 흐름 기반 딥 생성 모델(Flow-Based Deep Generative Model)에 기반한 최적 레벨 동기화를 갖춘 계층적 강화 학습

문제 정의
계층적 강화 학습(HRL)은 과업을 시간적 추상화로 분해함으로써 고차원 상태/행동 공간 및 희소 보상 문제를 해결한다. 그러나 HIRO(Nachum et al. 2018a)와 같은 기존 방식은 하위 레벨 정책의 현재 역량에 맞춰 과거의 목표(goal)를 재라벨링하기 위해 **간접적 확률 추정(indirect probabilistic estimation)**에 의존하며, 이는 오프-폴리시 교정(off-policy correction)을 수행하는 데 있어 중요한 병목 현상이 된다. 논문은 이러한 간접적인 방식이 하위 레벨 정책의 현재 지식을 정확하게 포착하지 못하여, 결과적으로 상위 레벨 정책 학습을 제약하는 불일치를 초래한다고 주장한다. 또한, 흐름 기반 딥 생성 모델(FDGM)은 역연산(inverse operations)을 정확하게 수행할 수 있음에도 불구하고, 엄격한 입출력 차원 제약(전단사 변환)과 편향된 로그 밀도 추정(biased log-density estimation)이라는 고유한 한계를 지닌다.

방법론
저자들은 간접적 추정을 대신하여 FDGM을 사용한 **직접적 오프-폴리시 교정(direct off-policy correction)**을 제안하는 새로운 HRL 아키텍처를 제시한다. 핵심 혁신은 FDGM의 한계를 극克服하기 위해 설계된 세 가지의 구별되면서도 조율된 구성 요소로 이루어진 하위 레벨 정책 집합( $\Pi$ )이다:

순방향 부분 ( $\mu_z$ ): VAE 프레임워크를 모델로 하며, 환경과 상호작용하여 행동을 생성한다. 이는 환경과 역모델(inverse model) 사이의 고정된 차원 가교 역할을 하는 "글로벌 표현(global representation)"( $a_{t,z}$ )을 생성한다.
조건부 부분 ( $\mu_{z-state}$ ): LSP의 관측값 임베딩과 달리, 환경 상태( $s_t$ )와 글로벌 표현( $a_{t,z}$ )을 입력으로 받는 독립적인 정책 역할을 한다. 이 부분의 출력( $a_{t,z-state}$ )은 글로벌 표현을 정교화하고, FDGM 부분을 위한 입력을 최적화하도록 차원을 조정한다. 이 구성 요소는 정교화된 글로벌 상태를 통해 FDGM을 조건화함으로써 편향된 로그 밀도 추정 문제를 완화하는 데 중요하다.
FDGM 부분 ( $\mu_{rnvp}$ ): RealNVP를 기반으로 하며, 가역적 변환을 수행한다. 이 부분은 상위 레벨 목표( $g_t$ )와 정교화된 조건부 입력( $a_{t,z-state}$ )을 받아 행동( $a_{t,rnvp}$ )을 생성한다. 결정적으로, 오프-폴리시 교정 과정에서 이 부분의 역연산( $\mu^{-1}_{rnvp}$ )이 사용되어, 하위 레벨 정책의 현재 내부 파라미터를 반영하는 정확하게 재라벨링된 목표( $\tilde{g}_t$ )를 계산한다.

모델은 세 가지 서브 정책의 액터(actor) 및 크리틱(critic) 손실이 공통 손실( $L_{common}$ )로 평균화되는 통합 학습 체계를 채택하여 안정적인 수렴을 보장한다. 최적의 목표를 찾기 위해 두 가지 알고리 Alorithm이 제안된다: 알고리즘 1(FDGM 부분의 역연산만 사용)과 알고리즘 2(순방향 및 조건부 부분을 포함)로, 이를 통해 성능 속도와 정확도 사이의 균형을 맞출 수 있는 유연성을 제공한다.

주요 기여

직접적 오프-폴리시 교정: 본 논문은 학습된 정책의 역연산을 활용하여 HIRO에서 사용되는 간접적 확률 추정에 의여하지 않고, 모델 프리(model-free) HRL에서 오프-폴리시 교정을 수행하는 직접적인 방법을 도입한다.
새로운 역모델 아키텍처: 저자들은 하위 레벨 정책을 순방향, 조건부, FDGM 부분으로 나누는 특정 역모델 아키텍처를 정의한다. 이 아키텍처는 표준 FDGM의 고질적인 문제인 차원 불일치 및 편향된 로그 밀도 추정 문제를 구체적으로 해결한다.
유연한 목표 공간: 입출력 차원이 일치해야 하는 전단사 요구사항에 의해 제약을 받는 기존 FDGM 기반 HRL 방식(예: LSP)과 달리, 제안된 모델은 계층 간의 유연한 목표 차원을 허용한다.
실증적 검증: 제안된 모델은 MuJoCo Ant 환경(Ant Push 및 Ant Fall, Multi 및 Single 모드 모두 포함) 벤치마크에서 HIRO 및 LSP와 비교 검증되었으며, 학습 속도와 최종 보상 정확도 측면에서 우수한 성능을 입증하였다.

실험 결과
저자들은 네 가지 작업(Ant Push Multi, Ant Fall Multi, Ant Push Single, Ant Fall Single)에 대해 비교 실험을 수행하였다.

vs. HIRO: 최적의 목표 공간을 가진 작업에서 제안된 모델은 일반적으로 HIRO보다 우수한 성능을 보였으며, 현저히 빠른 학습 속도(예: Ant Fall Single)와 더 높은 최종 보상을 나타냈다. 비최적 목표 공간 시나리오(목표 차원이 변경된 경우)에서도 제안된 모델은 견고한 성능을 유지한 반면, HIRO의 성능은 낮은 보상 형태의 작업에서 더 크게 저하되었다.
vs. LSP: 제안된 모델은 탁월한 유연성을 보여주었다. LSP는 고정된 목표 차원(환경의 행동 공간과 일치하는 8차원 등)에 제약을 받는 반면, 제안된 모델은 다양한 목표 차원(2에서 7 사이)에 걸쳐 경쟁력 있거나 더 우수한 성능을 달-성함으로써, 유연한 목표 공간이 성능을 저해하지 않음을 증명하였다.
절제 연구(Ablation Study): 글로벌 표현 입력을 원시 목표(raw goal)로 대체하는 실험을 통해, 원래의 아키텍처(순방향 부분의 출력을 사용하는 방식)가 미미하지만 일관된 성능 향상을 제공함을 확인하였으며, 이를 통해 정교화된 글로벌 표현의 중요성을 검증하였다.

의의 및 주장
본 논문은 그 주요 의의가 모델 프리 HRL을 위한 일반화 가능한 역모델링 접근법을 제공하는 데 있다고 주장한다. FDGM의 정확한 역연산을 활용함으로써, 모델은 주변 정보나 간접적 추정에 의존하지 않고 "최적의 레벨 동기화"를 달enc성한다. 저자들은 이 직접적인 방법이 기존 기술보다 더 실용적이고 폭넓게 적용 가능하다고 단언한다.

연구는 FDGM이 특정 제약(차원 일치, 밀도 추정 편향)으로 인해 역사적으로 RL에서 과소 활용되어 왔으나, 제안된 아키텍처가 이러한 문제들을 성공적으로 완화했음을 강조한다. 저자들은 본 연구가 RL을 위한 역연산에 생성 모델을 사용하는 것의 타당성을 입증하며, 이는 전통적인 완전 연결 신경망(fully connected neural networks)을 넘어 원자적 RL(atomic RL) 및 비마르코프(non-Markovian) 환경으로 연구를 확장할 수 있는 경로를 제시한다고 결론짓는다.

상사, 일꾼, 그리고 마법의 거울

새로운 접근 방식: 마법의 거울

난관: 딱딱한 상자

연구 결과

시사점

유사한 논문