🤖 AI

Scalable Option Learning in High-Throughput Environments

원저자: Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

원저자: Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 괴물, 함정, 보물이 가득한 복잡한 던전을 로봇이 탐험하도록 가르친다고 상상해 보세요. 이는 **강화 학습 (RL)**의 고전적인 문제로, 에이전트가 시행착오를 통해 학습합니다.

문제는 던전이 너무 거대하다는 점입니다. 로봇에게 "왼발, 그다음 오른발, 그다음 고개를 돌리라"고 지시하면 로봇은 압도당합니다. 이는 모든 페이지의 모든 픽셀을 결정하며 소설을 쓰려는 것과 같습니다. 로봇은 국소적인 루프 (예: 제자리에서 빙글빙글 도는 것) 에 갇혀 전체적인 그림을 결코 학습하지 못합니다.

**계층적 강화 학습 (HRL)**은 이 문제를 작업을 계층으로 분해하여 해결하려는 아이디어입니다. 로봇이 발을 직접 제어하는 대신, "괴물과 싸워라"라고 지시하는 '매니저'와 실제로 그 작업을 수행하기 위해 발을 어떻게 움직일지 계산하는 '워커'를 갖는 것입니다.

그러나 지금까지 이러한 '매니저 - 워커' 시스템은 느리고 둔했습니다. 진정으로 복잡한 작업을 학습하는 데 필요한 방대한 양의 데이터를 처리할 수 없었습니다. 이는 온 도시를 위한 빵을 굽으려 하는 작은 빵집과 같았으며, 규모를 확장할 수 없었습니다.

해결책: 확장 가능한 옵션 학습 (SOL)

이 논문의 저자들은 **확장 가능한 옵션 학습 (Scalable Option Learning, SOL)**이라는 새로운 시스템을 구축했습니다. SOL 은 그 작은 빵집을 거대하고 자동화된 산업 공장으로 업그레이드하는 것과 같습니다.

그들이 이를 어떻게 구현했는지 간단한 비유를 통해 설명해 보겠습니다.

1. "일괄 적용형" 뇌 (아키텍처)

구식 계층적 시스템은 매니저용 뇌와 각 워커마다 별도의 뇌를 갖는 것과 같았습니다. 워커가 100 명이면 뇌가 101 개 필요하며, 이 모든 뇌가 끊임없이 서로 소통해야 합니다. 이는 느리고 지저분합니다.

SOL 의 비법: 그들은 매니저이거나 어떤 워커든 될 수 있는 단 하나의 뇌를 구축했습니다.

비유: 스위스 아미 나이프를 상상해 보세요. 하나의 도구이지만, 어떤 '플래그'(작은 스위치) 를 전환하느냐에 따라 나사 드라이버, 칼, 또는 코르크 스크루가 됩니다.
SOL 에서 신경망 (뇌) 은 동일하지만, 작은 '인덱스'가 "지금 당신은 다음 행동을 결정하는 매니저다" 또는 "지금 당신은 발을 움직이는 '싸움' 워커다"라고 알려줍니다. 이를 통해 컴퓨터는 수천 가지 시나리오를 한 번에 처리할 수 있어 속도가 비약적으로 향상됩니다.

2. "유연한 이동" (적응형 길이)

구식 시스템에서는 워커에게 "정확히 10 보 동안 싸운 후 멈추라"고 지시받았습니다. 하지만 싸움이 3 보 만에 끝났다면 어떨까요? 아니면 50 보가 필요하다면요? 경직성은 문제를 일으킵니다.

SOL 의 비법: 매니저는 무엇을 할지뿐만 아니라 얼마나 오래 할지도 선택합니다.

비유: 건설 현장의 감독관을 상상해 보세요. "이 벽을 10 분 동안 쌓아라"라고 말하는 대신, 감독관은 벽을 보며 "벽이 완성되거나 5 분이 지나기 전까지 쌓아라"라고 말합니다.
SOL 은 모퉁이를 확인하는 짧은 순간이나 전체 방을 탐험하는 긴 시간 사이를 학습하여 상황에 따라 자동으로 적응합니다.

3. "즉각적인 피드백" 루프 (부트스트래핑)

일반적으로 이러한 시스템에서 워커는 하루가 끝날 때 매니저가 최종 점수를 줄 때까지 자신의 수행이 좋았는지 알지 못해 혼란을 겪습니다. 이는 시험을 치렀지만 학기 끝까지 성적을 받지 못하는 학생과 같습니다.

SOL 의 비법: 워커가 전체 에피소드가 끝나지 않았더라도 특정 작업을 마친 직후 '실습 점수'를 받을 수 있는 방법을 만들었습니다.

비유: 비디오 게임에서 최종 보스를 잡을 때까지 잘했는지 알 수 있는 것이 아니라, 적을 물리친 직후 '콤보 점수'를 받는 것과 같습니다. 이는 워커가 훨씬 빠르게 학습하는 데 도움이 됩니다.

결과: 속도와 지능

저자들은 NetHack에서 SOL 을 테스트했습니다. NetHack 은 거대하고 무작위로 생성된 던전과 같은 악명 높은 구식 비디오 게임으로, 매우 복잡하여 최상위 AI 모델조차 어려움을 겪습니다.

속도: SOL 은 이전 계층적 방법보다 35 배에서 580 배까지 빠릅니다. 이는 이전에 이러한 유형의 시스템에서는 불가능했던 '플랫 (계층적이지 않은)' 에이전트와 비교할 수 있는 속도로 데이터를 처리할 수 있음을 의미합니다.
규모: 그들은 SOL 을 300 억 프레임의 경험으로 훈련시켰습니다. 이를 비교하자면, 대부분의 이전 계층적 에이전트는 수백만 프레임으로 훈련되었습니다. 이는 책의 몇 페이지를 읽는 것과 의회 도서관 전체를 읽는 것의 차이입니다.
성능: SOL 은 모든 것을 한 번에 학습하려는 '플랫' 에이전트 (로봇) 와 다른 계층적 방법보다 훨씬 뛰어난 성과를 거두었습니다.
- 에이전트가 좀비와 싸우고 회복하기 위해 퇴각해야 하는 ZombieHorde 테스트에서 SOL 은 "상처 입기 전까지 싸우고, 그 후 회복하러 도망가라"는 전략을 학습했습니다. 반면 플랫 에이전트는 죽을 때까지 계속 싸웠습니다.
- 금을 잡거나 출구로 가는 것 사이에서 선택해야 하는 TreasureDash에서 SOL 은 금을 모으고 적절한 시기에 떠나는 완벽한 균형을 학습했습니다.

이것이 중요한 이유 (논문에 따르면)

이 논문은 오랫동안 계층적 RL 이 '소규모 데이터' 시대에 갇혀 있었다고 주장합니다. 유망한 아이디어였지만, 현대 AI 에 필요한 거대한 규모를 처리할 수 없었습니다.

SOL 은 계층적 학습을 확장할 수 있음을 증명합니다. 똑똑한 '단일 뇌' 아키텍처와 유연한 타이밍, 그리고 개선된 피드백 루프를 결합함으로써 수십억 개의 예시로 복잡하고 다층적인 에이전트를 훈련할 수 있는 능력을 열어주었습니다.

간단히 말해: 그들은 팀을 관리하려 했던 느리고 둔한 시스템을, '매니저'와 '워커' 역할을 명확하게 유지하면서 수십억 페이지의 경험을 읽으며 복잡한 전략을 학습할 수 있는 고속 자동화 공장으로 변모시켰습니다.

기술적 요약: 고처리량 환경에서의 확장 가능한 옵션 학습

문제 제기

계층적 강화학습 (HRL) 은 문제를 하위 작업 (옵션) 으로 분해하고 상위 제어기가 이를 관리함으로써 장기간에 걸친 의사결정 과제를 해결하기 위한 유망한 프레임워크를 제공합니다. 그러나 기존 계층적 방법들은 평면 강화학습 (flat RL) 및 기타 기계학습 분야에서 발전을 이끈 대규모 학습의 이점을 실현하는 데 크게 실패했습니다. 평면 에이전트와 비전 모델이 routinely 수십억 개의 샘플로 훈련되는 반면, 계층적 에이전트는 상당한 계산 병목 현상으로 인해 일반적으로 수백만 개의 샘플로만 제한되어 훈련됩니다.

HRL 을 확장하는 데 있어 주요 과제는 계층적 실행의 병렬화가 어렵다는 점입니다. 궤적 세그먼트의 배치 내에서 서로 다른 시간 단계는 종종 서로 다른 정책 (제어기 또는 다양한 옵션) 에 해당하며, 각각은 고유한 보상 함수와 종료 조건을 가집니다. 이러한 이질성은 균일한 배치 처리에 의존하는 고투과량 RL 라이브러리 (예: IMPALA, Sample Factory) 의 직관적인 적용을 방해합니다. 결과적으로 현재 계층적 방법들은 종종 단일 궤적을 순차적으로 처리하여 처리량을 제한하고, AI 의 다른 분야에서 관찰된'확장 법칙 (scaling laws)'을 활용하지 못하게 합니다.

방법론: 확장 가능한 옵션 학습 (SOL)

저자들은 성능과 계산 처리량을 모두 최적화하도록 설계된 계층적 정책 경사 알고리즘인 **확장 가능한 옵션 학습 (Scalable Option Learning, SOL)**을 제안합니다. SOL 은 특정 알고리즘적 및 시스템 수준의 혁신을 통해 확장 병목 현상을 해결합니다.

1. 알고리즘적 기여

값 부스팅을 통한 공동 최적화: SOL 은 제어기와 모든 옵션에 대한 액터-크리틱 목표를 공동으로 최적화합니다. 주요 혁신은 옵션 전환 시 옵션 가치 함수를 부스팅 (bootstrapping) 하는 것입니다. 옵션이 자연스럽게 종료될 때까지 기다려 반환값을 계산하는 대신, 알고리즘은 $K$ -단계 반환값과 전환 지점 ( $s_{t+K+1}$ ) 에서의 부스팅된 가치 추정치를 사용하여 상태 $s_t$ 에서의 옵션 $\omega$ 의 가치를 근사합니다. 이를 통해 옵션 정책은 혼합 행동 정책으로 생성된 궤적에서 훈련되더라도 독립적인 내재적 보상 ( $R_\omega$ ) 을 최적화할 수 있습니다.
적응형 옵션 길이: 제어기는 다음 옵션 $\omega$ 를 선택할 뿐만 아니라 지수적으로 간격을 둔 값 집합 ( $L = \{2^i\}$ ) 에서 실행 길이 $l$ 도 출력합니다. 이는 옵션 선택 헤드와 함께 훈련되는 소프트맥스 헤드를 통해 구현됩니다. 이 메커니즘을 통해 에이전트는 현재 관측치에 기반하여 하위 작업의 시간적 추상화를 동적으로 조정할 수 있으며, 제어기가 길이 1 옵션만 선택하도록 수렴하는'옵션 퇴화 (option degeneracy)'문제를 방지합니다.
감소된 비정상성: 목적 함수는 특정 옵션에 대한 이점 (advantage) 및 가치 함수가 해당 옵션의 보상과 시스템에 의해 유도된 상태 분포에만 의존하도록 설계되며, 옵션 종료 후 다른 옵션이나 제어기의 특정 정책에는 의존하지 않습니다. 이는 상호 의존성을 제한하고 훈련 중 비정상성을 줄입니다.

2. 시스템 수준 기여

고처리량을 달성하기 위해 SOL 은 GPU 에서 대규모 병렬화를 가능하게 하도록 훈련 파이프라인을 재구성합니다:

통합 신경망: 단일 신경망이 모든 정책 (제어기 및 모든 옵션) 을 표현합니다. 네트워크는 관측치와 활성 정책을 나타내는 원-핫 벡터를 입력으로 받습니다. 이는 환경 행동, 옵션, 옵션 길이에 대한 분포를 출력합니다. 이를 통해 모든 정책에 대한 배치화된 순전파 (forward passes) 를 동시에 수행할 수 있습니다.
환경 래퍼: 액터 측 래퍼는 활성 정책 인덱스를 추적하고, 종료 조건에 기반하여 정책 전환을 처리하며, 옵션별 보상을 계산합니다. 제어기가 호출될 때 관측치를 복제하여 선택된 옵션이 올바른 상태 입력을 받도록 합니다.
병렬화된 반환 계산: 학습자 작업자는 텐서화 연산을 사용하여 모든 정책에 대한 이점과 가치 목표를 동시에 계산합니다. 시간 차원을 역방향으로 반복하고 정책 인덱스를 사용하여 보상을 라우팅함으로써, 시스템은 단일 패스 내에서 혼합 정책 배치에 대한 반환값을 계산합니다. 비동기 액터로부터의 오프-폴리시 데이터를 처리하기 위해 V-trace 보정이 적용됩니다.

주요 결과

저자들은 MiniHack, NetHack, Mujoco (PointMaze) 의 세 가지 환경에서 SOL 을 평가했습니다.

처리량: NetHack 학습 환경 (NLE) 에서 SOL 은 초당 43,000 스텝의 처리량을 달성하여 기존 계층적 방법 (HIRO, Option-Critic, MOC, Hierarchical RLLib) 대비 35 배에서 580 배의 속도 향상을 보입니다. 이는 평면 APPO 에이전트의 처리량의 86% 를 유지합니다.
NetHack 성능: 300 억 프레임으로 훈련된 SOL 은 평면 에이전트 (APPO) 와 기타 계층적 베이스라인을 크게 능가합니다.
- NetHackScore 환경에서 SOL 은 꾸준히 개선되어 평면 에이전트를 능가합니다.
- Motif(LLM 기반 내재적 보상 합성기) 와 결합될 때, SOL+Motif 는 NetHackScore 에서 새로운 최첨단 성능을 기록합니다.
- 제거 실험 (ablation studies) 은 계층적 구조와 특정 옵션 보상이 모두 필요함을 확인시켜 주며, 작업 보상만으로 훈련된 계층적 에이전트 (SOL+HiPPO) 는 평면 베이스라인을 능가하지 못합니다.
MiniHack 크레딧 할당: ZombieHorde(치유 대 전투의 트레이드오프 필요) 와 TreasureDash(금 수집 대 탈출의 균형 필요) 에서 평면 에이전트와 옵션 보상을 가진 평면 에이전트는 국소 최적점에 갇혀 탈출하지 못합니다. SOL 은 성공적으로 서로 다른 옵션 (예: 치유를 위한"Health"옵션과 전투를 위한"Score"옵션) 을 조정하여 거의 최적의 성능을 달성합니다.
연속 제어: 국소 최적점에 에이전트를 가두도록 설계된 기만적인 보상 지형을 가진 커스텀 G-maze(PointMaze) 에서 SOL 은 (~70% 성공) 진전을 이루는 유일한 방법이며, 평면 에이전트와 기타 계층적 방법은 성공률이 0 으로 머뭅니다.
자동 보상 발견: 논문은 SOL 이 DIAYN과 같은 자동 보상 합성 방법과 호환됨을 보여줍니다. SOL+DIAYN 은 하드코딩된 옵션 보상 없이도 효과적인 정책을 학습하지만, 수작업으로 설계된 보상을 가진 버전보다 약간 느리게 수렴합니다.

중요성과 주장

이 논문은 수십억 개의 샘플로 확장 가능한 최초의 온라인 계층적 RL 알고리즘을 제시한다고 주장합니다. 그 중요성은 계층의 이론적 이점과 현대 대규모 훈련의 실제 요구 사항 사이의 간극을 해소하는 데 있습니다.

확장성: 이 연구는 계층적 RL 이 처리량 측면에서 평면 RL 과 경쟁할 만큼 계산적으로 효율적으로 만들 수 있음을 보여주며, 이전에는 HRL 에 가능했던 것보다 수배 더 큰 데이터셋에서 에이전트를 훈련할 수 있게 합니다.
계층 + 보상의 필요성: 실험은 어려운 크레딧 할당 문제의 경우 계층만으로는 불충분하며, 성능 향상을 unlocking 하기 위해서는 유용한 내재적 보상 (수작업 또는 학습된) 과 결합되어야 함을 시사합니다.
일반 적용 가능성: 이 방법은 이산적이고 개방형 환경 (NetHack) 과 연속 제어 작업 (Mujoco) 모두에서 효과임이 입증되어, 장기 의사결정을 위한 범용 프레임워크로서의 잠재력을 보여줍니다.

저자들은 이 시스템이 비디오 게임 및 시뮬레이터와 같이 샘플이 풍부한 영역에서 계산 효율성을 위해 최적화되어 있지만, 현재 데이터가 부족한 환경에서의 샘플 효율성은 최적화되지 않았음을 지적합니다. 향후 연구는 옵션 보상을 학습하기 위한 일반적 방법을 탐구하고, 이러한 확장 가능한 설계를 모델 기반 RL 프레임워크에 통합하는 것을 제안합니다.