🤖 machine learning

Goal-Conditioned Agents that Learn Everything All at Once

이 논문은 모든 목표에 대한 가치와 행동을 동시에 출력함으로써 목표 조건부 강화학습에서 효율적이고 병렬적인 모든 목표의 오프-폴리시 업데이트를 가능하게 하는 학습 Everything all at Once(LEO) 방법을 소개하며, 이를 통해 전통적인 재표시 기법 대비 상당한 성능 향상과 막대한 속도 향상을 달성합니다.

원저자: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

게시일 2026-05-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 끊임없이 변하는 미로를 항해하는 로봇을 가르친다고 상상해 보세요. 기존의 방식 (목표 조건 강화 학습, Goal-Conditioned Reinforcement Learning) 에서는 로봇에게 "부엌으로 가라"와 같은 구체적인 지시를 내립니다. 로봇은 주변을 헤매며 벽에 부딪히고, 결국 부엌을 찾아낼지도 모릅니다.

로봇이 작업을 마치면, 교사 (학습 시스템) 는 로봇이 취한 경로를 살펴봅니다. 로봇이 부엌으로 가라는 지시를 받았지만, 길가에서 실수로 도서관을 지나쳤다면, 기존 방식은 "그 도서관 구간은 실수였으니 폐기하라. 우리는 부엌만 중요하다"라고 말합니다.

문제점: 이는 정보의 낭비입니다! 로봇은 부엌을 찾으려다 도서관에 대해 많은 것을 배웠습니다. 그 데이터를 폐기함으로써, 로봇은 나중에 도서관으로 가라는 지시를 받으면 도서관에 대해 다시 배워야 합니다.

기존의 "해법" (후회 경험 재생, Hindsight Experience Replay):
과거 연구자들은 로봇의 경로를 살펴보고 "아, 결국 도서관에 도착했구나! 처음부터 도서관으로 가길 원했던 것처럼 가정하자"라고 말하며 이를 해결하려 했습니다. 이는 어느 정도 도움이 되지만, 영화를 다 본 후 전체를 다시 라벨링하려는 것과 같습니다. 느리고, 한 번에 몇 가지 다른 결말에만 적용할 수 있습니다.

새로운 해결책: "모든 것을 한 번에 학습하기" (LEO)
이 논문의 저자들은 더 지능적인 방식을 제안합니다. 로봇에게 한 번에 하나의 목표만 가르치는 대신, 모든 가능한 목표를 동시에 학습하는 "슈퍼 두뇌"를 구축합니다.

이를 거대한 연회를 요리하는 셰프로 비유해 볼 수 있습니다.

기존 방식: 셰프는 한 가지 요리 (부엌) 를 만들고, 맛을 본 후 양파를 썬 방법에 대한 메모를 폐기하고, 다음 요리 (도서관) 를 만들기 위해 처음부터 다시 시작합니다.
LEO 방식: 셰프는 연회 전체를 한 번에 요리합니다. 512 개의 서로 다른 레시피 (목표) 가 적힌 거대한 보드를 가지고 있습니다. 양파를 썰 때, 그들은 512 개의 모든 레시피에 대한 지식을 동시에 즉시 업데이트합니다. 그들은 "이봐, 양파 썰기는 수프, 스튜, 샐러드 모두에 유용하구나!"라고 깨닫습니다.

기술적 작동 원리 (간단히):
일반적으로 컴퓨터 네트워크는 "이 특정 목표에 대한 최선의 행동은 무엇인가?"라고 묻습니다.
LEO 는 네트워크를 변경하여 "지금 모든 단일 목표에 대한 최선의 행동은 무엇인가?"라고 묻도록 합니다. 이는 한 번의 통과로 모든 가능한 목적지에 대한 거대한 답변 목록을 출력합니다. 로봇이 같은 여정을 수백 번 재생할 필요가 없기 때문에 학습 속도가 놀라울 정도로 빨라집니다 (기존 "재라벨링" 방식보다 250 배 이상 빠름).

단점: "늦은 융합" (Late Fusion) 문제
저자들은 작은 결함을 발견했습니다. 로봇이 모든 목표를 동시에 고려해야 하기 때문에 때때로 혼란을 겪습니다. 이는 한 학생이 정확히 같은 순간에 500 개의 다른 시험을 준비하려는 것과 같습니다. 그들은 자료에 대한 일반적인 감각은 얻을 수 있겠지만, 한 가지 시험만 준비한 학생만큼 특정 질문에 날카롭게 대답하지는 못할 수 있습니다.

논문에서 이는 LEO 가 어렵고 복잡한 목표를 해결하는 데는 뛰어나지만, 집중력이 "희석"되어 단순한 목표에서는 때때로 더 나쁜 성능을 보인다는 것을 의미했습니다.

최종 해결책: "듀얼 LEO" (교사 - 학생 시스템)
이를 해결하기 위해 저자들은 팀워크를 구축했습니다.

교사 (LEO): 이 네트워크는 "데이터 스펀지"입니다. 다소 엉성하더라도 모든 것에 대한 모든 것을 학습합니다. 이는 세계에 대한 대략적인 지도를 제공합니다.
학생 (표준 네트워크): 이 네트워크는 전문가입니다. 현재 요청받은 특정 목표에만 집중합니다.

교사는 학생에게 "이봐, 완벽하지는 않지만 도서관으로 가는 대략적인 방향은 알고 있어. 힌트를 줄게"라고 말합니다. 학생은 그 힌트를 받아 부엌으로 가는 데 있어 전문가가 되도록 이를 정제합니다.

결과
팀은 Craftax(마인크래프트와 약간 유사함) 라는 복잡한 비디오 게임과 몇 가지 로봇 이동 작업에서 이를 테스트했습니다.

512 개의 서로 다른 목표가 있는 크고 어려운 게임 버전에서 새로운 듀얼 LEO 방식이 명백한 승자가 되어 모든 다른 방법들을 능가했습니다.
훨씬 더 빠르게 학습했으며, 다른 방법들이 포기했던 다양한 작업을 처리할 수 있었습니다.
또한 이는 비디오 게임의 단계뿐만 아니라 로봇 팔이 부드럽게 움직이는 것과 같은 연속적인 움직임에도 작동함을 보여주었습니다.

요약
이 논문은 AI 가 하나씩 해결하는 것이 아니라, 모든 가능한 문제를 동시에 해결하도록 학습하는 방법을 소개합니다. 범위가 너무 넓어져 집중력을 잃을 때, 광범위한 지식을 가이드로 활용하는 전문가 "학생" 네트워크와 짝을 이루게 합니다. 이를 통해 로봇과 게임 플레이 AI 는 이전보다 훨씬 더 빠르고 효율적으로 방대한 양의 정보를 학습할 수 있습니다.

기술 요약: Learning Everything All at Once (LEO)

문제 정의

목표 조건부 강화 학습 (GCRL) 은 명령에 따라 다양한 작업을 수행할 수 있는 에이전트를 훈련하는 것을 목표로 합니다. GCRL 의 근본적인 과제는 데이터 효율성입니다. 에이전트가 특정 명령된 목표를 달성하기 위해 환경을 탐색할 때, 생성된 궤적에는 많은 다른 잠재적 목표와 관련된 풍부한 정보가 포함되어 있습니다. 표준 온-정책 (on-policy) 업데이트나 단일 대체 목표만으로 궤적을 재표식하는 방법 (예: Hindsight Experience Replay, HER) 은 이러한 정보의 대부분을 폐기합니다.

모든 목표에 대한 가치 함수를 업데이트하는 "all-goals"학습은 모든 전이 (transition) 에 대해 가능한 모든 목표에 대한 정보 추출의 이론적 경로를 제공하지만, 역사적으로 계산적으로 불가능했습니다. 단순한 목표 재표식은 목표 수에 비례하여 선형적으로 확장되어 크거나 연속적인 목표 집합에는 실용적이지 않습니다. 또한, 기존 접근 방식은 종종 모든 목표에 대한 업데이트의 계산 비용과 특정 명령에 대한 고정밀 정책을 학습하는 데 필요한 표현 능력 사이의 균형을 맞추는 데 어려움을 겪습니다.

방법론

이 논문은 임의의 이산 목표 집합에서 효율적이고 병렬적인 모든 목표 업데이트를 수행하도록 설계된 Learning Everything All at Once (LEO) 방법을 제안합니다.

1. LEO 아키텍처

Universal Value Function Approximators (UVFA) 와 같이 가치 네트워크를 특정 목표에 조건부 (conditioning) 로 만드는 대신, LEO 는 네트워크를 재파라미터화하여 모든 목표에 대한 값을 동시에 출력하도록 합니다.

커링 (Currying): Q-함수를 $Q(s, g) \to \mathbb{R}^A$ 에서 $Q(s) \to \mathbb{R}^{G \times A}$ 로 변환합니다. 여기서 $G$ 는 목표 집합이고 $A$ 는 행동 집합입니다.
효율적인 업데이트: 이를 통해 에이전트는 모든 목표에 대한 Q-값을 생성하기 위해 단일 순전파 (forward pass) 를 수행하고, 모든 목표에 대한 보상 벡터를 사용하여 네트워크를 업데이트하기 위해 단일 역전파 (backward pass) 를 수행할 수 있습니다. 이는 단순한 재표식의 선형 확장 비용을 제거합니다.
추론 (Inference): 실행 중 에이전트는 명령된 목표에 해당하는 출력 벡터를 단순히 인덱싱합니다.

2. Late Fusion 한계 및 Dual LEO

저자들은 LEO 아키텍처에서 중요한 트레이드오프를 식별합니다. LEO 는 모든 목표에서 정보를 흡수하는 데 뛰어나지만, late fusion으로 인해 고통받습니다. 네트워크가 특정 명령된 목표가 선택되기 전에 모든 목표에 대한 출력을 생성해야 하므로 정보 병목 현상이 발생합니다. 네트워크는 동시에 모든 목표에 적합한 표현을 학습하도록 강요받으며, 이는 특히 집중된 표현 (early fusion) 이 더 우수한 쉬운 목표에서 성능을 저하시킬 수 있습니다.

이를 해결하기 위해 논문은 LEO 와 표준 UVFA 스타일의 목표 조건부 네트워크의 강점을 결합한 Dual LEO를 소개합니다.

교사 - 학생 동적 (Teacher-Student Dynamic): LEO 네트워크 (교사) 와 UVFA 네트워크 (학생) 가 동일한 데이터 스트림에서 독립적으로 훈련됩니다.
정보 전달: LEO 네트워크는 "데이터 스펀지" 역할을 하여 최대한의 정보를 내부화하고, UVFA 네트워크가 아직 보지 못했거나 해결하지 못한 목표에 대한 거칠고 방향성 있는 지침을 제공합니다.
구현 변형:
- Dual LEO (PQN): 최종 Q-값은 LEO 및 UVFA 추정치의 선형 결합 ( $\alpha Q_{LEO} + (1-\alpha) Q_{UVFA}$ ) 입니다.
- Dual LEO (PPO): LEO 네트워크는 UVFA 네트워크가 긍정적 신호가 부족한 목표에 대해 특히, PPO 액터와 크리틱을 LEO 정책 및 가치 추정치로 안내하는 추가 손실 항을 제공합니다.

3. 연속 제어로의 확장

저자들은 연속 목표 공간을 그리드로 이산화함으로써 LEO 를 연속 제어 환경 (예: Ant Maze) 으로 확장합니다. 연속 목표는 가장 가까운 양자화된 그리드 점에 스냅되어 모든 목표 업데이트 메커니즘이 작동하도록 합니다. 정책 네트워크도 모든 이산 목표 헤드에 대한 행동을 출력하도록 유사하게 적응됩니다.

주요 기여

LEO 방법: 단일 네트워크 패스로 모든 목표에 대한 값을 출력하여 임의의 이산 목표 집합에서 효율적인 모든 목표 업데이트를 가능하게 하는 새로운 접근 방식으로, 단순한 모든 목표 재표식 대비 250 배 이상의 속도 향상을 달성합니다.
CraftaxGC 벤치마크: Craftax 기반의 도전적이고 절차적으로 생성된 부분 관측 GCRL 벤치마크를 도입했습니다. 이는 재고 수량, 특정 블록 인접성, 던전 레벨 등 단순한 목표 상태 매핑으로는 해결할 수 없는 크고 이질적인 의미론적 목표 집합을 특징으로 합니다.
Dual LEO: LEO 를 사용하여 표준 목표 조건부 학생 네트워크를 부트스트랩함으로써 순수 LEO 의 late fusion 병목 현상을 완화하는 하이브리드 아키텍처로, 최첨단 성능을 달성합니다.
다용도성: LEO 개념이 이산 환경을 넘어 연속 제어 작업으로 확장되어 기존 베이스라인과 경쟁력을 유지함을 입증했습니다.

실험 결과

저자들은 CraftaxGC(136 개 및 512 개 목표) 와 JaxGCRL(Ant Maze 작업) 에서 방법을 평가했습니다.

CraftaxGC (대규모 목표 집합): 전체 Craftax 벤치마크 (512 개 목표) 에서 표준 UVFA 방법 (PPO, PQN) 과 PQN+HER 는 희소 보상과 오프-정책 데이터를 효과적으로 활용하지 못해 성능이 저조합니다. LEO 는 이러한 베이스라인을 크게 능가합니다. **Dual LEO (PPO)**는 최상의 최종 성능을 달성하여 모든 다른 방법을 압도적으로 능가합니다.
CraftaxGC (소규모 목표 집합): 더 작은 Craftax-Classic(136 개 목표) 에서는 단순한 PPO 가 상대적으로 잘 수행됩니다. LEO 는 기본 PQN 을 능가하지만 PQN+HER 보다는 약간 약합니다. 그러나 Dual LEO 변형은 구성 요소를 일관되게 능가하여 교사 - 학생 접근법의 견고성을 보여줍니다.
목표별 성능: 분석 결과, LEO 는 (유일한 긍정적 신호를 제공하는) 어려운 목표에서는 뛰어나지만 late fusion 병목 현상으로 인해 UVFA 에 비해 쉬운 목표에서는 성능이 떨어질 수 있음이 밝혀졌습니다. Dual LEO 는 이를 해결하여 어려운 목표에서 높은 성능을 유지하면서도 쉬운 목표에서의 성능을 희생하지 않습니다.
연속 제어: Ant Maze 작업에서 SAC+LEO 는 더 작은 미로에서 베이스라인을 능가합니다. 더 큰 미로에서는 SAC+HER 및 Contrastive RL(CRL) 과 성능이 비슷합니다.
속도: LEO 는 단일 목표 학습 대비 34% 느리지만 단순한 모든 목표 재표식보다 264 배 빠릅니다.

중요성 및 주장

이 논문은 LEO 가 대규모에서 모든 목표 학습의 잠재력을 열어 RL 실무자에게 복잡한 환경에 대한 실용적인 도구를 제공한다고 주장합니다. 저자들은 GCRL 의 핵심 트레이드오프가 다음 사이에 있다고 봅니다.

UVFA 스타일 접근법: early fusion 을 통해 잘 일반화되지만 오프-정책 데이터를 효율적으로 흡수하는 데 어려움을 겪을 수 있음.
LEO 스타일 접근법: 최대한의 정보를 효율적으로 흡수하지만 late fusion 으로 인해 고정밀 표현에 어려움을 겪음.

Dual LEO는 이 간극을 연결하는 솔루션으로 제시되며, 에이전트가 모든 목표에서 거친 정보를 내부화하면서도 전용 목표 조건부 네트워크를 통해 특정 정책을 정제할 수 있게 합니다. 저자들은 효율적인 모든 목표 학습을 열어 에이전트가 새로운 목표의 맥락에서 이전 경험을 재구성하여 궤적에서 추출된 정보를 효과적으로 증폭시킨다고 강조합니다. 이 작업은 복잡한 목표 조건부 영역에서의 추가 연구를 촉진하기 위해 오픈소스로 제공됩니다.