기술 요약: HERAKLES – 개방형 LLM 에이전트를 위한 계층적 기술 컴파일 (Hierarchical Skill Compilation for Open-ended LLM Agents)

문제 정의

본 논문은 희소한 보상(sparse rewards)과 거대하고 구조화된 목표 공간을 특징으로 하는 부분 관측 가능 환경(partially observable environments)에서의 개방형 학습(open-ended learning) 문제를 다룹니다. 최근의 파운데이션 모델들은 정적인 작업에서는 인간 수준의 성능을 달anim 성취했지만, 고정된 데이터셋에 의존하기 때문에 복잡성의 지속적인 성장(lifelong growth in complexity) 측면에서는 어려움을 겪고 있습니다. 반면, 인간은 복잡한 작업을 이전에 내재화된 단순한 하위 기술들로 분해함으로써 지속적으로 다양한 기술을 습득합니다.

Voyager, AutothesicLLM과 같은 기존의 개방형 에이전트 접근 방식은 목표 복잡성의 조합 폭발(combinatorial explosion) 문제에 직면하는 경우가 많습니다. 에이전트가 점점 더 복잡한 목표를 마주함에 따라, 각 새로운 목표를 개별적으로 숙달하는 데 필요한 시간이 급격히 증가하여 학습 진척도가 정체됩니다. 기존의 계층적 강화 학습(HRL) 방법들은 종종 사전 정의된 기술 세트나 사전 학습된 정책에 의존하는데, 이는 전문가의 개입 없이 자율적으로 기술 레퍼토리를 발견하고 확장해야 하는 진정한 의미의 개방형 에이전트와는 호환되지 않습니다.

핵심 문제는 어떻게 하면 에이전트가 정적인 데이터셋이나 전문가가 정의한 프리미티브(primitive)에 의존하지 않고, 숙달된 행동으로부터 새로운 기술을 효율적으로 구성함으로써 점점 커지는 목표 공간에 지속적으로 적응할 수 있게 하느냐는 것입니다.

방법론: HERAKLES

저자들은 고수준 정책(high-level policy)과 저수준 컨트롤러(low-level controller)를 공동으로 학습하는 계층적 에이전트인 HERAKLES(HiERarchicAl sSkill compiLation for open Ended llm agentS)를 제안합니다. 이 시스템은 목표 공간이 **선행 관계(prerequisite relations)**를 수용할 수 있다는 가정하에 작동하며, 이를 통해 작업을 하위 목표들로 분해할 수 있습니다.

아키텍처

에이전트는 두 개의 동시에 학습되는 정책으로 구성됩니다:

1. 고수준 정책 ($\pi_{HL}$): 대규모 언어 모델(LLM)(구체적으로 LoRA 어댑터를 적용한 Mistral 7B)로 구현되었습니다. 이는 플래너이자 탐험가 역할을 수행하며, 관측값과 작업 목표로부터 도출된 텍스트 프롬프트를 기반으로 하위 목표를 선택합니다. 이 정책은 저수준 정책이 신뢰성 있게 달성할 수 있다고 추정되는 "호출 가능한(callable)" 옵션들의 제한된 집합 위에서 작동합니다.
2. 저수준 정책 ($\pi_{LL}$): 가볍고 계산 효율적인 신경망(ResNet 기반)으로, 프리미티브 액션을 실행합니다. 이 정책은 목표를 직접 해결하도록 학습되며, 성공적인 궤적(trajectory)을 재사용 가능한 기술로 점진적으로 **컴파일(compile)**하도록 설계되었습니다.

핵심 메커니즘

• 계층적 컴파일 (Hierarchical Compilation): 계층적 에이전트가 목표 $g$를 성공적으로 해결하면, 프리미티브 액션의 전체 궤적이 $\pi_{LL}$로 "컴파일"됩니다. 일단 숙달되면, $\pi_{LL}$은 $g$를 단일 기술로서 직접 실행할 수 있습니다. 그러면 $\pi_{HL}$은 이 새로운 기술을 더 복잡한 목표를 위한 프리미티브로 호출할 수 있으며, 이는 결과적으로 상위 수준 계획을 위한 신호 대 잡음비(signal-to-noise ratio)를 효과적으로 낮춰줍니다.
• 적응형 하위 목표 필터링 (Adaptive Subgoal Filtering): $\pi_{HL}$이 달성 불가능한 하위 목표를 선택하는 것을 방지하기 위해, **역량 추정기(competency estimator, $C_\theta$)**가 목표 공간을 필터링합니다. 저수준 궤적을 통해 학습된 이 추정기는 현재 상태에서 특정 목표를 달와할 수 있는 확률을 예측합니다. $\pi_{HL}$은 높은 예상 성공 확률을 가진 목표들로부터만 샘플링하여 학습의 안정성을 보장합니다.
• 이중 수준 최적화 (Bilevel Optimization): 시스템은 **스택켈버그 구조(Stackelberg structure)**를 가진 이중 수준 문제로 프레임화됩니다. $\pi_{HL}$은 $\pi_{LL}$이 접하게 될 상태와 하위 목표의 분포를 형성하며, $\pi_{LL}$의 실행은 상위 수준 분해의 최적성을 결정합니다. 두 정책은 동시에 학습됩니다:
  • $\pi_{HL}$은 고수준 결정 궤적에 대해 온-폴리시 RL(POAD)을 통해 학습됩니다.
  • $\pi_{LL}$은 두 가지 유형의 데이터를 사용하여 오프-폴리시 RL(AWR)을 통해 학습됩니다: 전체 계층적 롤아웃(기술 컴파일용) 및 하위 목표 세그먼트(기술 강화용).

학습 역학 (Training Dynamics)

학습 과정은 자동 커리큘럼을 따릅니다. 초기에는 $\pi_{LL}$이 원자적 액션(atomic actions)만을 숙달합니다. 목표를 숙달함에 따라, 이들은 레퍼토리에 추가됩니다. 그 후 $\pi_{HL}$은 이 숙달된 목표들을 빌딩 블록으로 사용하여 더 복렴한 목적을 다룹니다. 이는 저수준 정책의 역량이 커짐에 따라 고수준 정책의 유효 액션 공간이 확장되는 피드백 루프를 생성합니다.

주요 기여

1. 공동 학습 프레임워크: 전문가가 지정한 기술이나 광범위한 사전 학습 없이도 LLM 기반 고수준 정책과 저수준 컨트롤러를 공동으로 학습하는 개방형 에이전트를 위한 방법론을 제시했습니다.
2. 동적 기술 컴파일: 성공적인 행동이 저수준 정책으로 자동 증류되어, 에이전트의 역량이 성장함에 따라 **확장 가능한 기술 구성(scalable skill composition)**을 가능하게 하는 메커니즘을 제공합니다.
3. 적응형 필터링: 역량 기반 필터링 메커니즘을 통해 고수준 정책의 탐색 공간을 달성 가능한 하위 목표로 제한함으로써 학습을 안정화합니다.
4. 언어 구조적 추상화: 자연어의 구성적 특성을 활용하여 목표 공간을 정의하고, 목표 간의 선행 체인(prerequisite chains) 발견을 용이하게 합니다.

실험 결과

본 방법론은 아이템 수집과 제작이 필요한 17개의 목표를 가진 성취 트리(achievement tree)를 가진 절차적 생성 2D 환경인 Crafter에서 평가되었습니다.

• 샘플 효율성: HERAKLES는 장기적으로 베이스라인(POAD, FUN, BOSS)보다 우수한 성능을 보였습니다. 베이스라인들은 초기에 더 빠르게 진행되었으나 쉬운 목표를 숙달한 후 정체되었습니다. 반면, HERKLAS는 $\pi_{LL}$에 더 많은 목표가 컴파일됨에 따라 점진적이고 지속적인 개선을 보여주었으며, 베이스라인들이 발견에 실패했던 복잡한 목표(예: "돌 곡괭이 만들기")에 결국 도달했습니다.
• 일반화: HERAKLES는 베이스라인에 비해 미학습 목표에 대해 탁월한 일반화 능력을 입증했습니다:
  • 구성적 일반화 (Compositional Generalization): 베이스라인들이 크게 실패한 것과 달리, 알려진 작업을 반복해야 하는 목표(예: "나무 1개 수집" vs "나무 4개 수집")에서 높은 성공률을 유지했습니다.
  • 동의어 목표: 동의어 동사들을 효과적으로 처리했습니다.
  • 궤적 유사 목표: 유사한 선행 구조를 공유하는 미학습 목표로 기술을 성공적으로 전이했습니다(예: "나무 곡괭이 만들기" 학습 후 "나무 검 만들기" 수행).
• 기술 확장: 훈련 과정 동안 $\pi_{HL}$이 호출할 수 있는 저수준 기술의 수가 꾸준히 증가하였으며, 이는 시스템이 재사용 가능한 기술 라이브러리를 구축할 수 있음을 확인시켜 주었습니다.

의의 및 주장

본 논문은 HERAKLES가 **자기 목적적 에이전트(autotelic agents)**를 향한 실행 가능한 경로를 제공한다고 주장합니다. LLM의 추론 및 구성 능력과 특화된 저수준 컨트롤러의 실행 효율성을 결합함으로써, 이 시스템은 개방형 학습을 저해하는 "복잡성 장벽"을 극례합니다.

저자들은 다음과 같은 점을 강조합니다:

• 전문가가 정의한 기술이나 사전 학습된 정책에 의존하지 않습니다.
• 숙달된 목표를 미래 학습을 위한 프리미티브로 취급함으로써 구성적 일반화를 가능하게 합니다.
• 과거의 학습을 재사용 가능한 기술으로 상쇄함으로써 개방형 환경에서의 샘플 효율성을 높입니다.

이 연구는 인공 일반 지능(AGI)을 향한 단계로 제시되며, 특히 에이전트가 자신의 능력을 지속적으로 확장하기 위해 스스로 목표를 생성, 선택 및 학습할 수 있어야 한다는 필요성을 다룹니다. 저자들은 텍스트 목표에 대한 현재의 의존성(Vision-Language Model으로의 발전 가능성 시사) 및 주기적 재학습의 계산 비용과 같은 한계를 인정하면서도, 이 방법론이 완전한 자율적 개방형 에이전트를 향한 기초적인 단계라고 위치시킵니다.