HiMAC: Hierarchical Macro-Micro Learning for Long-Horizon LLM Agents

이 논문은 장기적 작업에서 구조적 계획과 실행을 명확히 분리하고 계층적 상대적 이점 추정 및 공진화 학습 전략을 도입한 강화학습 프레임워크 'HiMAC'을 제안하여, 기존 평면적 접근법의 한계를 극복하고 다양한 환경에서 최첨단 성능과 높은 샘플 효율성을 달성했음을 보여줍니다.

핵심

HiMAC: 거인의 두뇌와 일꾼을 분리하다 (HiMAC: 거인의 두뇌와 일꾼을 분리하다)

안녕하세요! 오늘 소개해 드릴 논문은 **"HiMAC"**이라는 새로운 인공지능 기술을 다룹니다. 이 기술은 거대한 언어 모델 (LLM) 이 아주 길고 복잡한 일을 할 때, 실수를 줄이고 훨씬 똑똑하게 행동할 수 있게 해줍니다.

비유를 들어 쉽게 설명해 드릴게요.

---

1. 문제: "혼란스러운 한 명의 사령관"

기존의 인공지능 에이전트들은 한 명의 사령관이 모든 일을 혼자 하려고 했습니다.

• 상황: "여행 계획을 세워줘. 항공권 예매하고, 호텔 예약하고, 현지 투어까지 다 해줘."
• 기존 방식: 사령관이 머릿속으로 "일단 항공권부터..."라고 생각하다가, "아, 호텔도 봐야지"라고 생각하다가, "그런데 날씨가 어떨까?"라고 고민하다가, "아, 항공권 예매할 때 실수했네!"라고 깨닫습니다.
• 결과: 생각 (고려) 과 행동 (실행) 이 한 번에 섞여 있으니까, 작은 실수 하나가 커다란 재앙으로 이어집니다. "항공권을 잘못 예매해서" 호텔 예약도 실패하고, 전체 여행 계획이 무너져 버리는 거죠. 이를 **'오류의 연쇄 반응'**이라고 합니다.

2. 해결책: HiMAC (거인의 두뇌 vs 일꾼)

HiMAC 는 이 문제를 해결하기 위해 역할을 명확히 나눕니다. 마치 거대한 건설 현장에서 **설계사 (Macro)**와 **현장 일꾼 (Micro)**을 따로 두는 것과 같습니다.

• Macro (설계사/두뇌):

  • 역할: 거시적인 **청사진 (Blueprint)**을 그립니다.
  • 행동: "일단 항공권 예매하고, 다음에 호텔 예약하고, 그다음에 택시 잡기"처럼 큰 단계만 생각합니다. 구체적인 행동은 생각하지 않습니다.
  • 장점: 전체적인 방향을 잃지 않고, 큰 그림을 그릴 수 있습니다.

• Micro (현장 일꾼/손):

  • 역할: 설계사가 준 작은 목표만 집중해서 실행합니다.
  • 행동: "항공권 예매"라는 지시를 받으면, 그 일만 끝낼 때까지 집중합니다. "호텔은 나중에 생각하자"라고 잊어버립니다.
  • 장점: 지금 당장의 일에만 집중하므로 실수가 적고, 한 단계가 끝나면 다음 단계로 넘어갑니다.

핵심 비유:
기존 방식은 한 사람이 "항공권 예매하러 가다가, 문 앞에서 멈춰서 '아, 호텔도 가야지'라고 생각하다가, 다시 돌아와서 '아, 항공권이 뭐였지?'라고 잊어버리는" 상황입니다.
HiMAC 는 한 사람은 "항공권 예매, 호텔, 택시"라는 메모지를 만들고, 다른 사람은 그 메모지를 하나씩 꺼내서 "항공권 예매"만 끝내고 메모지를 넘기는 방식입니다.

3. 어떻게 훈련시킬까? (스스로 배우는 파트너십)

이렇게 두 역할을 나누면 훈련이 어렵습니다. 설계사가 너무 어려운 일을 지시하면 일꾼이 못 하고, 일꾼이 못 하면 설계사가 자기가 잘못한 줄 알기 때문입니다.

HiMAC 는 이를 해결하기 위해 두 가지 똑똑한 훈련법을 사용합니다.

1. 점수판 없는 경쟁 (Critic-Free):

   • 보통은 "이게 좋은 계획이다, 나쁜 계획이다"라고 점수를 매겨주는 심판 (Critic) 이 필요합니다. 하지만 언어는 점수를 매기기 어렵습니다.
   • HiMAC 는 여러 개의 계획 (Blueprint) 을 동시에 만들어서 서로 비교합니다. "A 계획이 B 계획보다 더 잘됐네?"라고 서로 비교해서 점수를 매깁니다. 심판 없이도 누가 더 잘했는지 알 수 있게 된 거죠.

2. 함께 성장하는 훈련 (Co-Evolution):

   • 1 단계 (설계사 훈련): 일꾼은 고정된 상태로, 설계사만 "어떤 계획이 일꾼이 잘 수행할 수 있을까?"를 고민하게 합니다.
   • 2 단계 (일꾼 훈련): 설계사가 만든 가장 좋은 계획 하나를 고정해두고, 일꾼만 "이 계획을 어떻게 더 잘 수행할까?"를 훈련합니다.
   • 이 과정을 반복하면, 일꾼이 실력이 늘면 설계사는 더 복잡한 계획을 짜고, 설계사가 더 좋은 계획을 짜면 일꾼은 더 어려운 일을 해내는 선순환이 생깁니다.

4. 실제 성과: 무엇이 달라졌나요?

이 기술을 적용한 결과, 인공지능은 다음과 같은 놀라운 변화를 보였습니다.

• 오류가 쌓이지 않음: 작은 실수가 전체를 망치는 일이 사라졌습니다.
• 더 적은 노력으로 더 좋은 결과: 같은 일을 하더라도 훨씬 적은 데이터 (훈련 시간) 로 더 높은 성적을 냈습니다.
• 스스로 점검하는 능력: 훈련이 끝난 후, 설계사는 스스로 "내가 이 계획을 제대로 세웠는지 확인해 봐야겠다"라고 생각하며 스스로 검증하는 행동을 보였습니다. (기존 방식에서는 전혀 없던 능력입니다.)

5. 결론: "크기"보다 "구조"가 중요하다

이 논문의 가장 중요한 메시지는 **"인공지능을 더 크게 만드는 것 (모델 크기 증가) 만으로는 부족하다"**는 것입니다.

오히려 **생각하는 방식 (구조)**을 바꾸는 것이 훨씬 중요합니다. 거대한 두뇌가 모든 것을 한 번에 처리하려 하지 말고, 큰 그림을 그리는 사람과 작은 일을 처리하는 사람을 나누는 것이, 인공지능이 복잡한 현실 세계의 문제를 해결하는 열쇠라는 것입니다.

한 줄 요약:

HiMAC 는 인공지능에게 "한 번에 다 하려 하지 말고, 큰 계획과 작은 실행을 나누어 생각하라"고 가르쳐서, 복잡한 길에서도 길을 잃지 않게 만든 똑똑한 훈련법입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 에이전트는 최근 상호작용적 의사결정에서 뛰어난 능력을 보여주었으나, 장기적 (Long-Horizon) 작업을 수행할 때 근본적인 한계에 직면해 있습니다.

• 기존 접근법의 한계: 대부분의 기존 방법은 '플랫 (Flat)'한 자기회귀 (autoregressive) 정책을 사용합니다. 이는 고수준의 추론 (Reasoning) 과 저수준의 행동 (Action) 을 단일 토큰 시퀀스 내에서 생성합니다.
• 주요 실패 모드:
  1. 지수적 탐색 복잡성: 거대한 결합 행동 - 추론 공간에서 다음 토큰 예측만으로는 효율적인 탐색이 어렵습니다.
  2. 지연된 크레딧 할당 (Credit Assignment): 긴 시퀀스 내에서 오류가 발생하면 그 원인을 특정하기 어렵습니다.
  3. 의미적 드리프트 (Semantic Drift): 초기 단계의 작은 오류가 후속 단계로 전파되어 전체적인 목표에서 이탈하게 만듭니다.
• 핵심 요구사항: 전역적 계획 (Global Planning) 과 지역적 제어 (Local Control) 를 해리 (Decouple) 하기 위한 구조적 귀납적 편향 (Structural Inductive Bias) 이 필요합니다.

2. 제안 방법론: HiMAC (Methodology)

HiMAC 는 장기적 의사결정을 마이크로 (Macro) 수준의 계획과 마이크로 (Micro) 수준의 실행으로 명시적으로 분해하는 계층적 에이전트 강화학습 (RL) 프레임워크입니다.

A. 계층적 아키텍처 (Macro-Micro Architecture)

1. Macro-Policy (전략적 계획자):
   • 작업 지시를 받아 자연어 기반의 **구조화된 청사진 (Structured Blueprint)**을 생성합니다.
   • 이 청사진은 장기 목표를 달성 가능한 하위 목표 (Sub-goals) 시퀀스로 분해합니다.
2. Micro-Policy (집중적 실행자):
   • 생성된 청사진 (하위 목표) 을 조건으로 받아, 각 하위 목표를 달성하기 위한 원자적 행동 (Atomic Actions) 을 순차적으로 생성합니다.
   • <sub_done> 토큰을 통해 하위 목표 완료 시점을 자동으로 감지하고 다음 단계로 전환합니다.

B. 크리틱 프리 계층적 정책 최적화 (Critic-Free Hierarchical Policy Optimization)

기존의 가치 함수 (Value Network/Critic) 학습은 고차원 언어 공간에서 불안정하고 샘플 효율이 낮다는 문제를 해결하기 위해 **그룹 상대적 정책 최적화 (GRPO)**를 계층 구조에 적용했습니다.

• Macro-Objective: 여러 청사진 후보들을 그룹으로 샘플링하고, 각 청사진이 실행되었을 때의 보상을 비교하여 계획의 질에 대한 이점 (Advantage) 을 추정합니다.
• Micro-Objective: 고정된 청사진 하에서 여러 실행 궤적을 샘플링하고, 실행의 질에 따른 보상을 비교하여 행동에 대한 이점을 추정합니다.
• 효과: 파라미터화된 가치 네트워크 없이도 각 계층별로 정밀한 크레딧 할당이 가능합니다.

C. 반복적 공진화 학습 전략 (Iterative Co-Evolution Training)

계획자와 실행자가 동시에 학습할 때 발생하는 비정상성 (Non-stationarity) 문제를 해결하기 위해 두 단계를 번갈아 수행합니다.

1. Macro-Exploration Phase: 실행자를 고정 (추론 모드) 하고 계획자만 업데이트합니다. 이는 계획자가 현재 실행 가능한 청사진을 찾도록 유도합니다.
2. Micro-Adaptation Phase: 가장 높은 보상을 받은 청사진을 고정하고 실행자만 업데이트합니다. 이는 실행자가 명확한 목표 하에서 학습하도록 합니다.

• 이 과정은 비정상적인 2 단계 최적화 문제를 일련의 정상적인 단일 단계 업데이트로 변환하여 학습 안정성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. HiMAC 프레임워크 제안: 장기적 에이전트 작업을 '청사진 생성'과 '목표 조건부 실행'으로 분해하여 플랫 정책의 탐색 복잡성과 오류 전파를 근본적으로 줄였습니다.
2. 새로운 최적화 기법: 크리틱 (Critic) 이 없는 계층적 그룹 기반 최적화 목표와 반복적 공진화 학습 전략을 도입하여, 가치 네트워크 없이도 안정적인 계층적 RL 학습을 가능하게 했습니다.
3. SOTA 성능 달성: 텍스트 기반 (ALFWorld, WebShop) 과 시각 기반 (Sokoban) 환경 모두에서 기존 RL 방법론 및 프롬프트 기반 방법론을 압도하는 성능을 기록했습니다.

4. 실험 결과 (Results)

HiMAC 는 ALFWorld, WebShop, Sokoban 세 가지 벤치마크에서 강력한 성능을 입증했습니다.

• ALFWorld (물체 조작 및 추론):
  • 1.5B 모델 기준: 89.9% 성공률 (GiGPO 대비 3.8% 우위).
  • 7B 모델 기준: 92.1% 성공률 (모든 베이스라인 초과).
  • 복잡한 다단계 작업 (Pick2, Clean) 에서 특히 뛰어난 성능을 보였습니다.
• WebShop (웹 탐색 및 구매):
  • 1.5B 모델 기준: 83.4% 성공률 (GiGPO 대비 16.0% 향상).
  • 긴 상호작용 시퀀스에서의 컨텍스트 드리프트를 효과적으로 방지했습니다.
• Sokoban (시각적 공간 추론):
  • Qwen2.5-VL-7B 기준: 87.5% 성공률 (GiGPO 대비 4.7%p 향상).
  • 텍스트 기반을 넘어 시각적 환경에서도 계층적 계획의 일반화 능력을 입증했습니다.
• 샘플 효율성: HiMAC 는 더 적은 학습 반복 횟수로 목표 성능에 도달했으며, 학습 곡선이 더 빠르게 수렴했습니다.

5. 의의 및 결론 (Significance)

• 모델 크기 vs 구조적 설계: 단순히 모델의 규모 (Scale) 를 키우는 것보다, **구조적 계층성 (Structured Hierarchy)**을 도입하는 것이 장기적 에이전트 지능을 실현하는 데 더 결정적인 요소임을 증명했습니다.
• 학습된 행동의 진화: 학습 과정에서 계획자가 스스로 검증 (Self-verification) 단계를 추가하는 등, 단순한 실행을 넘어 복잡한 인지 구조가 자발적으로 진화하는 것을 관찰했습니다.
• 실용적 가치: 크리틱 네트워크 없이도 안정적으로 학습 가능하며, 제한된 컴퓨팅 자원 (작은 모델) 에서도 높은 성능을 발휘할 수 있어 실제 배포 시나리오에 매우 유망합니다.

요약하자면, HiMAC 는 LLM 에이전트가 장기적 작업을 수행할 때 겪는 오류 전파와 계획 실패 문제를 해결하기 위해, 계획과 실행을 분리하고 안정적인 계층적 학습 전략을 도입함으로써 새로운 성능의 기준 (SOTA) 을 제시한 연구입니다.