기술 요약: Multi2 – LLM 기반 에이전트를 활용한 계층적 다중 에이전트 의사결정

1. 문제 정의

본 연구가 다루는 핵심 과제는 **장기적 상호작용 환경(long-horizon interactive environments)**에서 대규모 언어 모델(LLM) 에이전트가 보이는 취약성입니다. 최근의 LLM 기반 에이전트들은 강력한 문맥 추론 능력을 보여주지만, 지속적인 상호작용에서는 어려움을 겪으며, 주로 목표 드리프트(objective drift) 현상으로 인해 고통받습니다. 상호작용이 여러 턴에 걸쳐 길어짐에 따라, 에이전트는 작은 실행 오류의 누적과 초기 의도와 내부 상태 간의 불일치로 인해 원래의 목표에서 벗어나게 됩니다.

또한, 기존 방식들은 문맥 유지를 위해 계속해서 커지는 상호작용 이력에 의존하는 경우가 많아 **토큰 비효전성(token inefficiency)**을 초래합니다. 계층적 분해(태스크를 하위 목표로 나누는 것)가 계획 실패를 완화하기 위해 제안되어 왔으나, 기존 방법들은 **안정적인 실행(stable execution)**을 보장하는 데 실패하는 경우가 많습니다. 구체적으로, 많은 계층적 시스템에서 "실행기(executor)" 구성 요소는 상호작용 중 발생하는 누적 오류를 수정하도록 명시적으로 학습되지 않으며, 이로 인해 시스템은 루프, 제약 조건 위반, 그리고 태스크 호라이즌(task horizon)이 길어짐에 따른 성능 저하에 취약해집니다.

2. 방법론: Multi2 프레임워크

저자들은 역할 특화(role specialization)를 통해 태스크 분해(계획)와 액션 실행을 명시적으로 분리하는 계층적 다중 에이전트 의사결정 프레임워크인 Multi2를 제안합니다. 이 프레임워크는 두 개의 별도 시스템으로 작동합니다:

• 시스템 1 (고수준 에이전트): 문맥 인지적 하위 목표 생성에 집중합니다. 태스크 설명과 현재 관찰(observation)을 입력으로 받아 하위 목표를 출력합니다. 이 시스템은 일관되고 구조화된 의미론적 계획을 보장하기 위해 **지도 미세 조정(SFT)**을 통해 학습됩니다.
• 시스템 2 (저수준 에이전트): 시스템 1이 제공한 하위 목표를 달기 위해 동적인 환경에서 원자적 액션(atomic actions)을 실행할 책임이 있습니다. 이 시스템은 오프라인-투-온라인 강화 학습(Offline-to-Online RL) 파이프라인을 통해 학습됩니다.

학습 파이프라인

학습 과정은 안정성과 지속적인 개선을 보장하기 위해 세 단계로 나뉩니다:

1. 오프라인 학습 (시스템 1): 시스템 1은 태스크 설명과 관찰-하위 목표 시퀀스를 포함하는 고수준 데이터셋($D_{sys1}$)을 사용하여 행동 복제(behavior cloning, SFT)를 통해 미세 조정됩니다. 목적은 전문가의 하위 목표를 모방하기 위해 교차 엔트로피 손실을 최소화하는 것입니다.
2. 오프라인 학습 (시스템 2): 시스템 2는 하위 목표에 조건화된 전이(관찰, 액션, 보상, 다음 관찰)를 포함하는 저수준 데이터셋($D_{sys2}$)에 대한 오프라인 RL을 사용하여 초기화됩니다. 저자들은 다음과 같은 새로운 손실 설계를 가진 액터-크리틱(actor-critic) 구조를 채택합니다:
   • 크리틱 학습: 학습을 안정화하기 위해 분포 내(in-distribution, ID) 가치 학습을 사용하여 시간차(Temporal-Difference, TD) 오차를 최소화합니다.
   • 액터 학습: **정책 앵커드 어드밴티지 항(policy-anchored advantage term)**을 사용합니다. 이는 오프라인 액션의 모방과 더 높은 수익을 낼 것으로 추정되는 액션을 장려하는 가중 어드밴티지 항을 결합하여, 과도한 모방(over-imitation)과 정형화된 행동을 완화합니다.
3. 온라인 학습 (시스템 2 자기 개선): 지속적인 적응을 가능하게 하기 위해, 시스템 2는 온라인 RL 정교화 과정을 거칩니다. 새로운 정책($\pi_{on}$)은 오프라인 데이터와 새로운 온라인 궤적(trajectory)을 혼합한 리플레이 버퍼를 사용하여 업데이트됩니다. 손실 함수에는 다음이 포함됩니다:
   • 높은 어드밴티지를 가진 액션을 강화하는 가중 로그 가능도(log-likelihood) 항.
   • 온라인 정책이 오프라인 학습된 정책($\pi_{off}$)과 가깝게 유지되도록 제약하는 쿨백-라이블러(Kullback-Leibler, KL) 정규화 항. 이는 모드 붕괴(mode collapse)와 급격한 정책 변화를 방지하여 안정적인 자기 개선을 보장합니다.

아키텍처

Multi2는 공유된 사전 학습된 LLM 백본(예: Qwen-2.5, Mistral, Llama-3.1)과 **저차원 적응(Low-Rank Adaptation, LoRA)**을 활용합니다. 결정적으로, 시스템 1과 시스템 2는 별도의 LoRA 어댑터를 사용하여 전체 백본을 업데이트하지 않고도 역할별 파라미터화를 허용합니다.

3. 주요 기여

1. Multi2 프레임워크: 하위 목표 계획(시스템 1)과 액션 실행(시스템 2)을 별개의 최적화 문제로 보고 분리한 역할 특화 계층적 프레임워크로서, 장기적 상호작용의 불안정성을 해결합니다.
2. 원칙적인 오프라인-투-온라인 RL 목적 함수: 정책 앵커드 오프라인 학습과 KL 정규화된 온라인 정교화를 결합한 시스템 2(실행기)를 위한 새로운 학습 파이프라인을 제시합니다. 이 설계는 안정적인 샘플 효율적 자기 개선을 가능하게 하도록 실행기의 역할에 명시적으로 부합합니다.
3. 계층적 벤치마크 데이터셋: 다양한 환경(ScienceWorld, ALFWorld, TextCraft)에서 상호작용하는 LLM 에이전트를 학습시키고 평가하기 위한 잘 구조화된 세 가지 계층적 데이터셋을 공개하여, 일관된 계층적 데이터의 부재 문제를 해결합니다.
4. 실증적 검증: Multi2가 성능, 토큰 효율성, 그리고 목표 드리프트에 대한 강건성 측면에서 강력한 베이스라인들을 일관되적으로 능가함을 입증했습니다.

4. 실험 결과

프레임워크는 다양한 백본 모델(Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B)을 사용하여 ScienceWorld, ALFWorld, TextCraft에서 평가되었습니다.

• 성능: Multi2는 대부분의 백본과 평가 스플릿(In-Distribution 및 Out-of-Distribution)에서 가장 높은 성공률을 달립했습니다. 예를 들어, Llama-3.1 8B를 사용한 ScienceWorld ID 스플릿에서 Multi2는 67.61%의 성공률을 기록하여, 계층적 베이스라인인 Glider(60.48%)와 프롬프트 기반인 ReAct(23.23%)를 능가했습니다.
• 목표 드리프트에 대한 강건성: Multi2는 더 긴 호라이즌을 요구하는 어려운 태스크에서 우수한 성능을 보였습니다. 프롬프트 기반 에이전트들은 태스크 난이도에 따라 성능이 급격히 저하되었고, 다른 미세 조정된 베이스라인들도 중간 난이도에서 어려운 난이도로 넘어갈 때 하락을 보였으나, Multi2는 일관된 성능을 유지하며 효과적인 목표 드리프트 완화를 보여주었습니다.
• 토큰 효율성: Multi2는 베이스라인들보다 훨씬 더 토큰 효율적이었습니다. 계층적이고 온디맨드(on-demand) 방식의 호출과 RL로 튜닝된 액션 생성을 통해, 긴 문맥 창과 인컨텍스트 데모에 의존하는 프롬프트 기반 방식보다 적은 추론 시 토큰으로 더 높은 성능을 달성했습니다.
• 절제 연구(Ablation Studies):
  • 역할 특화: 학습 패러디임을 교체(시스템 1을 RL로, 시스템 2를 SFT로 학습)했을 때 최악의 성능을 보였으며, 이는 계획을 위한 SFT와 실행을 위한 RL의 필요성을 확인시켜 줍니다.
  • 아키텍처: 역할별 어댑터를 가진 계층적 구조가 단일 모델 및 공유 어댑터 베이스라인보다 뛰어난 성능을 보였습니다.
  • 손실 설계: 제안된 정책 앵커드 오프라인 손실과 KL 정규화된 온라인 손실은 바닐라 IQL 또는 AWAC 변형 모델들에 비해 분산을 줄이고 저성능 실패를 방지하는 데 결정적인 역할을 했습니다.

5. 의의 및 주장

본 논문은 Multi2가 장기적 태스크를 해결할 수 있는 신뢰할 수 있고 효율적인 상호작용형 LLM 기반 에이전트를 구축하기 위한 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 근본적 한계 해결: 단순한 계층적 분해를 넘어, 실행 레이어가 누적되는 오류를 수정하도록 명시적으로 학습함으로써 Glider와 같은 선행 연구에서 식별된 공백을 메웁니다.
• 상호작용의 안정성: 의도 보존을 위한 SFT와 실행 정교화를 위한 KL 정규화된 RL의 결적합은 확장된 상호작용 동안 안정적인 협업을 위한 원칙적인 메커즘을 제공합니다.
• 자원 효율성: 프레임워크는 토큰 소비를 줄이면서도 최첨단(SOTA) 성능을 달성하여 실제 배포 시의 실용성을 높였습니다.
• 커뮤니티 자원: 저자들은 계층적 데이터셋과 코드를 공개함으로써, LLM 에이전트의 계층적 의사결정 발전에 있어 더 넓은 채택과 공정한 비교를 촉진하고자 합니다.

저자들은 본 연구를 의도를 유지하고 동적인 환경에서 효과적으로 적응할 수 있는 에이전트형 AI(agentic AI)를 향한 단계로 규정하며, 상호작용 시스템을 위한 더 효과적인 학습 알고리즘에 기여합니다.