기술 요약: PEARL (Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use)

문제 정의

대규모 언어 모델(LLM)은 외부 도구와 결합되었을 때 상당한 잠재력을 보여주었으나, 복잡한 다단계(multi-turn) 도구 호출 시나리오에서는 상당한 난관에 봉착합니다. 기존 방식들은 흔히 다음과 같은 문제를 겪습니다:

• 취약한 계획 능력: 에이전트가 근시안적인 단일 단계 전략을 채택하여, 일관되고 장기적인 계획을 수립하거나 준수하는 데 실패합니다.
• 실행 오류: 모델이 "도구 환각"(존재하지 않는 도구 호출)을 일으키거나, 잘못된 파라미터를 생성하며, 순차적인 도구 호출 간의 의존성을 관리하는 데 어려움을 겪습니다.
• 낮은 적응성: 실행 오류가 발생했을 때, 에이전트가 문제를 진단하거나 전략을 동적으로 조정하지 못해 반복적인 실패 루프에 빠지는 경우가 많습니다.

지도 미세 조정(SFT)이나 모방 학습에 주로 의존하는 기존 방법들은 새로운 시나리오에 직면했을 때 취약하거나 복잡한 오류 복구가 필요합니다. 따라서 견고한 실행과 전략적 계획을 분리하고, 양쪽 모두를 최적화하기 위해 적응형 학습을 활용하는 프레임워크가 절실히 필요합니다.

방법론: PEARL 프레임워크

PEARL(Plan Exploration and Adaptive Reinforcement Learning)은 **전략적 계획 생성(Strategic Plan Generation)**과 **정보 기반 실행(Informed Execution)**을 분리하는 원칙적인 2단계 아키텍처를 통해 이러한 과제를 해결합니다.

1. 태스크 정식화

에로의 목표는 일련의 하위 작업(계획) $P = ((s_1, \tau_1), \dots, (s_n, \tau_n))$을 생성하여 도구 집합 $\mathcal{T}$를 사용하여 복잡한 쿼리 $q$를 해결하는 것입니다. 여기서 $s_i$는 자연어 목표이고 $\tau_i$는 선택된 도구입니다.

2. 1단계: 전략적 계획 생성 (Online RL)

전용 플래너(Planner) 모델($\pi_\theta$)은 실행이 시작되기 전에 전체 다단계 계획을 생성하도록 훈련됩니다.

• 최적화 알고리즘: 플래너는 동일한 입력에 대해 생성된 후보 계획 그룹 전체에서 어드밴티지 추정치를 정규화함으로써 훈련 안정성을 높이는 PPO의 변형인 **그룹 상대 정책 최적화(GRPO)**를 사용하여 최적화됩니다.
• 보상 설계: 조밀한 단계별 피드백을 제공하기 위해 새로운 **계획 중심 보상 함수(planning-centric reward function)**가 사용됩니다.
  • 이 함수는 생성된 계획을 정답(ground-truth) 계획과 비교합니다.
  • 단계 $i$에서 올바르게 선택된 도구마다 $1/m$의 정규화된 보상을 할당합니다 (여기서 $m$은 최적 계획의 단계 수).
  • 이 설계는 도구 체인의 구조적 및 의미적 정확성을 직접 최적화하여, 장기 계획에서의 신용 할당(credit assignment) 문제를 해결합니다.

3. 2단계: 정보 기반 실행 (Offline + Online)

실행기(Executor) 모델($\pi_\phi$)은 플래너가 생성한 계획을 수행하는 역할을 담당합니다.

• 오프라인 도구 탐색: 태스크 실행 전, 에이전트는 각 가용 도구에 대해 선제적인 시행착오 단계를 거칩니다. 에이전트는 유효한 사용 패턴, 인자 제약 조건, 실패 조건을 학습하기 위해 다양한 파라미터 구성을 체계적으로 시도합니다. 이는 실행기를 현실에 접지(grounding)시켜 도구 환각과 파라미터 오류를 획기적으로 줄여주는 "학습된 사용자 매뉴얼"을 구축합니다.
• 온라인 단계별 실행: 실행기는 플래너의 출력을 전달받아 반복적으로 실행합니다. 실행기는 오프라인 단계에서 습득한 지식을 활용하여 올바른 파라미터로 유효한 도구 호출을 구성하며, 이전 실행 결과의 이력을 활용하여 후속 단계를 결정합니다.

주요 기여

1. 새로운 프레임워크: PEARL은 견고한 실행을 위한 오프라인 도구 탐색과 적응형 전략 계획을 위한 온라인 강화 학습을 통합하여, 두 복잡한 문제를 효과적으로 분리합니다.
2. 계획 중심 보상 메커니즘: 저자들은 RL을 통해 다단계 도구 계획을 직접 최적화할 수 있는 특정 보상 함수를 설계했습니다. 이는 희소한 최종 태스크 성공 신호에만 의존하는 대신, 계획 품질에 대한 조밀한 피드백을 제공함으로써 에이전트가 최적의 전략을 갖도록 유도합니다.
3. 최첨단 성능: 이 프레임워크는 단순한 모델 스케일링보다 특화된 아키텍처 설계가 더 우수함을 입증하며 새로운 성능 벤치마크를 수립했습니다.

실험 결과

저자들은 두 가지 벤치마크인 ToolHop(다단계 도구 추론)과 T-Eval(도구 활용 능력)에서 PEARL을 평가했습니다.

• ToolHop 성능: PEARL-7B는 **56.5%의 성공률(SR)**을 달 기록하였으며, 이는 특정 튜닝을 거친 Qwen2.5-7B-SFT 베이스라인(46.2%)과 GPT-4o(49.0%)와 같은 더 큰 규모의 독점 모델들을 크게 상회하는 수치입니다. 결정적으로, **3.8%라는 낮은 호출 오류율(IER)**을 유지하여 오프라인 탐색 단계의 효용성을 입증했습니다.
• T-Eval 일반화: 일반화 벤치마크에서 PEARL-7B는 77.0%의 SR을 달성하여, 주요 독점 모델(GPT-4o 76.0%, Claude 3.5 Sonnet 71.0%) 및 오픈 소스 모델들을 넘어섰습니다. IER은 **1.0%**로 떨어져 높은 신뢰성을 보여주었습니다.
• 플래너 일반화: 실험 결과, PEARL-Planner가 생성한 계획은 다른 강력한 모델들(예: GPT-4o, Qwen2.5-72B)이 실행기로 사용될 때 성능을 유의미하게 향상시켰으며, 이는 학습된 계획 전략의 전이 가능성을 확인시켜 줍니다.
• 절제 연구(Ablation Studies):
  • 계획 중심 보상을 제거했을 때 SR이 56.5%에서 23.4%로 급락하여, 신용 할당에서 해당 보상의 결정적 역할을 강조했습니다.
  • 오프라인 탐색을 제거했을 경우 IER이 3.8%에서 24.1%로 급증하여, 선제적인 도구 학습이 신뢰할 수 있는 실행에 필수적임을 증명했습니다.

의의 및 주장

본 논문은 PEARL이 도구 사용의 복잡한 계획 문제를 해결하는 데 있어 핵심적인 진전임을 주장합니다. 도구의 메커니즘을 배우는 것(오프라인)과 전략적 오케스트레이션을 배우는 것(온라인 RL)을 체계적으로 분리함으로써, 이 프레임워크는 견고함(낮은 오류율)과 전략적 우수성(다단계 태스크에서의 높은 성공률)을 모두 갖춘 에이전트를 생성합니다.

저자들은 본 연구가 더욱 신뢰할 수 있고 자율적인 LLM 기반 에이전트 개발에 기여한다고 단언합니다. 실험 결과는 계획과 실행을 위한 특화된 훈련 아키텍처가 단순히 모델 파라미터를 확장하거나 표준 지도 미세 조정을 사용하는 것보다 복잡한 도구 사용 태스크에 더 효과적임을 시사합니다. PEARL Planner의 높은 일반화 능력은 학습된 전략의 품질을 검증하며, 점점 더 복잡해지는 현실 세계의 디지털 상호작용을 처리할 수 있는 에이전트로 나아가는 경로를 제시합니다.