기술 요약: 자연어 액터-크리틱 (Natural Language Actor-Critic, NLAC)

문제 정의

대규모 언어 모델(LLM) 에이전트는 도구 사용, 웹 브라우징, 다회차 대화가 포함된 복잡하고 장기적인 상호작용을 수행하는 과제를 점점 더 많이 맡고 있습니다. LLM은 단일 턴 작업에는 뛰어나지만, 동적인 계획 수립과 긴 시퀀스에서의 신용 할당(credit assignment) 문제에서는 어려움을 겪습니다. PPO나 GRPO와 같은 기존의 정책 그래디언트(policy gradient) 기반 강화 학습(RL) 방식은 희소한 보상(sparse rewards)과 긴 궤적 내 특정 행동에 대한 신용 할당의 어려움으로 인해 불안정성과 낮은 샘플 효율성을 보이는 경우가 많습니다.

기존의 액터-크리틱 방법론은 더 조밀한 피드백을 제공하기 위해 크리틱(critic)을 학습시켜 이를 완화하려고 시도합니다. 그러나 표준적인 스칼라 값 크리틱은 언어 행동 공간에 적합하지 않습니다. 이는 풍부한 실패 양상을 단 하나의 숫자로 압축해 버림으로써, 언어 정책이 자신의 행동을 어떻게 개선해야 하는지에 대한 구체적인 가이드를 제공하지 못합니다. 자연어 가치(natural language values)를 사용하려는 이전의 시도들(예: Natural Language Reinforcement Learning, NLRL)은 온-폴리시(on-policy) 롤아웃의 인-컨텍스트 집계(in-context aggregation)에 의존한다는 한계가 있었습니다. 이러한 방식은 궤적이 길어지고 환경 역학이 복잡해짐에 따라 확장성이 제한되어, 그리드월드와 같은 단순한 환경에 국한되는 문제가 있습니다.

방법론: 자연어 액터-크리틱 (NLAC)

본 논문은 생성형 LLM 크리틱을 사용하여 자연어 공간에서 가치를 생성하는 새로운 알고리즘인 **자연어 액터-크리틱 (NLAC)**을 제안합니다. NLAC는 온-폴리시 샘플의 인-컨텍스트 집계에 의존하지 않고 일반적이고 확장 가능한 오프-폴리시(off-policy) 학습을 가능하게 한다는 점에서 기존 연구와 차별화됩니다.

핵심 구성 요소

이 프레임워크는 서로 다른 프롬프트를 사용하는 단일 기본 LLM을 활용하여 세 가지 뚜렷한 기능적 구성 요소를 구현합니다.

1. 언어 서셉서 모델 (Language Successor Model, $M^\pi$):
   스칼라 리턴을 예측하는 대신, 크리틱은 미래 롤아웃에 대한 압축된 텍스트 요약을 예측하도록 학습됩니다. 이는 상태 $s_t$와 행동 $a_t$를 입력받아 미래 궤적 $(s, a)_{t+1:T}$ 및 최종 보상에 대한 텍textual 설명의 분포를 생성하는 서셉서 함수(successor function) 역할을 합니다. 이는 1단계 전이(one-step transition)로부터 부트스트래핑하는 **언어 벨만 백업 (Language Bellman Backup, $B_L$)**을 통해 학습됩니다. 이 백업은 즉각적인 다음 상태 및 행동을 부트스트랩된 미래 설명과 결합하며, 미래 설명을 "할인(discounting)"하여 즉각적인 결과에 더 중점을 둡니다. 이를 통해 전체 온-폴리시 궤적이 필요 없는 템포럴 디퍼런스(temporal-difference) 학습을 통한 오프-폴리시 학습이 가능해집니다.

2. 언어 평가기 (Language Evaluator, $E$):
   특정 행동을 평가하기 위해, 크리틱은 (서셉서 모델에 의해 생성된) 여러 개의 샘플링된 미래 설명들을 집계하여 텍스트 형태의 비평(critique)을 생성합니다. 이 비평은 해당 행동의 최적성에 대해 언급하고, 예측된 미래 결과에 근거하여 정당성을 제공합니다. 이 단계는 추가적인 학습 없이 텍스트를 인-컨텍스트로 추론하는 LLM 고유의 능력을 활용합니다.

3. 정제 정책 (Refinement Policy, $\pi_r$):
   정책 개선은 자기 정제(self-refinement) 패러다임을 통해 이루어집니다. 모든 가능한 행동을 열거하는 것은 (방대한 토큰 어휘 사전 규모에서) 불가능하므로, 기본 정책은 초기 행동을 생성합니다. 그 후 정제 정책은 이 행동과 평가기(evaluator)로부터 받은 텍스트 비평을 바탕으로, 크리틱의 관점에서 더 우수할 것으로 예상되는 정제된 행동 $a^r_t$를 생성합니다.

학습 알고리즘

알고리즘은 오프-폴리시 방식으로 작동합니다.

• 정책 평가 (Policy Evaluation): 언어 서셉서 모델은 예측된 미래 설명과 언어 벨만 백업에 의해 생성된 타겟 분포 사이의 발산(divergence)을 최소화하도록 학습됩니다. 이는 텍스트 출력에 대한 교차 엔트로피 손실(KL-divergence)을 사용합니다.
• 정책 개선 (Policy Improvement): 기본 정책은 정제 정책으로부터 생성된 정제된 행동으로부터의 증류(distillation)를 통해 업데이트됩니다. 목적 함수는 상태와 크리틱의 평가에 조건화된 정제된 행동의 로그 가능도(log-likelihood)를 최대화하는 것입니다.

주요 기여

1. 언어 공간에서의 확장 가능한 오프-폴리시 학습: NLAC는 온-폴리시 롤아웃의 인-컨텍스트 집계에 의존하지 않고 일반적인 가치 학습을 수행하는 최초의 언어 공간 작업입니다. 언어 벨만 백업을 통해 언어 서셉서 모델을 학습시킴으로써 확장 가능한 오프-폴리시 학습을 가능하게 했습니다.
2. 해석 가능하고 실행 가능한 비평: 이 방법은 스칼라 값을 대신하여, 왜 행동이 최적이 아닌지를 설명하고 개선 사항을 제안하는 자연어 비평을 도입합니다. 이는 스칼라 신호보다 효과적으로 정책 정제를 유도하기 위해 LLM의 추론 능력을 활용합니다.
3. 이론적 수렴성: 저자들은 학습된 언어 표현과 서셉서 특징(successor features) 사이의 관계를 연결하는 이론적 분석을 제공합니다. 이들은 완만한 실현 가능성 가정(realizability assumptions) 하에서, 언어 크리틱이 단조 매핑(monotonic mapping)을 통해 실제 스칼라 Q-함수를 복구할 수 있으며, 이를 통해 최적 정책으로의 수렴을 보장함을 증명합니다.
4. 장기 궤적 과제에서의 경험적 우위: 본 논문은 NLAC가 복잡한 상호작용을 요구하는 과제에서 기존의 미세 조정(fine-tuning) 베이스라인(PPO, GRPO, RFT) 및 프롬프팅 방법(ReAct)보다 우수한 성능을 보임을 입증합니다.

실험 결과

저자들은 세 가지 벤치마크에서 NLAC를 평가했습니다.

• 수학적 추론 (MATH500-Hard): 단일 단계 과제로, NLAC는 다른 미세 조정 방법들과 대등한 성능을 보였으며, 생성형 보상 모델을 통한 자기 증류(self-distillation)로 효과적으로 축소되었습니다.
• 전략적 대화 (스무고개): 응집력 있는 계획이 필요한 다회차 게임입니다. NLAC는 26.0%의 승률을 기록하여, PPO(17.2%), GRPO(18.4%) 및 프롬프팅 베이스라인(GPT-5 사용 시 30.2%, 그러나 NLAC의 작은 모델이 미세 조정된 베이스라인보다 우수함)을 크게 앞질렀습니다.
• 도구 사용 및 대화 ($\tau$-Bench): API 호출과 엄격한 정책 지침이 포함된 고객 서비스 과제입니다. NLAC는 소매(retail) 시나리오에서 0.42, 항공(airline) 시나리오(학습 시 보지 못한 데이터)에서 0.22의 승률을 달성하여 모든 다른 미세 조정 베이스라인을 능가했습니다. 특히, NLAC는 PPO에 비해 수렴하는 데 필요한 그래디언트 단계(gradient steps)가 적었습니다.

정성적 분석 결과, NLAC의 자연어 크리틱은 특정 실패 양상(예: 도구 호출 제한 위반 또는 선형 탐색 전략 사용)을 성공적으로 식별하였으며, 스칼라 보상이 전달할 수 없는 실행 가능한 수정 사항을 제공하였습니다.

의의 및 주장

본 논문은 NLAC가 기존의 온-폴리시 방법들에 비해 LLM 에이전트를 위한 더 확장 가능하고 안정적인 학습 패러다임을 제공한다고 주장합니다. 가치 학습을 스칼라 공간에서 자연어 공간으로 이동함으로써, 이 방법은 장기 궤적에서의 신용 할당 문제를 더욱 효과적으로 해결합니다. 저자들은 이 접근 방식이 LLM의 내재된 추론 능력을 더 잘 활용하여, 정책 업데이트의 "이유"를 이해하고 설명할 수 있게 한다고 상정합니다.

저자들은 베이스 LLM이 그럴듯한 미래를 생성하고 프롬프팅을 통해 행동을 정제하는 능력에 의존한다는 점을 명시하며 한계를 인정합니다. 매우 복잡한 과제의 경우, 이러한 의존성을 제거하기 위해 과제를 계층적으로 분해하는 향후 연구가 필요할 수 있다고 제안합니다. 그러나 현재의 결과는 NLAC가 대화 및 도구 사용 도메인에서 에이전트를 훈련시키기 위한 강력한 대안임을 시사합니다.