기술 요약: VLM 에이전트 강화 학습을 위한 통합 크리틱 기반의 하이브리드 어드밴티지 추정 (HyGAE)

문제 정의

대규모 시각-언어 모델(VLM)은 일관된 추론과 순차적 의사결정이 중요한 상호작용형 다회차(multi-turn) 환경에서 에이전트로 점점 더 많이 배치되고 있습니다. 그러나 현재의 VLM은 과거의 행동과 피드백에 대한 맥락을 무시하고 오직 가장 최근의 관측치에만 기반하여 추론하는 "근시안적(nearsightedness)" 문제를 겪고 있습니다. 이는 다회차 의사결정이 단절된 단일 회차 생성으로 퇴보하게 만들어, 반복적이고 비적응적인 행동을 초래합니다.

기존의 강화 학습(RL) 접근 방식은 일반적으로 두 가지 모델링 패러다임을 채택하며, 각각 한계점을 가집니다:

1. 토큰 단위 RL (Token-wise RL): 생성된 각 토큰을 개별 행동으로 취급합니다. 이는 언어 생성에 대한 미세한 가이드를 제공할 수 있지만, 중간 단계의 회차 단위 피드백을 효과적으로 활용하지 못하는 경우가 많습니다.
2. 회차 단위 RL (Turn-wise RL): 한 회차 동안 생성된 전체 토큰 시퀀스를 하나의 거시 행동(macro-action)으로 취급합니다. 이는 회차 내 차별화를 위한 중간 피드백을 더 잘 활용하지만, 안정적인 자기회귀 생성에 필요한 미세한 제어력이 부족합니다.

이 두 수준을 결합하려는 기존 연구들은 복잡한 계층적 모델이나 휴리스틱 기반의 크레딧 할당(credit assignment)에 의존하는 경우가 많으며, 이는 통일된 이론적 토대 없이 최적의 편향-분산 트레이드오프(bias-variance trade-offs)를 달emma지 못합니다.

방법론: HyGAE

저자들은 토큰 수준과 회차 수준의 목적 함수를 공동으로 최적화하는 액터-크리틱 프레임워크인 HyGAE(Hybrid Advantage Estimation with Unified Critic)를 제안합니다. 이 방법은 두 RL 정식화의 이론적 통합에 기초합니다.

이론적 정식화

본 논문은 토큰 단위 및 회차 단위 RL이 통일된 부분 관측 마르코프 결정 과정(POMDP) 프레임워크 하에서 어떻게 바라볼 수 있는지 입증합니다.

• 그래디언트의 등가성: 저자들은 특정 할인 계수 제약 조건($\gamma_t = \gamma^{I_t}$, 여기서 $I_t$는 회차 길이) 하에서 토큰 단위 및 회차 단위 목적 함수의 정책 그래디언트가 동일함을 증명합니다.
• 통합 크리틱 (Unified Critic): 단일 가치 함수(크리틱)가 두 수준 모두의 가치를 추정할 수 있음을 보여줍니다. 구체적으로, 할인 계수가 정렬되어 있다면 회차 시작 시점의 회차 단위 가치는 해당 회차의 마지막 토큰에서의 토큰 단위 가치와 동일합니다. 이는 별도의 가치 모델을 필요로 하지 않아 계산 오버헤드를 줄여줍니다.

하이브리드 어드밴티지 추정 (Hybrid Advantage Estimation)

HyGAE는 토큰 단위와 회차 단위 중 하나를 선택하는 대신 하이브리드 어드밴티지 함수를 사용합니다:
$$\hat{A}^i_t = \alpha \hat{A}_t + (1 - \alpha) \hat{A}^i_t$$
여기서 $\hat{A}_t$는 회차 단위 어드밴티지이며, $\hat{A}^i_t$는 토큰 단위 어드밴티지입니다.

• 회차 단위 어드밴티지: 회차 단위로 GAE(Generalized Advantage Estimation)를 계산하여, 회차 수준의 보상 신호를 보존하고 중간 추론 토큰을 통한 과도한 할인을 방지합니다.
• 토큰 단위 어드밴티지: 토큰 단위로 GAE를 계산하여, 회차 내에서 미세한 차별화를 제공합니다.
• 하이브리드 리턴 (Hybrid Return): 통합 크리틱을 업데이트하기 위해, 저자들은 특정 형태의 하이브리드 리턴을 제안합니다. 현재 토큰부터 회차 끝까지의 할인된 보상을 합산하여 회차 단위 리턴을 중간 토큰 위치로 브로드캐스팅한 후, 이를 토큰 단위 리턴과 결합합니다. 이 정밀한 해석적 형태가 가치 함수 학습을 안정화하는 데 결정적임을 보여줍니다.

알고리즘

HyGAE는 표준 PPO(Proximal Policy Optimization) 루프 내에서 작동합니다:

1. 여러 회차의 상호작용을 포함하는 궤적(trajectories)을 수집합니다.
2. 회차 단위 및 토큰 단위 어드밴티지와 리턴을 각각 계산합니다.
3. 혼합 계수 $\alpha$를 사용하여 이들을 결합함으로써 하이브리드 어드밴티지와 하이브리드 리턴을 형성합니다.
4. 하이브리드 신호를 사용하여 정책(액터)과 통합 가치 모델(크리틱)을 업데이트합니다.

주요 기여

1. 이론적 통합: 본 논문은 특정 조건 하에서 대리 함수(surrogates)가 동일한 그래디언트를 공유함을 증명함으로써 토큰 단위 및 회차 단위 RL 사이의 내재적 유사성을 밝히는 공식적 정식화를 제공합니다.
2. 하이브리드 어드밴티지 추정: 토큰 단위와 회차 단위 어드밴티지를 선형적으로 결합하는 새로운 방법을 제시합니다. 저자들은 이 접근 방식이 편향-분산 트레이드오프를 균형 있게 조절함을 증명합니다. 즉, 회차 단위 추정치는 낮은 편향을 갖지만 높은 분산을 가지며, 토큰 단위 추정치는 높은 편향을 갖지만 낮은 분산을 가집니다. 하이브리드 방식은 두 방식의 약점을 완화합니다.
3. 통합 크리틱 학습: 단일 가치 모델이 두 가지 정밀도(granularity)를 효과적으로 추정할 수 있음을 증명하여, 계층적 접근 방식에 비해 계산 효율성을 크게 향상시켰습니다.
4. 실험적 성능: HyGAE는 5개의 다양한 다회차 의사결정 벤치마크에서 최첨단(SOTA) 성능을 달성했습니다.

실험 결과

저자들은 다섯 가지 벤치마크(Sokoban, FrozenLake, Navigation, Primitive Skill(로봇 조작), VIRL(실제 환경 내 내비게이션))에서 HyGAE를 평가했습니다.

• 성능: HyGAE는 모든 작업에서 평균 **91%**의 성공률을 기록하며 베이스라인을 크게 앞질렀습니다.
  • GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5와 같은 독점 모델들이 평균 0.5~0.6을 기록한 것과 비교해 우수한 성과를 보였습니다.
  • 고정된(frozen) 오픈 소스 VLM들(평균 < 0.1)보다 훨씬 뛰어난 성능을 보였습니다.
  • RL 방법론 중에서는 Token-PPO (0.81), Turn-PPO (0.47), VAGEN-Base (0.74)를 능가했습니다.
• 절제 연구 (Ablation Studies):
  • 혼합 계수 $\alpha = 0.5$ (동등 가중치)가 가장 좋은 성능을 보였으며, 이는 두 신호를 결합하는 것의 가치를 확인시켜 줍니다.
  • 하이브리드 리턴의 특정 공식(할인된 보식을 브로드캐스팅하는 방식)이 매우 중요함을 확인했습니다. 다른 공식들은 학습 붕괴(training collapse)를 초래했습니다.
  • HyGAE는 표준 PPO에 비해 성공률의 분산이 현저히 낮음을 보여주었으며, 이는 더 안정적인 최적화를 나타냅니다.
• 정성적 분석: 시각화 결과, 고정된 모델들은 실패한 행동을 반복하거나 정적인 계획을 세우는 반면, HyGAE는 환경 피드백에 따라 전략을 성공적으로 조정하여 일관된 다회차 추론을 보여주었습니다.

의의

본 논문은 VLM 에이전트 학습의 주요 병목 현상이 단일 회차 학습 패러다임과 다회차 상호작용 요구사항 사이의 불일치에 있다고 주장합니다. 토큰 단위 및 회차 단위 최적화를 이론적으로 통합하고 계산 효율적인 하이브리드 어드밴티지 추정을 도입함으로써, HyGAE는 고수준의 전략적 계획과 저수준의 언어 생성 사이의 간극을 메웁니다. 이 연구는 어드밴티지 및 리턴 추정을 위한 정밀한 해석적 형태가 에이전트 RL의 안정적인 최적화에 필수적임을 시사하며, 복잡하고 상호작적인 환경에서 VLM이 효과적인 에이전트로 동작하도록 훈련하기 위한 견고한 프레임워크를 제공합니다.