기술 요약: GROW – 오픈 월드 VLM 에이전트를 위한 상태 - 행동 모델링과 GRPO 정렬

1. 문제 제기

비전 - 언어 모델 (VLM) 에이전트는 다중 턴 시각적 지각과 행동 실행이 필요한 오픈 월드 작업 (예: 마인크래프트) 에서 잠재력을 입증해 왔습니다. 전문가 시연에 대한 지도 미세 조정 (SFT) 이 주된 학습 패러다임이지만, 높은 데이터 수집 비용과 제한된 확장성으로 인해 고통받고 있습니다. 또한 SFT 는 종종 성능 측면에서 강화 학습 (RL) 방법보다 뒤처집니다.

그룹 상대 정책 최적화 (GRPO) 는 샘플링된 출력 그룹 간에 이점을 계산하여 별도의 가치 모델이 필요 없게 함으로써 파운데이션 모델에 효과적인 RL 알고리즘으로 부상했습니다. 그러나 표준 GRPO 를 오픈 월드 작업에 직접 적용하는 것은 상당한 도전 과제를 제시합니다:

• 컨텍스트 길이: 표준 GRPO 는 전체 상호작용 궤적을 단일 학습 샘플로 취급합니다. 오픈 월드 환경에서는 이러한 궤적이 과도한 컨텍스트 길이를 누적하여 종종 토큰 한계를 초과합니다.
• 노이즈: 전체 궤적에는 상당한 관련 없는 정보와 노이즈가 포함되어 있어 정책 기울기 추정의 질을 저하시킵니다.
• 이론적 불일치: 표준 GRPO 는 그룹화된 샘플이 동일한 프롬프트에 대한 서로 다른 응답이라고 가정합니다. 오픈 월드 작업에서는 궤적을 분해함으로써 그룹화된 샘플이 서로 다른 국소 상태에 조건부라는 것을 의미하며, 이는 이러한 가정을 위반합니다.

2. 방법론: GROW 프레임워크

저자들은 궤적을 세분화된 상태 - 행동 샘플로 분해함으로써 GRPO 를 오픈 월드 설정에 적응시키는 GROW(오픈 월드 VLM 에이전트를 위한 GRPO) 프레임워크를 제안합니다.

2.1 궤적 분해

GROW 는 전체 궤적을 최적화하는 대신 수집된 롤아웃 궤적 $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ 을 개별 상태 - 행동 쌍으로 분해합니다.

• 보상 전파: 이러한 환경의 보상은 희소하며 작업 완료 시에만 검증 가능하므로 ($R(\tau)=1$ 성공, 그렇지 않으면 0), 할인 인자 $\gamma$를 사용하여 궤적을 따라 뒤로 보상을 전파합니다:
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  이는 성공적인 결과에 더 가까운 상태 - 행동 샘플이 더 강력한 학습 신호를 받도록 보장합니다.

2.2 상태 - 행동 이점 계산

$G$개의 병렬 환경으로 구성된 롤아웃 그룹 내에서 GROW 는 전체 궤적이 아닌 분해된 상태 - 행동 샘플에 대해 상대적 이점을 계산합니다.

• 이점 $A_{i,t}$는 그룹 전체에 걸쳐 할인된 보상 $r_{i,t}$를 정규화하여 계산됩니다:
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  여기서 $\mu$와 $\sigma$는 그룹 내 보상 집합의 평균과 표준 편차입니다.
• 학습 목적 함수는 표준 PPO 스타일의 클리핑 목적 함수를 따르지만, 이러한 상태 - 행동 단위를 기반으로 작동합니다:
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 대리 분석

저자들은 GROW 의 그룹화된 샘플이 동일한 프롬프트가 아닌 서로 다른 국소 상태 ($s_{i,t}$) 에 조건부라는 이론적 우려를 다룹니다. 단순화된 가정 (균일한 궤적 길이 $H$와 일관된 상호작용 단계) 하에, 그들은 목적 함수가 두 항으로 분해됨을 보여주는 대리 분석을 유도합니다:

1. $J_{traj}$: 그룹 평균 $S$에 대한 궤적 보상 $R(\tau_i)$을 비교하여 궤적 수준의 상대적 선호도를 유지합니다.
2. $J_{step}$: 시간적 할인 효과를 포착하여 성공적인 궤적 내에서의 신용 할당을 정제하고 최종 성공과 직접적으로 관련된 결정을 강조합니다.
   이 분석은 동일한 프롬프트 가정에서의 이탈에도 불구하고, 목적 함수가 유효하고 효과적인 상대 정책 최적화 신호를 유지한다는 결론을 내립니다.

3. 주요 기여

1. 프레임워크 제안: 상태 - 행동 샘플에 대한 콜드 스타트 학습과 궤적 분해를 통한 GRPO 기반 정책 정제를 결합한 RL 프레임워크인 GROW 의 도입.
2. 이론적 정당화: 합리적인 처리 가능성 근사가 성립하는 경우, 그룹화된 샘플이 서로 다른 국소 상태에 조건부일지라도 상대 정책 최적화가 여전히 효과적임을 보여주는 대리 분석 제공.
3. 실증적 검증: 800 개 이상의 마인크래프트 작업에 대한 광범위한 테스트를 통해, 이 프레임워크가 성공률과 실행 효율성 모두에서 최첨단 (SOTA) 성능을 달성함을 입증.

4. 실험 결과

실험은 세 가지 범주 (구현체 작업: 탐색/채광, GUI 작업: 제작/제련, 전투 작업) 를 다루는 MCU 벤치마크를 사용하여 마인크래프트(Java Edition) 에서 수행되었으며, 기본 모델은 Qwen2-VL-7B-Instruct 입니다.

• 성능 향상: GROW 는 모든 카테고리에서 SOTA 결과를 달성했습니다:
  • 구현체: ASR 이 이전 최우수 기록인 50.4% 에서 **59.6%**로 향상되었습니다.
  • GUI: ASR 이 39.1% 에서 **68.4%**로 향상되었습니다.
  • 전투: ASR 이 39.2% 에서 **49.0%**로 향상되었습니다.
• 효율성: 작업 완료를 위해 필요한 평균 단계 수가 크게 감소했습니다 (예: 구현체 작업에서 263 단계에서 128 단계로).
• 일반화: GROW 는 보지 못한 작업 (RL-unseen) 에 대해 강력한 일반화를 보여주었으며, 훈련 세트에 과적합되지 않고 초기화된 정책보다 성공률을 크게 향상시켰습니다.
• 애블레이션 연구:
  • PPO 대비: GROW 는 성공률과 수렴 속도 모두에서 PPO 를 능가했습니다.
  • 할인 인자 ($\gamma$): $\gamma=0.995$가 장기 신용 할당과 지역 효율성 사이의 최상의 균형을 제공했습니다.
• 행동 분석: 진단 작업을 통해 GROW 가 안정적인 목표 고정, 능동적 목표 재획득 (잃어버린 목표 찾기), 그리고 방해 요소에 강인한 GUI 조작과 같은 구체적인 기술을 향상시켰음이 밝혀졌습니다.

5. 중요성과 주장

이 논문은 GROW 가 고급 RL 알고리즘 (GRPO) 과 오픈 월드 환경의 특정 제약 조건 (길고 노이즈가 많은 궤적) 간의 격차를 효과적으로 연결함으로써 오픈 월드 VLM 에이전트에 대한 새로운 SOTA 를 확립한다고 주장합니다.

• 핵심 성과: 이 프레임워크는 전체 궤적 RL 에 내재된 과도한 컨텍스트 누적 및 노이즈 문제를 성공적으로 완화하면서도 GRPO 의 핵심 상대 최적화 신호를 유지합니다.
• 기술 습득: 결과는 GROW 가 단순한 궤적 암기가 아닌 재사용 가능한 상호작용 전략 (예: 능동적 탐색, 강인한 GUI 처리) 을 장려함을 시사합니다.
• 확장성: 궤적을 분해함으로써, 이 방법은 가치 추정이 비용이 많이 들고 불안정한 복잡하고 다중 턴 환경에서 VLM 에이전트를 학습시키기 위한 확장 가능한 경로를 제공합니다.

저자들은 매우 장기적인 작업을 위한 메모리 모듈의 현재 부재와 특정 시뮬레이터 (마인크래프트) 에 대한 의존성을 포함한 한계를 지적하며, 향후 작업은 역사 요약과 다양한 오픈 월드 환경으로의 확장을 탐구할 수 있음을 시사합니다.