기술 요약: ReGRPO – 도구 사용 에이전트를 위한 성찰 증강 정책 최적화 (Reflection-Augmented Policy Optimization)

1. 문제 정의

도구 증강 시각-언어 모델(VLM)은 외부 도구(예: OCR, 웹 검색, 코드 실행)를 호출하여 복잡한 멀티모달, 다단계 작업을 해결하는 것을 목표로 합니다. 그러나 현재의 접근 방식은 견고성(robustness)과 회복력(recovery)과 관련하여 두 가지 주요 한계점을 가집니다:

1. 지도 미세 조정(SFT)의 한계: 기존의 SFT 방식(예: MAT-AGENT)은 성공적인 궤적(trajectory)에 크게 의존합니다. 이 방식은 에이전트가 최적의 경로에서 벗어나거나 도구 실패(예: 레이아웃 변화로 인한 빈 OCR 결과)를 겪을 때 회복할 수 있는 신호를 거의 또는 전혀 제공하지 못합니다. 모델은 성공적인 추적을 따르는 법은 배우지만, 국소적인 오류를 진단하고 수정하는 능력은 부족합니다.
2. 표준 강화 학습(RL)의 한계: 표준 RL 방식은 종종 궤적 수준의 희소한 보상(성공/실패)만을 제공합니다. 장기적인 작업(long-horizon tasks)에서 스칼라 형태의 실패 보상은 어떤 특정 단계가 실패했는지, 혹은 어떻게 수정해야 하는지를 식별하지 못합니다. 이러한 모호함은 에이전트가 잘못된 도구 선택과 잘못된 인자(argument) 전달을 구분하지 못하게 하여 학습을 느리고 불안정하게 만듭니다.

핵심 과제는 도구 사용 에이전트가 단순히 작업을 실행하는 것을 넘어, 값비싼 외부 검증기(verifier)나 테스트 시점의 시행착오에 의존하지 않고도 단일 추론 패스 내에서 실패를 진단하고, 구조화된 성찰(reflection)을 생성하며, 교정 동작을 실행할 수 있도록 하는 것입니다.

2. 방법론: ReGRPO

저자들은 성찰적 진단을 고정된 프롬프트 휴리스틱이 아닌 학습 가능한 변수로 취급하는 프레임워크인 **ReGRPO (Reflection-augmented Group Relative Policy Optimization)**를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다:

A. 구조화된 성찰 데이터 엔진 (Structured Reflective Data Engine)

SFT의 회복 데이터 부족 문제를 해결하기 위해, 저자들은 도구 실행 실패를 근거 있는 감독(grounded supervision)으로 변환하는 데이터 엔진을 도입합니다.

• 실패 유도 (Failure Induction): 정답 궤적으로부터 시작하여, 도구 선택이나 인자를 변형(예: 바운딩 박스 이동)함으로써 "아차 하는(near-miss)" 동작을 합성합니다. 이를 샌드박스에서 실행하여 실제 근거 있는 실패 관측값(예: 빈 OCR, API 오류)을 생성합니다.
• 성찰 사고(Reflection-of-Thought, RoT) 삼중항: 교사 VLM(기본값: GPT-4o)이 실패 맥락을 분석하고 구조화된 삼중항을 생성합니다:
  • ErrorType (오류 유형): 범주형 진단 (예: GroundingDrift, ToolMismatch).
  • Evidence (근거): 오류를 유발한 시각적 또는 텍스트 관측값에 대한 명시적 참조 (예: "영역 #box1에 대한 OCR 출력이 비어 있음").
  • FixPlan (수정 계획): 오류를 바로잡기 위한 구체적인 전략 (예: "바운딩 박스를 확장할 것").
• 감독 (Supervision): 이 삼중항들을 교정된 동작과 쌍을 이루게 하여 "실패 → 성찰 → 교정" 궤적을 형성하고, 이를 웜스타트(warm-start) SFT에 사용합니다.

B. 성찰 증강 GRPO 학습 (Reflection-Augmented GRPO Training)

ReGRPO는 그룹 상대 정책 최적화(GRPO) 알고리즘을 확장하여 성찰 토큰과 교정 동작을 공동으로 최적화합니다.

• 국소 궤적 공식화 (Local Trajectory Formulation): 원자적 동작(atomic actions)에 점수를 매기는 대신, 정책은 $K$개의 후보 국소 궤적 그룹을 샘플링합니다. 초기 동작 $a^{(0)}$가 실패하면, 정책은 성찰 $z$를 생성하고 교정 동작 $a^{(1)}$를 생성합니다.
• 복합 보상 함수 (Composite Reward Function): 보상 $R(\tau)$는 작업 성공, 실행 효율성, 그리고 선택적 검증 사이의 균형을 맞춥니다:
  $$R(\tau) = \lambda_{exec} \mathbb{1}_{\{success\}} - \eta C(\tau) + \lambda_{val} V(x_i, \tau)$$
  • 성찰 비용 ($C(\tau)$): 성찰 $z$의 토큰 길이에 대해 페널티를 부여하여, 에이전트가 필요할 때만 성찰하도록 강제합니다.
  • 검증기 가치 ($V$): 학습 단계에서만 사용되는 선택적 신호로, 메타데이터로부터 결정론적으로 계산됩니다 (RL 중에는 LLM 호출을 하지 않음). 이는 학습을 안정화합니다.
• 최적화: 정책은 그룹 상대적 이득(group-relative advantages)을 사용하여 업데이트됩니다. 동일한 그룹 내에서 회복된 궤적을 회복되지 않은 실패와 비교함으로써, 모델은 어떤 성찰이 유용한지, 그리고 어떻게 효율적으로 성찰을 생성할지를 학습합니다.

C. 제로 검증기 추론 단계 (Zero-Verifier Inference Stage)

배포 시, ReGRPO는 효율성을 보장하기 위해 단일 경로, 제로 검증기(zero-verifier) 모드로 작동합니다.

• 결정론적 트리거 (Deterministic Trigger): 경량 게이트 $g_i$가 로컬 성찰-교정 블록을 열지 여부를 결정합니다. 다음 조건 중 하나가 충족되면 트리거가 활성화됩니다:
  1. 도구 오류가 감지됨.
  2. 관측값이 비어 있음.
  3. 동작에 대한 정책의 신뢰도($u_i$)가 적응형 임계값($\kappa_i$) 미만임.
• 회복 (Recovery): 트리거가 작동하면, 에이전트는 단일 로컬 블록을 실행합니다: $a^{(0)} \to o^{(0)} \to z \to a^{(1)} \to o^{(1)}$. 이를 통해 외부 검증기 호출이나 탐색 없이 자가 교정이 가능합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 구조화된 성찰 데이터 엔진: 원시 도구 실행 실패를 근거 있는 "오류-성찰-교정" 감독으로 변환하는 파이프라인을 구축하여, 에이전트가 초기 단계부터 회복 전략을 학습할 수 있게 합니다.
2. ReGRPO 알고리즘: 구조화된 성찰을 GRPO 목적 함수에 통합하는 새로운 최적화 프레임워크입니다. 이는 성찰을 정적인 프롬프트가 아닌 결정 변수로 취급하여 성찰 생성과 교정 동작을 공동으로 최적화합니다.
3. 최첨단 성능 (State-of-the-Art Performance): 동일한 백본(Qwen2-VL-7B) 및 도구 세트 설정 하에서, ReGRPO는 GTA 및 GAIA 벤치마크에서 비교 대상인 오픈 소스 컨트롤러들 중 가장 우수한 결과를 달-성하며, MAT-AGENT 및 SPORT와 같은 강력한 베이스라인을 능가합니다.

4. 실험 결과

저자들은 두 가지 멀티모달 벤치마크에서 ReGRPO를 평가했습니다:

• GTA (229개 작업): 시각적 인지 및 국소 작업(예: 영수증 읽기)에 중점을 둡니다.
• GAIA (446개 작업): PDF, PPTX, XLSX에 걸친 문서 이해, 웹 네비게이션 및 논리적 추론에 중점을 둡니다.

주요 결과:

• 성능: 기본 제로 검증기 ReGRPO ($\lambda_{val}=0$)는 GTA에서 67.66%의 정답 정확도를, GAIA에서 **23.35%**를 달성했습니다. 이는 SPORT 베이스라인 대비 상당한 향상입니다 (GTA +7.40%, GAIA +2.74%).
• 절제 연구 (Ablation Studies):
  • RoT SFT: 웜스타트 SFT를 위해 구조화된 성찰 데이터를 추가했을 때 표준 SFT보다 성능이 향상되었으며, 이는 명시적 오류 진단의 가치를 입증합니다.
  • 구조화 vs 자유 형식: 구조화된 성찰(스키마 제약)이 자유 형식의 성찰보다 우수한 성능을 보였으며, 이는 ErrorType-Evidence-FixPlan 스키마가 효과적인 학습에 필수적임을 나타냅니다.
  • 검증기 독립성: 선택적인 교사 유도 검증기 보상을 추가하는 것이 미미한 이득을 주었으나, 핵심 ReGRPO 파이프라인은 검증기 없이도 매우 효과적으로 작동하여 제로 검증기 배포 전략의 타당성을 입증했습니다.

5. 의의 및 주장

본 논문은 ReGRPO가 도구 사용 에이전트의 핵심적인 간극, 즉 취약한 지도 궤적이나 값비싼 외부 검증에 의존하지 않고 실패로부터 회복하는 능력을 해결한다고 주장합니다.

• 교정의 내재화: 성찰을 테스트 타임 휴리스틱으로 취급하는 이전 방법들과 달리, ReGRPO는 교정 루프를 정책 파라미터 내에 내재화합니다. 모델은 언제 성찰할지, 그리고 어떻게 성공적인 회복으로 이어지는 근거 있는 진단을 생성할지를 학습합니다.
• 효율성: 결정론적 트리거와 단일 경로 실행 전략을 사용함으로써, ReGRPO는 외부 검증기나 다중 경로 탐색의 계산 오버헤드 없이 낮은 지연 시간과 배포 효율성을 유지합니다.
• 일반화 가능성: 이 프레임워크는 백본(Qwen2-VL-7B로 입증됨) 및 도구 세트에 대해 모델 불가지론적(model-agnostic)으로 설계되어, 견고하고 자가 교정 가능한 멀티모달 에이전트를 위한 확장 가능한 접근 방식을 제공합니다.

저자들은 구조화된 성찰이 그룹 상대 정책 최적화를 통해 최적화될 때, 실제 세계의 다단계 작업에 내재된 분포 변화(distribution shifts)와 도구 실패를 처리하는 강력한 메커리즘을 제공한다고 결론짓습니다.