기술 요약: RefGRPO를 통한 성찰 격차(Reflection Gap) 해소

1. 문제 정의: 성찰 격차 (The Reflection Gap)

대규모 언어 모델(LLM)은 실행 결과, 에러 메시지, 도구 출력과 같은 구체적인 피드백을 받는 외부 환경과 상호작용하는 에이전트로 점점 더 많이 배치되고 있습니다. 유능한 에이전트는 이러한 피드백을 활용하여 자신의 성능을 정확하게 평가할 수 있어야 합니다. 그러나 저자들은 LLM 에이전트가 구체적인 환경 피드백을 관찰한 후에도 자신의 출력을 잘못 평가하는 지속적인 **"성찰 격차(reflection gap)"**를 식림합니다.

잘 알려진 과잉 확신(overconfidence) 문제와는 대조적으로, 저자들은 에이전트가 종종 심각한 **과소 확신(underconfidence)**을 보이며, 정답을 오답으로 표시하는 현상을 발견했습니다. 표준 강화 학습(RL) 알고리즘, 특히 그룹 상대 정책 최적화(GRPO)는 이 문제를 해결하지 못합니다. 표준 RL은 작업 정확도는 개선하지만, 피드백 이후의 성찰 품질은 망가진 상태로 남겨둡니다.

근본 원인: 저자들은 이를 결과 기반 RL(outcome-only RL)에서의 신용 할당 불일치(credit-assignment mismatch) 때문이라고 설명합니다. 표준 GRPO에서 어드밴티지 신호는 오직 최종 작업 결과($r$)로부터만 도출됩니다. 그 결과:

• 정직한 오류 표시: 에이전트가 오류를 올바르게 표시($s_{ref}=0$)했지만 결과가 실패($r=0$)인 경우, 음의 어드밴티지는 에이전트가 올바른 오류 표시를 억제하도록 훈련합니다.
• 과소 확신된 표시: 에이전트가 성공을 오류로 잘못 표시($s_{ref}=0$)했지만 결과가 성공($r=1$)인 경우, 양의 어드밴티지는 에이전트가 자신의 성공을 의심하도록 훈련합니다.
  표준 RL은 작업의 정확성을 최적화하지만, 의도치 않게 정직한 자기 평가를 처벌하게 됩니다.

2. 방법론: RefGRPO

이 격차를 메우기 위해 저자들은 표준 RL에 두 가지 핵심 요소인 자유 보정 보너스(free calibration bonus)와 동적 스케줄(dynamic schedule)을 결ert한 RefGRPO를 제안합니다.

A. 자유 보정 보너스 (Free Calibration Bonus)

핵심 혁신은 에이전트의 피드백 후 성찰($s_{ref}$)과 실제 결과($r$)를 대조하여 계산되는 보너스입니다.

• 메커니즘: 각 롤아웃 $k$에 대해, 이진 보정 보너스 $c_k = \mathbb{I}(s_{ref,k,H} = r_k)$가 계산됩니다. 이 보너스는 그룹 정규화 전에 결과 보상에 더해집니다:
  $$\tilde{r}_k = r_k + \alpha(t) \cdot c_k$$
• 의미: 이 보너스가 "자유로운(free)" 이유는 추가적인 보상 모델, LLM 판사 또는 외부 주석이 필요하지 않기 때문입니다. 이는 오직 에이전트 자신의 성찰과 알려진 환경 결과에만 의존합니다. 이는 잘 보정된 롤아웃(에이전트가 결과를 올바르게 예측한 경우)이 작업 자체의 성공 여부와 관계없이 양의 상대적 어드밴티지를 받도록 보장합니다.

B. 동적 스케줄 (Dynamic Schedule)

저자들은 정적인 보정 보너스가 보상 신호를 성찰 품질로 일부 전용하기 때문에 작업 정확도를 약간 저하시킬 수 있음을 관찰했습니다. 이를 균형 있게 조절하기 위해 이들은 계수 $\alpha(t)$를 위한 동적 스케줄을 도입했습니다:

• 2단계 스케줄:
  1. 전방 배치 단계 ($t \le \gamma \cdot T$): 훈련 초기 단계에서 보정 학습을 우선시하기 위해 더 큰 계수($\alpha_0$)를 사용합니다.
  2. 감쇠 단계 ($t > \gamma \cdot T$): 계수가 더 작은 값($\alpha_1$, 흔히 0)으로 감소하여, 모델이 첫 번째 단계에서 학습한 보정 능력을 유지하면서 작업 성능을 극대화하는 데 집중할 수 있도록 합니다.

C. 평가 지표

논문은 작업 정확도와 성찰 보정을 통합하는 지표로 ChowScore(통계적 학습에서 차용)를 도입합니다. 이는 올바른 확언($s_{ref}=1, r=1$)에 보상을 주고, 정직한 오류 표시에는 고정된 크레딧 $\beta$를 할당함으로써, 에이전트가 작업을 해결했음을 아는 능력을 효과적으로 측정합니다.

3. 주요 결과

실험은 Qwen2.5-Coder (3B/7B) 및 Llama-3.2-3B 모델을 사용하여 5가지 벤치마크(Spider-Dev, Spider-DK, Spider-Realistic, Spider-Test, Bird-Dev)의 텍스트-투-SQL 작업에 대해 수행되었습니다.

• 보정 개선: RefGRPO는 과소 확신율을 획기적으로 줄였습니다. Qwen2.5-Coder-7B의 멀티 턴 설정에서 과소 확신율은 44.4%(GRPO+)에서 **7.7%**로 급감했습니다.
• 작업 정확도: 성찰을 위해 정확도를 희생하는 경우가 많은 표준 RL과 달리, RefGRPO는 두 가지 모두를 개선합니다. 7B 모델의 경우 작업 정확도가 **75.1%**에서 **76.5%**로 증가했습니다.
• 통합 지표: ChowScore가 크게 향상되어(예: Qwen-7B의 경우 73.0%에서 76.5%로), 작업을 해결하는 능력과 솔루션이 정답임을 아는 능력이 동시에 향상되었음을 입증했습니다.
• 전문 모델과의 비교: 전문화된 7B SQL 모델(OmniSQL-7B 및 SQL-R1-7B)과 비교했을 때, RefGRPO는 가장 높은 "보정 델타($\Delta = \text{Acc}_{ref} - \text{Acc}$)"를 달성했습니다. 이는 에이전트의 성찰이 단순히 높은 정확도의 부산물이 아니라 진정으로 유익한 정보임을 나타냅니다.

4. 의의 및 시사점

이 논문은 RefGRPO가 에이전트를 순수한 자기 평가가 아닌 환경 피드백에 근거한 자신의 **검증기(verifier)**로 변모시킨다고 주장합니다. 이러한 보정된 성찰은 다음과 같은 두 가지 다운스트림 능력을 가능하게 합니다:

1. 검증기 없는 자기 개선 (Verifier-Free Self-Improvement): 성찰이 보정되었기 때문에, 이는 신뢰할 수 있는 의사 보상(pseudo-reward) 신호로 기능할 수 있습니다. 저자들은 RefGRPO 체크포인트에서 시작하여 (결과 감독 없이 $s_{ref}$를 보상으로 사용하는) 추가적인 자기 개선 훈련을 진행했을 때 상당한 정확도 향상(+2.8 포인트)을 얻었음을 보여주었습니다. 반면, 표준 GRPO 체크포인트는 미보정으로 인해 의사 보상이 붕괴되어 개선에 실패했습니다.
2. 효과적인 테스트 타임 선택적 예측 (Effective Test-Time Selective Prediction): 보정된 에이전트는 추론 중에 스스로 필터 역할을 할 수 있습니다. 정답으로 표시된($s_{ref}=1$) 롤아웃에 대해서만 확언함으로써, RefGRPO는 외부 검증 없이도 오류를 효과적으로 걸러내어 베이스라인보다 더 높은 "선택적 예측 리프트(selective prediction lift, 확언된 샘플의 정확도)"를 달성합니다.

5. 한계 및 향후 과제

저자들은 컴퓨팅 자원 제한으로 인해 훈련된 가장 큰 모델이 7B라는 점을 언급하며, 더 큰 규모에서의 방법론 검증은 향리 과제로 남겨두었습니다. 또한, 현재 작업은 이진 성찰 점수($s_{ref} \in \{0, 1\}$)에 집중하고 있으며, 이를 실수 값 형태의 신뢰 점수로 확장하는 것이 잠재적인 방향으로 제시되었습니다.

요약하자면, RefGRPO는 에이전트의 자기 평가를 현실과 일치시키기 위한 단순하고 주석이 필요 없는 메커니즘을 제공하여, 표준 RL의 구조적인 신용 할당 문제를 해결하고 더욱 견고한 자기 검증적 에이전트 행동을 가능하게 합니다.