기술 요약: SEVA – 프로세스 보상을 활용한 자기 진화형 검증 에이전트 (Self-Evolving Verification Agent with Process Reward)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 신뢰성의 핵심적인 병목 현상인 환각(hallucination) 문제에 직면해 있습니다. 사실 근거 제시 검증기(fact attribution verifiers)는 에이전트의 주장이 소스 문서에 의해 뒷받침되는지 판단하는 안전 계층 역할을 하지만, 기존 솔루션(예: MiniCheck, ClearCheck)은 불투명한 이진 라벨(True/False)만을 출력한다는 근본적인 한계를 가집니다.

이러한 불투명성은 고위험 배포 환경에서 두 가지 명확한 실패를 초래합니다:

1. 자기 수정 능력의 결여: 검증기가 클레임을 플래그(flag) 처리할 때, 에이전트는 무엇이 잘못되었는지(예: 숫자가 부풀려졌는지, 엔티티가 바뀌었는지, 혹은 수식어가 조작되었는지 등) 알 수 없으므로 자율적인 수정이 불가능합니다.
2. 감사 가능성 격차: 추론 과정이 보이지 않기 때문에 인간 운영자는 결정의 근거를 유의미하게 감사할 수 없습니다.

나아가, 표준적인 **이진 보상(binary rewards)**을 사용하여 이러한 구조화된 검증기를 강화 학습(RL)으로 훈련하는 것은 실패합니다. 다중 구성 요소 출력(예: 정렬, 추론, 라벨이 포함된 JSON)에 적용될 경우, 이진 보상은 그룹 상대 정책 최적화(GRPO)에서 **이점 붕괴(advantage collapse)**를 일으킵니다. 훈련 그룹 내 대부분의 응답이 (파싱 오류나 단일 구성 요소의 오류로 인해) 0의 보상을 받게 되면, 그룹 내 분산이 사라져 정책 경사(policy gradient)가 소멸하고 훈련이 정체됩니다.

2. 방법론

2.1. 구조화된 검증 스키마 (SEVA)

SEVA는 단일 라벨 대신 구조화되고 감사 가능한 출력 $v = (A, C, y, \gamma, e, s)$를 생성하도록 설계되었습니다:

• 증거 정렬 ($A$): 클레임 구간을 소스 구간에 매핑하고 상태(일치, 불일치, 찾을 수 없음)를 표시하는 트리플(triples).
• 추론 체인 ($C$): 소스 증거에 따라 논리를 추적하는 단계별 검증 과정.
• 라벨 및 신뢰도 ($y, \gamma$): 이진 귀속 라벨과 함께 캘리브레이션된 신뢰도.
• 오류 진단 ($e, s$): 클레임이 귀속 불가능할 경우, 모델은 6가지 오류 유형(수치 과장, 부정 반전, 범위 팽창, 시점 변화, 엔티티 교체, 허구 생성) 중 하나를 식별하고 수정 방안을 제안합니다.

2.2. 프로세스 보상 메커니즘

이진 보상의 이점 붕괴를 극복하기 위해, 저자들은 검증 품질을 5개의 독립적인 구성 요소와 1개의 캘리브레이션 항으로 분해하는 프로세스 보상(Process Reward) 함수 $R$을 도입합니다:
$$R = \underbrace{w_f R_f + w_a R_a + w_c R_c}_{\text{프로세스 (70\%)}} + \underbrace{w_l R_l + w_d R_d}_{\text{결과 (30\%)}} + R_{cal}$$

• 구성 요소:
  • $R_f$: 형식 유효성 (JSON 파싱).
  • $R_a$: 정렬 품질 (근거 제시).
  • $R_c$: 추론 체인 품질 (단계별 논리).
  • $R_l$: 라벨 정확도.
  • $R_d$: 오류 진단 정확도.
  • $R_{cal}$: 비대칭 캘리브레이션 항 (정확한 확신에는 보상하고, 과도한 확신을 동반한 오류에는 페널티 부여).
• 가중치 설정: 프로세스 구성 요소(형식, 정렬, 추론)에 70%의 가중치를 부여하고, 결과 구성 요소(라벨, 진단)에 30%를 부여합니다. 이는 에이전트가 결과(outcome)를 최적화하기 전에 검증의 *행동(behavior)*을 먼저 숙달하도록 강제합니다.
• 이론적 정당성: 저자들은 이진 보상이 다중 구성 요소 생성에서 GRPO 그룹의 분산을 0으로 만들어 이점 붕괴를 유발하는 반면, 프로세스 보상은 구성 요소 점수를 분리함으로써 비제로(non-zero) 분산을 유지하여 경사가 사라지지 않도록 보장함을 증명합니다 (Proposition 1 & 2).

2.3. 훈련 파이프라인

1. 지도 미세 조정 (SFT): GPT-4o-mini가 주석을 단 4,992개의 구조화된 예시를 사용하여 3B 모델(Qwen2.5)을 미세 조정합니다.
2. 프로세스 보상을 활용한 GRPO: SFT 모델은 350 스텝의 GRPO 훈련을 거칩니다. 프로세스 보상은 구조적 품질과 정확도를 동시에 개선할 수 있도록 경사를 복구합니다.
3. 자기 진화 루프: 검증(Verify) $\rightarrow$ 성찰(Reflect) $\rightarrow$ 탐색(Probe) $\rightarrow$ 정교화(Refine) 루프가 구현됩니다.
   • 성찰(Reflect): 오류 진단을 집계하여 취약한 카테고리를 식별합니다.
   • 탐색(Probe): 이러한 취약 카테고리에 대해 표적화된 적대적 데이터를 생성합니다.
   • 정교화(Refine): 생성된 새로운 데이터로 모델을 미세 조정합니다.
   • 이 루프는 7B 모델 변형에 대해 4회 반복되었습니다.

3. 주요 결과

3.1. 성능 및 구조적 품질

• 정확도: 프로세스 보상으로 훈련된 SEVA-3B는 ClearFacts 벤치마크에서 69.0 F1을 달성하여, GPT-4o-mini(69.8 F1)와 대등한 수준이며 SFT 베이스라인(64.9 F1)을 크게 상회했습니다.
• 구조적 신뢰성: 프로세스 보상은 형식 준수율을 72%(SFT)에서 **100%**로, 정렬 품질을 0.917에서 0.997로 끌어올렸습니다.
• 비교: MiniCheck-7B와 같은 이진 검증기는 더 높은 원시 정확도(81.2 F1)를 달성하지만, 이는 이진 출력을 전제로 합니다. SEVA는 대규모 모델의 성능에 필적하면서도, 안전이 중요한 배포에 필요한 감사 가능한 기질(정렬, 추론, 수정안)을 제공합니다.

3.2. 훈련 역학: 암묵적 커리큘럼

프로세스 보상은 다음과 같은 **암묵적 커리큘럼(implicit curriculum)**을 유도합니다:

• 1단계 (0–150 스텝): 에이전트가 검증 행동(형식, 정렬, 추론 체인)을 숙달합니다.
• 2단계 (150–350 스텝): 에이전트가 검증 결과(F1 점수)를 정교화합니다.
  이는 명시적인 스케줄링 없이 70/30 보상 가중치에 의해 자연스럽게 발생합니다.

3.3. 자기 진화 및 전문화

자기 진화 루프를 통한 반복적 정교화는 구조적 발견을 드러냈습니다: 바로 전문화(specialization), 즉 일반화가 아님입니다.

• 각 정교화 단계는 엄격한 의미의 일반화된 모델보다는 **벤치마크 전문가(benchmark-specialist)**를 생성했습니다.
• 트레이드오프: 2~4라운드는 HaluEval 성능은 높였으나(+14.9 pp), TruthfulQA 성능은 떨어뜨렸습니다(-12.4 pp).
• 이 효과는 4배 더 많은 훈련 데이터를 사용한 4라운드에서도 지속되었으며, 이는 이것이 과적합이 아닌 데이터 분포에 의한 현상임을 나타냅니다. 구조화된 출력은 집계된 정확도로는 숨겨졌을 이러한 카테고리별 역학을 드러내는 데 필수적이었습니다.

3.4. 절제 연구 (Ablation Studies)

• 이진 보상의 실패: GRPO에서 프로세스 보상을 이진 보상으로 대체했을 때 65 F1 미만의 성능을 보였으며 구조적 개선도 없었습니다. 이는 이진 보상이 이점 붕괴로 인해 훈련을 정체시킨다는 것을 확인시켜 줍니다.
• 보상 민감도: 70/30 분할(프로세스/결과)이 최적의 균형을 보였습니다. 결과에 너무 치중하면 구조적 품질이 저하되었고, 프로세스에 너무 치중하면 라벨 정확도가 감소했습니다.

4. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. SEVA 에이전트: GPT-4o-mini의 정확도에 필적하면서도, 인간의 개입(human-in-the-loop) 신뢰에 필요한 감사 가능한 진단 출력(정렬, 추론, 오류 수정)을 생성하는 구조화된 검증기입니다.
2. 프로세스 보상 솔루션: 다중 구성 요소 생성에서의 "이점 붕괴" 문제에 대한 공식적인 해결책입니다. 저자들은 모든 다중 구성 요소 생성 RL 작업에서 보상의 세밀함(granularity)이 출력의 세밀함과 일치해야 한다고 주장합니다.
3. 자기 개선에 대한 구조적 통찰: 표적화된 적대적 탐색(adversarial probe)에 의해 구동되는 반복적 자기 정교화 루프는 일반화된 모델이 아닌 전문가를 만드는 경경향이 있음을 발견했습니다. 이는 Self-Refine 및 STaR 문헌에서 흔히 볼 수 있는 단조로운 개선 가설에 도전합니다.

저자들은 5개 구성 요소의 분해가 "이중 용도 자산"이라고 결론짓습니다. 즉, 하나의 응답으로부터 여러 개의 경사를 추출하여 학습을 가능하게 하고(learning), 동시에 카테고리별 역학을 노출하여 전문화를 발견(discovery)할 수 있게 합니다. 이들은 향후 신뢰할 수 있는 에이전트 파이프라인이 단순히 더 많은 훈련 라운드를 추가하는 것보다, 도메인별 라우팅과 같은 구조적 대응을 우선시해야 한다고 제언합니다.