기술 요약: ProFact – 다단계 사실 검증을 위한 에이전트 기반 강화 학습

1. 문제 정의

오픈 도메인 환경에서의 자동화된 사실 검증은 주장 분해(claim decomposition), 증거 수집, 판정 예측을 포함하는 본질적인 다단계 의사결정 과정이다. 최근의 접근 방식들은 대규모 언어 모델(LLM)과 검색 증강 추론을 결러합하고 있으나, 기존 방법들은 이러한 단계들을 개별적으로 최적화하거나 고정된 휴리스틱에 의존하여 조정한다. 이러한 분리는 중간 결정(예: 검증 질문 생성)이 궁극적인 목표인 정확한 판정 예측과 정렬되지 않는 최적화 미달의 결과를 초래한다. 더욱이, 전체 검증 궤적(trajectory)을 최적화하는 것은 **희소하고 지연된 감독(sparse and delayed supervision)**으로 인해 매우 까다롭다. 즉, 최종 진위 여부 라벨은 프로세스 종료 시에만 보상을 제공하므로, 특정 검색 쿼리나 분해 단계와 같은 특정 중간 행동에 대한 공로를 할당하기 어렵다.

2. 방법론: ProFact 프레임워크

저자들은 다단계 사실 검증 궤적의 엔드 투 엔드(end-to-end) 최적화를 위해 설계된 에이전트 기반 강화 학습(RL) 프레임워크인 ProFact를 제안한다.

2.1 마르코프 결정 과정(MDP)으로서의 정식화

ProFact는 사실 검증을 유한 수평 마르코프 결정 과정($M = (S, A, P, r, \rho_0, T)$)으로 모델링한다:

• 상태 ($S$): 주장, 생성된 질문, 검색된 증거, QA 쌍, 그리고 현재 추론 단계를 포함한다.
• 행동 ($A$): 검증 질문 생성, 검색 도구 호출, 증거에 기반한 답변 합성, 최종 판정 예측을 포함하는 단일 정책 $\pi_\theta$에 의해 생성되는 통합된 행동들이다.
• 궤적 (Trajectory): 전체 검증 워크플로우를 나타내는 상태와 행동의 시퀀스 $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$이다.

2.2 3단계 검증 롤아웃

에이전트는 인간의 팩트 체크를 모방한 3단계 워크플로우를 실행한다:

1. 질문 단계 (Question Stage): 에이전트는 주장을 일련의 검증 질문($Q$)으로 분해한다.
2. 검색 단계 (Search Stage): 각 질문에 대해, 에이전트는 사전 구축된 증거 저장소로부터 반복적인 검색을 수행하며(Qwen3-Embedding-0.6B 및 kNN을 통한 시맨틱 검색 사용), 증거에 기반한 답변($A$)을 생성한다. 불필요한 확장을 방지하기 위해 질문 사이에는 컨텍스트가 초기화된다.
3. 판정 단계 (Verdict Stage): 축적된 증거와 답변을 바탕으로, 에이전트는 최종 진위 여부 라벨(지지됨, 반박됨, 충분한 증거 없음, 또는 상충하는 증거 있음)을 예측한다.

2.3 프로세스 인지 보상 함수 (Process-Aware Reward Function)

최종 라벨의 희소성 문제를 해결하기 위해, ProFact는 밀도 높은 단계별 감독을 제공하는 프로세스 인지 보상 함수를 도입한다:

• 질문 단계 보상 ($r_q$): 생성된 질문과 골드 스탠더드(gold-standard) 질문 간의 METEOR 기반 매칭을 통해 계산된다.
• 검색 단계 보상 ($r_s$): 생성된 질문-답변 쌍과 골드 스탠더드 증거 주석 간의 METEOR 기반 매칭을 통해 계산된다.
• 판정 단계 보상 ($r_v$): 예측된 라벨이 골드 라벨과 일치하면 $1$, 그렇지 않으면$0$을 반환하는 지표 함수이다.
• 총 리턴 (Total Return): 궤적 전반에 걸친 보상의 합으로, 희소한 결과 신호를 중간 학습 신호로 변환한다.

2.4 GRPO를 통한 최적화

프레임워크는 훈련을 위해 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용한다. 별도의 크리틱(critic) 네트워크를 사용하는 대신, GRPO는 동일한 주장에 대해 샘플링된 $G$개의 궤적 그룹을 비교함으로써 어드밴티지(advantage) 함수를 추정한다. 어드밴티지 $\hat{A}_{i,g}$는 궤적의 총 리턴을 그룹의 평균 및 표준 편차에 대해 정규화하여 계산된다. 이를 통해 이질적인 단계별 보상과 검색 의존성을 고려한 가치 함수 근사 없이도, 통합된 정책의 안정적인 엔드 투 엔드 최적화가 가능하다.

3. 주요 기여

1. 에이전트 기반 검증 프레임워크: ProFact는 명시적인 검색 행동을 가진 단일 정책을 통해 주장 분해, 증거 검색, 판정 예측을 통합하여, 사실 검증을 롱 호라이즌(long-horizon) 에이전트 의사결정 문제로 정식화한다.
2. 프로세스 인지 궤적 최적화: 프로세스 인지 보상 함수의 도입은 밀도 높은 중간 피드백을 제공하여, 모델이 어떤 중간 행동(분해, 검색, 추론)이 최종 정확도에 기여하는지를 학습할 수 있게 한다.
3. 실증적 검증: 종합적인 실험을 통해 ProFact가 강력한 베이스라인 모델들에 비해 검증 성능과 추론 효율성을 모두 개선함을 입증하였다.

4. 실험 결과

실험은 네 가지 오픈 소스 백본 모델(Qwen2.5-3B/7B, Qwen3-4B/8B)을 사용하여 AVeriTeC 데이터셋에서 수행되었다.

• 성능: ProFact는 모든 지표에서 베이스라인(Consistency, InFact, HerO)을 일관되게 능가했다.
  • AVERI TEC 점수: ProFact는 가장 높은 점수를 기록했다 (예: Qwen2.5-7B에서 HerO의 42.80 대비 ProFact의 48.00). 이는 우수한 엔드 투 엔드 검증 능력을 나타낸다.
  • 정확도: ProFact는 개선된 최종 라벨 예측 정확도를 보여주었다.
  • 중간 품질: ProFact는 가장 우수한 Q-only METEOR 점수를 달성하여 강력한 주장 분해 능력을 보여주었으며, 경쟁력 있는 Q&A METEOR 점수도 확보했다.
• 효율성: ProFact는 추론 효율성 면에서 상당한 이득을 입증했다. InFact와 비교했을 때, ProFact는 주장당 소요 시간을 약 50~70% 단축했으며 토큰 소비량도 크게 줄였다 (예: Qwen2.5-7B에서 InFact의 0.66M 대비 ProFact의 0.38M 출력 토큰).
• 절제 연구 (Ablation Study): 프로세스 보상을 제거했을 경우(w/o PR), 모든 백본에서 일관된 성능 저하가 발생하여, 최종 라벨 감독만으로는 효과적인 다단계 궤적을 학습하기에 불충분함을 확인했다.
• 알고리즘 비교: GRPO는 이 작업에서 PPO, DAPO, GiGPO보다 우수한 것으로 나타났는데, 이는 이질적인 단계별 보상에 대한 가치 함수 학습의 복잡성 없이도 안정적인 궤적 수준의 신호를 제공할 수 있는 능력 때문인 것으로 보인다.

5. 의의 및 주장

본 논문은 프로세스 인지 궤적 최적화가 다단계 사실 검증을 위한 핵심 메커니즘임을 주장한다. 검증을 격리된 모듈의 파이프라인이 아닌 통합된 의사결정 과정으로 취급함으로써, ProFact는 초기 결정(예: 분해)이 후기 단계(예: 판정 예측)의 요구 사항에 적응할 수 있도록 한다. 결과는 다음을 강조한다:

• 효과적인 크레딧 할당(credit assignment)을 위해서는 중간 감독이 필수적이다.
• 프로세스 인지 보상을 가진 에이전트 기반 RL은 더 타겟팅되고 중복이 적은 검증 전략을 학습함으로써 정확도와 추론 비용을 동시에 개선할 수 있다.
• 더 큰 모델이 반드시 더 나은 증거 기반 검증을 제공하는 것은 아니다 (파라미터 지식에 의존할 수 있기 때문). 그러나 ProFact 프레임워크는 다양한 모델 규모에서 효과적으로 작동한다.

저자들은 본 연구가 자동화된 사실 검증을 위한 복잡한 다단계 추론 워크플로우를 최적화하는 데 있어 엔드 투 엔드 강화 학습의 유효성을 입증했다고 결론짓는다.