기술 요약: StepGap

문제 정의

멀티홉 질문 응답 (QA) 은 모델이 여러 중간 단계를 거쳐 증거를 검색하고 연결하며 검증해야 합니다. 그러나 검색이 교차된 시스템의 현재 평가 및 강화 학습 (RL) 프레임워크는 여전히 최종 결과 지향적이며, 최종 답변의 정확한 일치 (Exact Match, EM) 에만 의존합니다. 이 접근법은 두 가지 구조적 결함을 안고 있습니다:

1. 차별화 부재: EM 은 증거에 기반한 추론 체인과 파라미터적 기억이나 단축키에서 비롯된 우연히 정확한 추론 체인을 구분할 수 없습니다.
2. 국소화 부재: 정책이 실패할 때, EM 은 어떤 단계가 체인을 끊었는지 알리지 않는 영 (zero) 보상 신호만 제공하여 모델이 단계별 수복 행동을 학습하는 것을 방해합니다.

기존의 단계별 검사기들은 모든 하위 작업을 단일 대형 언어 모델 (LLM) 호출로 축소하거나 단일 자연어 추론 (NLI) 호출에 의존합니다. 두 접근법 모두 타입 지정 레이블(특정 오류 유형을 구분) 을 생성하고 이를 학습에 적합한 결정론적 결정에 근거하는 것을 동시에 수행하지 못합니다. 또한, 사후 검증기는 완전한 답변이 생성된 후에만 작동하여 추론 과정 중 생성기를 재지향할 기회를 놓칩니다.

방법론: StepGap

저자들은 StepGap을 제안합니다. 이는 단계별 증거 간극을 탐지하고 세 가지 타입 지정 레이블 중 하나를 출력하도록 설계된 하이브리드 NLI-LLM 결정 트리이며, 각 레이블은 구체적인 수복 행동에 매핑됩니다:

• 모순된 주장 (CONTRADICTED CLAIM, CC): 해당 단계가 검색된 증거와 상충되는 주장을 합니다. 수복: 철회.
• 관련 없는 증거 (IRRELEVANT EVIDENCE, IE): 해당 증거가 단계에서 필요한 개체나 관계를 다루지 않습니다. 수복: 재검색.
• 결여된 연결고리 (MISSING BRIDGE, MB): 증거는 관련성이 있지만 아직 주장을 함축하지는 않습니다. 수복: 연결 검색.

아키텍처

StepGap 은 각 추론 단계 $s_i$ (누적된 증거 $e_{\le i}$가 주어짐) 에 대해 5 단계 하이브리드 결정 트리로서 작동합니다:

1. 단계 A (LLM): 개체/관계 정렬을 확인합니다. 검색 전에 해당 단계가 올바른 개체/관계를 대상으로 하는지 판단합니다. 잘못된 타겟팅은 CC 레이블을 유발합니다.
2. 단계 B (LLM): 거부 유효성을 확인합니다. "판단 불가" 주장이 증거에 근거한 것인지 검증합니다. 정당화되지 않은 거부는 CC 를 유발합니다.
3. 단계 C (LLM): 개체 일관성 및 인용문 추출을 확인합니다. 검색된 증거가 올바른 개체에 관한 것인지 검증하고, 그대로의 지지 인용문을 추출합니다. 불일치는 IE 를 유발합니다.
4. 단계 D (NLI): 국소 함의를 수행합니다. 결정론적 NLI 모델 (DeBERTa-v3) 을 사용하여 단계 C 의 인용문이 주장을 함의하는지 확인합니다.
   • 함의 $\rightarrow$ 간극 없음.
   • 중립 $\rightarrow$ MB.
   • 모순 $\rightarrow$ CC.
5. 단계 E (NLI): 단계 간 검증을 수행합니다. 국소 인용문이 없는 결론 단계에 대해, 해당 주장이 이전 추론 단계들의 증거에 의해 함의되는지 확인합니다. 실패는 IE 를 유발합니다.

과정 보상 통합

타입 지정 출력 $\tau_i$는 GRPO(Group Relative Policy Optimization) 에 단계별 과정 보상으로 통합됩니다:

• 기본 보상 ($r_{base}$): 간극 유형에 따라 스칼라 값을 할당합니다 (예: 간극 없음은 +0.20, IE 는 -0.10, CC 탐지는 +0.05).
• 형상화 보상 ($r_{shape}$): 후속 단계에서 취해진 수복 행동에 조건을 부여합니다. 올바른 수복 수행 (예: IE 후 재검색, CC 후 철회) 에는 보상을 주고, 간극을 무시하거나 거의 중복된 쿼리를 발행하는 경우에는 패널티를 부과합니다.

주요 기여

1. 타입 지정 간극 - 행동 결합: 이 논문은 타입 지정 단계별 레이블이 특정 수복 행동과 결합될 때만 유용하다고 주장합니다. StepGap 은 CC, IE, MB 를 각각 철회, 재검색, 연결 검색에 명시적으로 매핑합니다.
2. 하이브리드 분해성 vs LLM 만의 상쇄:
   • 인간이 주석한 벤치마크 (181 단계) 에서 StepGap 은 sF1 72.0을 달성하여 LLM 만의 기준선 (70.1) 과 통계적으로 구별되지 않습니다.
   • 그러나 절차 제거 실험은 질적 차이를 드러냅니다: StepGap 에서 어떤 구성 요소를 제거해도 성능이 하락하는 반면 (건강한 분해), LLM 만의 기준선에서 네 가지 구성 요소 중 세 가지를 제거하면 성능이 향상됩니다. 이는 LLM 만의 시스템이 내부 단계들이 서로의 오류를 가리는 경쟁 오류 상쇄로 고통받으며, 신뢰할 수 있는 RL 신호로 적합하지 않음을 시사합니다.
3. Q-F1 함정: 저자들은 질문 수준 F1(Q-F1) 이 모든 단계를 플래그하는 검사기에 의해 기계적으로 과장되는 메트릭 결함을 폭로합니다. 95% 의 단계를 플래그하는 검사기는 낮은 단계별 정밀도를 가지면서도 거의 천장에 가까운 Q-F1 을 달성할 수 있습니다. StepGap 은 단계별 F1(sF1) 과 균형 정확도 (BA) 를 균형 있게 유지함으로써 이를 피합니다.
4. 과정 보상의 효과성: 타입 지정 GRPO 보상으로 StepGap 을 사용하면 Qwen2.5-7B-Instruct 의 정확한 일치 (Exact Match) 가 32.1에서 35.4로 향상되고 (세 개의 시드 기준), 답변 - 주장 지지율은 **71.5%**로 증가합니다.

결과

• 검사기 성능: StepGap 은 181 단계 인간 벤치마크에서 sF1=72.0, Q-F1=81.2, BA=60.6% 를 달성합니다. 이는 간극 유형의 건강한 분포 (IE 약 38%, CC 약 15%, MB 약 6%) 를 유지하는 반면, 단일 강력한 LLM 과 같은 퇴화 변형은 거의 모든 것을 IE 로 플래그 (87.8%) 하여 오류 유형을 구분하지 못합니다.
• RL 학습:
  • Typed+Shape(형상화 보상이 포함된 StepGap) 는 Search-R1 GRPO 기준선보다 평균 EM 에서 +5.6 (29.8 $\rightarrow$ 35.4) 더 우수합니다.
  • 또한 엄격하게 도메인 밖인 MuSiQue 데이터셋에서 Search-R1 기준선보다 EM 에서 +10.9 더 우수합니다.
  • 보상 신호는 정책이 단순히 오류를 피하는 것이 아니라 검색 횟수를 늘리고 (2.5 에서 2.8 로) 구체적인 수복을 수행하도록 장려합니다.
• 증류: 증류된 Qwen2.5-7B 학생 모델은 추론 중 API 호출 없이도 교사 모델의 F1 점수의 **87%**를 유지하여 긴 RL 실행을 위해 시스템을 확장 가능하게 만듭니다.

중요성과 주장

이 논문은 StepGap 이 기존 검사기와 비교하여 질적으로 다른 과정 신호를 제공한다고 주장합니다. 두 시스템이 겹치는 F1 신뢰 구간을 가질 수 있지만, 단조로운 구성 요소 기여도(StepGap) 를 가진 시스템만이 타입 지정 RL 보상에 적합합니다. LLM 만의 접근법은 유사한 집계 정확도에도 불구하고 오류 상쇄에 의존하여 실패의 구체적 성격을 흐리게 하므로, 정책이 특정 수복을 수행하도록 학습시키는 데는 신뢰할 수 없습니다.

저자들은 StepGap 을 단순히 더 나은 탐지기가 아니라 에이전트 RAG 학습을 위한 필수 구성 요소로 위치시킵니다. 이는 모델이 최종 오류를 피하는 것뿐만 아니라 추론 체인을 어떻게 수정할지 (철회, 재검색, 연결) 학습할 수 있게 합니다. 이 연구는 "Q-F1 함정"을 피하고 RL 학습의 개선이 우연한 상관관계가 아닌 진정한 추론 능력에 의해 주도되도록 보장하기 위해 질문 수준 메트릭보다 단계별 진단의 필요성을 강조합니다.

저자가 지적한 한계:

• 인간 평가 세트가 작아 (181 단계) 기준선과 신뢰 구간이 겹칩니다; 기여도는 원시 F1 승리보다는 아키텍처 특성 (분해성) 을 중심으로 서술됩니다.
• 보상 크기는 Qwen2.5-7B 에 맞춰 조정되었으며 Llama-3.1-8B 에 제로샷으로 이전되지 않습니다.
• 철회 탐지는 표면 패턴 매칭에 의존하므로 이론적으로 보상 해킹에 취약할 수 있으나, 200 회 반복 실행에서는 관찰되지 않았습니다.