기술 요약: 그룹 상대적 정책 최적화를 통한 구조적 인과 모델 기반의 다단계 추론 정립

1. 문제 제기

다단계 사실 검증 (Multi-Hop Fact Verification, MHFV) 은 모델이 여러 출처에서 이산적 증거를 검색하고 복잡한 주장을 검증하기 위해 일관된 추론 체인을 종합할 것을 요구합니다. 대규모 언어 모델 (LLM) 이 이 분야에 통합되었음에도 불구하고, 다음과 같은 중대한 한계에 직면해 있습니다:

• 논리적 취약성: 지도 미세 조정 (SFT) 및 사고의 연쇄 (CoT) 접근법을 포함한 기존 방법들은 엄격한 논리 메커니즘 대신 통계적 상관관계를 학습하는 경향이 있습니다. 이로 인해 논리적 체인이 단절되고 "환각된 추론"이 발생합니다.
• 인과 모델링 부재: 그래프 신경망 (GNN) 이나 심볼릭 프로그램과 같은 현재 프레임워크들은 증거 통합을 개선하지만, 증거와 주장 사이의 내재적 인과 의존성을 명시적으로 모델링하지 못하여 검증 과정이 불투명해집니다.
• 복잡성 역설: 저자들은 추론 체인 길이와 정확도 사이에 "역 U 자형" 상관관계가 있음을 경험적으로 규명했습니다. 긴 체인은 초기에 성능을 향상시키지만, 과도한 구조적 복잡성은 노이즈를 유발하여 정확도를 저하시키며, 특히 복잡한 시나리오 (예: 3 홉 또는 4 홉 작업) 에서 두드러집니다.

2. 방법론

제안된 프레임워크인 SCM-GRPO는 구조적 인과 모델 (SCM) 과 그룹 상대적 정책 최적화 (GRPO) 를 결합한 2 단계 학습 파이프라인을 통해 이러한 문제들을 해결합니다.

2.1. 구조적 인과 모델 (SCM) 프레임워크

저자들은 MHFV 를 단순한 레이블 예측 작업이 아닌 구성적 인과 추론 과정으로 공식화합니다. 추론 과정은 $\mathcal{M} = (U, V, F)$로 정의된 튜플에 의해 규정된 방향성 비순환 그래프 (DAG) 로 모델링됩니다:

• 외생 변수 ($U$): 증거 문서에서 검색된 객관적 사실 (루트 노드).
• 내생 변수 ($V$): 논리적 추론을 통해 도출된 중간 결론 및 최종 판정.
• 구조 함수 ($F$): 내생 변수가 그 부모 노드에 의존하는 인과 관계를 명시적으로 정의하는 매핑.

중요한 제약 조건이 부과됩니다: 새로운 내생 변수는 필수적인 부모 집합이 완전히 존재할 때만 그래프에 추가될 수 있습니다. 이는 위상적 순서를 보장하여 논리적 도약과 암묵적 가정을 제거합니다.

2.2. 증류 (Distillation) 를 통한 데이터 구축

이 구조화된 패러다임으로 모델을 학습시키기 위해 저자들은 증류 파이프라인을 활용합니다:

1. 시드 데이터: 고품질 다단계 벤치마크 (HoVer, EX-FEVER) 를 활용합니다.
2. 교사 증류: 강력한 "교사" LLM (예: Qwen3-30B-A3B) 에 최종 레이블뿐만 아니라 SCM 구성 요소 ($U, V, F$) 를 명시적으로 생성하도록 프롬프트를 적용합니다.
3. 검증: 생성된 체인은 기준 정답 레이블과 일관성이 있는지 필터링되어 순차적 의사결정 형식 ($C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$) 으로 구성됩니다.

2.3. 지도 미세 조정 (SFT)

기본 모델은 구축된 구조화된 데이터셋 ($D_{struct}$) 을 사용하여 SCM 추론 패러다임과 정렬됩니다. 목표는 올바른 구조화된 시퀀스 (증거 $\to$ 유도 $\to$ 결론) 를 생성할 확률을 최대화하여 추적 가능한 검증을 위한 기반을 마련하는 것입니다.

2.4. 그룹 상대적 정책 최적화 (GRPO) 를 통한 최적화

구조적 깊이와 간결성 사이의 트레이드오프 ("역 U 자" 문제) 를 해결하기 위해, 저자들은 GRPO 를 활용한 규칙 기반 강화 학습 (RL) 전략을 도입합니다.

• 그룹 샘플링: 주어진 프롬프트에 대해 정책이 $K$개의 추론 시퀀스 그룹을 생성합니다.
• 복합 보상 함수 ($R$): 시퀀스의 품질은 세 가지 구성 요소로 평가됩니다:
  1. 정확성 ($R_c$): 답변 정확도에 기반한 이진 보상.
  2. 구조 ($R_s$): 증거 변수 ($U$) 대 추론 단계 ($V$) 의 비율이 높을수록 보상하여 간결성 (오컴의 면도날) 을 장려하고 과도한 "정신적 체조"를 패널티로 부과합니다.
  3. 길이 ($R_l$): 과도하게 긴 체인과 관련된 저하를 피하기 위해 체인 길이를 최적 구간 $[l_{min}, l_{max}]$로 유도합니다.
• 상대적 이점: GRPO 는 그룹 내 샘플들의 상대적 성능에 기반하여 정책을 업데이트하여 학습 분산을 줄이고 복잡한 추론 전략 학습을 안정화합니다.

3. 주요 기여

1. 공식적 인과 프레임워크: MHFV 에 SCM 을 도입하여 증거와 주장 사이의 인과 의존성을 DAG 를 통해 명시적으로 모델링하는 해석 가능한 의미론적 기반을 제공합니다.
2. 경험적 통찰 및 RL 최적화: 추론 체인 길이와 정확도 사이의 역 U 자형 관계를 발견했습니다. 저자들은 엄격함과 간결성 사이의 균형을 맞추기 위해 구조적 복잡성을 적응적으로 제약하는 새로운 GRPO 기반 전략을 제안합니다.
3. 최첨단 성능: SCM-GRPO 프레임워크는 공개 벤치마크에서 최첨단 (SOTA) 성능을 달성하여 복잡한 다단계 시나리오에서 강력한 일반화 능력과 논리적 일관성을 입증했습니다.

4. 실험 결과

이 프레임워크는 직접 예측, ProgramFC, FOLK, RAG, Search-o1 등 다양한 베이스라인과 비교하여 HoVer 및 EX-FEVER 벤치마크에서 평가되었습니다.

• 전체 성능: SCM-GRPO 는 모든 평가 하위 집합에서 최첨단 (SOTA) 결과를 달성했습니다.
  • HoVer 2 홉: 73.42% (Search-o1 의 69.00% 대비).
  • HoVer 4 홉: 60.88% (Search-o1 의 56.60% 대비).
  • EX-FEVER 3 홉: 75.00% (Search-o1 의 72.80% 대비).
• RL 필요성 검증: 실험 결과, RL 최적화 없이 SCM-CoT 를 적용하면 성능이 종종 저하되는 것으로 나타났습니다 (예: HoVer 2 홉에서 SCM-CoT 만 사용할 때 Qwen3-14B 의 정확도가 57.48% 에서 47.22% 로 하락). 구조적 잠재력을 성능 향상으로 전환하려면 완전한 SCM-GRPO 파이프라인이 필요했습니다.
• 절대 실험: Qwen3-8B 백본에서 최적화 전략을 비교한 결과, GRPO (75.42% 정확도) 는 단독 SFT (73.33%) 와 컨텍스트 선호도 최적화 (CPO, 71.91%) 보다 현저히 우수하여 복잡한 추론을 안정화하는 그룹 단위 상대적 목표의 유효성을 확인했습니다.

5. 의의 및 한계

의의:
이 논문은 명시적 인과 구조에 추론을 정립함으로써 복잡한 사실 검증에 대한 신뢰할 수 있고 해석 가능한 솔루션을 제공한다고 주장합니다. 위상적 유효성을 강제하고 RL 을 사용하여 추론 깊이와 간결성 사이의 트레이드오프를 동적으로 최적화함으로써 LLM 의 "환각된 추론"이라는 중요한 격차를 해소합니다. 이 연구는 구조적 복잡성이 LLM 추론 신뢰성에 미치는 영향에 대한 새로운 경험적 통찰을 제공합니다.

한계:
저자들은 겸손하게 두 가지 주요 한계를 인정합니다:

1. 데이터 의존성: 프레임워크의 성능은 증류를 통해 자동 생성된 구조화된 학습 데이터의 품질에 부분적으로 의존합니다.
2. 초장기 체인 일반화: 4 홉을 초과하는 추론 체인에 대한 일반화 능력은 추가 검증이 필요합니다.

향후 연구는 보다 견고한 데이터 구축 방법론을 탐구하고 인과 추론 프레임워크를 더 넓은 범위의 복잡한 추론 작업으로 확장하는 것을 제안합니다.