기술 요약: ReFact – 압축적이고 충실한 사고 사슬(Chain-of-Thought) 추론을 위한 적응형 사실 재진술

1. 문제 정의

대규모 언어 모델(LLM)은 긴 컨텍스트 입력을 포함하는 복잡한 작업을 해결하기 위해 점점 더 긴 형태의 추론에 의존하고 있습니다. 그러나 기존 모델들은 특히 증거가 불완전하거나, 노이즈가 있거나, 모델의 파라미터 지식과 충돌하는 경우, 제공된 문맥적 증거와 자신의 추론 과정을 일치시키는 데 어려움을 겪는 경우가 많습니다. 이러한 불일치는 모델이 관련 문맥을 간과하거나, 입력 내용과 모순되는 내부 지식에 의존하거나, 환각된 추론 단계를 생성하는 "불충실한(unfaithful)" 사고 사슬(CoT)로 이어집니다.

현재의 근거 기반 추론 방식은 크게 두 가지 범주로 나뉘며, 두 방식 모두 한계가 있습니다:

1. 인용 기반 생성(Citation-Based Generation): 이러한 방식은 생성 중 또는 생성 후에 인용을 추가하여 투명성을 높입니다. 그러나 이는 인용을 추론 과정의 필수적인 구성 요소로 취급하기보다는 외부 참조로 취급하므로, 인용된 정보가 중간 추론을 뒷받el하기에 충분한지를 보장하지 못합니다.
2. 사실 재현 추론(Fact-Reproducing Reasoning): 이러한 방식은 LLM이 문맥으로부터 지원하는 사실을 명시적으로 재진술하도록 요구합니다. 이는 정렬(alignment)을 개선하지만, 엄격한 재진술 요구 사항은 종면히 추론 궤적의 압축성과 일관성을 해칠 수 있으며, 적응적으로 증거를 활용하지 못하고 중복되거나 과도하게 인용된 흔적을 생성하게 만듭니다.

핵심 과제는 LLM이 언제 문맥적 근거가 필요한지, 그리고 신뢰할 수 있고 압축적이며 충실한 추론을 보장하기 위해 어떠한 수준의 세부 정보로 소스 사실을 재진술해야 하는지를 결정할 수 있도록 하는 것입니다.

2. 방법론: ReFact 프레임워크

ReFact(Adaptive Fact Restatement)는 특정 추론 단계에 필요할 때만 다양한 세밀도(엔티티, 구절, 문장 또는 단락)로 소스 사실을 선택적으로 재진술할 수 있도록 설계된 프레임워크입니다. 이 프레임워크는 **지도 미세 조정(SFT)**에 이은 **강화 학습(RL)**이라는 2단계 훈련 파이프라인을 채택합니다.

2.1 훈련 데이터 구축

저자들은 기존 QA 데이터셋(HotpotQA_CARE 및 MuSiQue)으로부터 적응형 인용 기반 추론 궤적을 합성하여 데이터셋($D_{training}$)을 구축합니다.

• 교사 모델(Teacher Model): 더 강력한 교사 LLM(Gemini-3.1-preview)이 고품질의 추론 궤적을 생성합니다. 이 모델은 문맥에 제공된 "지원 사실(Supporting Facts)"을 바탕으로 언제 인용할지, 그리고 어떻게 사실을 재진술할지(세밀도 및 형태)를 결정하도록 프롬프트됩니다.
• 길이가 다양한 컨텍스트: 긴 컨텍스트 시나리오 전반에 걸친 일반화 성능을 보장하기 위해, 골드 컨텍스트(gold context)를 다양한 길이(32k, 64k, 128k 토큰)의 방해 문서(distractor documents) 안에 삽전하여 실제 환경의 롱 컨텍스트 챌린지를 시뮬레이션합니다.
• 품질 필터링: 생성된 궤적은 다음 네 가지 기준에 따라 필터링됩니다:
  1. 형식(Format): 태그(<evidence N>...</evidence>)의 올바른 사용 및 추론과 정답의 분리.
  2. 정확성(Accuracy): 최종 답변이 골드 표준과 일치함.
  3. 추적 가능성(Traceability): 인용된 모든 내용은 지원 사실에 있는 내용을 그대로(verbatim) 포함해야 함.
  4. 답변 가능성(Answerability): 검증 모델이 오직 인용된 내용만을 사용하여 정답을 도출할 수 있어야 하며, 이는 인용이 충분함을 보장함.

2.2 2단계 훈련 파이프라인

학생 모델(Qwen3-4B 및 Qwen3-8B)은 다음 과정을 통해 최적화됩니다:

1. 콜드 스타트 SFT(Cold-Start SFT): 모델은 정제된 $(question, long\_context, reasoning\_trajectory)$ 쌍을 통해 출력 형식을 학습하고 문맥의 사실에 근거하여 추론하는 동작을 학습합니다.
2. 그룹 상대 정책 최적화(GRPO): 모델은 다음 네 가지 구성 요소를 균형 있게 고려하는 보상 함수($R$)를 통해 추가 최적화됩니다:
   • $R_{format}$: 구조적 정확성.
   • $R_{acc}$: 답변의 정확성.
   • $R_{trace}$: 인용된 내용의 원본 대비 충실도.
   • $R_{ans}$: 질문에 답하기 위한 인용 내용의 충분성.
     최종 보상은 가중 합계입니다: $R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$.

3. 주요 기여

• 적응형 인용 메커니즘: 고정된 인용 위치나 사후 속성을 강제하는 기존 연구와 달리, ReFact는 모델이 사실 재진술의 필요성과 세밀도를 적응적으로 결정하도록 가르칩니다. 이는 불필요한 중복 없이 더 밀도 있고 충실한 추론 궤적을 생성합니다.
• SFT-to-RL 프레임워크: 인용 형식 학습(SFT)에서 인용의 유용성 최적화(RL)로 넘어가는 구체적인 훈련 파이프라인을 제안하여, 인용된 사실이 단순히 존재하는 것을 넘어 추론에 충분하도록 보장합니다.
• 압축적이고 충실한 추론: 이 접근 방식은 충실도를 높이는 것이 반드시 더 긴 추론 궤적을 요구하지 않는다는 것을 보여줍니다. 실제로 ReFact는 정확도를 유지하거나 향상시키면서도 훨씬 짧은 궤적을 생성합니다.

4. 실험 결과

실험은 LongBench v1/v2, LV-Eval(16k–128k 컨텍스트), ConFiQA(역설적 충실도)에서 수행되었습니다.

• Long-Context QA 성능: ReFact는 LongBench v1 및 LV-Eval에서 베이스라인(Zero-Shot, LongAlign, LongFaith, CARE)을 지속적으로 능가했습니다. 다양한 컨텍스트 길이(최대 128k)에 대해 더 높은 F1 점수를 달성하는 동시에, 훨씬 적은 추론 토큰을 생성했습니다(예: CARE 대비 토큰 사용량을 약 60-70% 감소).
• 인용 품질 및 효율성: 분석 결과, ReFact는 Zero-Shot 및 CARE에 비해 훨씬 적은 수의 사실을 재진술하면서도 더 높은 인용 F1 점수(골드 증거와의 더 나은 일치)를 달est했습니다. 이는 모델이 답변에 충분한 증거만을 선택하는 법을 학습했음을 나타냅니다.
• 역설적 충실도(Counterfactual Faithfulness): 컨텍스트가 파라미터 지식과 상충하는 ConFiQA에서, ReFact는 더 높은 소스 선호도(PS)와 더 낮은 파라미터 오버라이드(PO)를 보여주었습니다. 이는 제공된 컨텍스트를 암기된 사실보다 따를 가능성이 더 높음을 의미합니다.
• 메커니즘 분석:
  • Perplexity: ReFact 궤적은 골드 답변에 대해 더 낮은 Perplexity를 나타냈으며, 이는 최종 예측을 위한 더 강력한 가이드를 제공함을 의미합니다.
  • FFN 활성화: 피드포워드 네트워크(FFN) 활성화 분석 결과, ReFact는 Zero-Shot에 비해 중간 및 심층 레이어에서 더 낮은 활성화 비율을 보였습니다. 이 레이어들은 파라미터 메모리 검색과 연관되어 있으므로, 이는 ReFact가 컨텍스트와 충돌하는 내부 지식에 덜 의존함을 시사합니다.
• 절제 연구(Ablation Studies): "답변 가능성" 보상이나 "증거 정렬" 감독을 제거하면 성능 저하가 발생했으며, 이는 증거의 충분성과 명시적 정렬을 최적화하는 것이 매우 중요하다는 것을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 ReFact가 LLM 추론을 압축적이면서도 충실하게 만드는 데 있어 중요한 진전임을 주장합니다. 인용을 외부 참조에서 적응형 중간 추론 상태로 변환함으로써, ReFact는 모델이 다음을 수행할 수 있게 합니다:

1. 인지 부하 감소: 필요한 사실만을 재진술함으로써 추론 과정이 간결하게 유지됩니다.
2. 신뢰성 향 향상: 모델이 자신의 추론 단계가 제공된 문맥에 의해 뒷받침되는지 명시적으로 검증하도록 훈련되므로, 환각이나 파라미터 오버라이드에 덜 취약해집니다.
3. 효율성 개선: 추론 토큰의 감소는 고품질의 추론이 장황하고 중복된 재진술을 필요로 하지 않음을 보여주며, 이를 통해 롱 컨텍스트 추론을 계산적으로 더 효율적으로 만듭니다.

저자들은 충실한 롱 컨텍스트 추론의 핵심은 더 많은 인용을 강제하는 것이 아니라, 모델이 적절한 세밀도로 올바른 사실을 적응적으로 선택하고 통합하도록 가르치는 데 있다고 결론짓습니다.