Context Shapes LLMs Retrieval-Augmented Fact-Checking Effectiveness

1. 연구 배경 및 문제 정의 (Problem)

거대 언어 모델 (LLM) 은 다양한 작업에서 뛰어난 추론 능력을 보여주지만, **긴 맥락 (Extended Context)**을 처리할 때 일관되지 않은 성능을 보입니다. 기존 연구들은 주로 질문 답변 (QA) 작업에서 '중간 맥락의 퇴화 (Mid-context degradation)' 현상을 강조해 왔으나, 사실 확인 (Fact Verification) 작업에서 맥락의 길이나 증거 (Evidence) 의 배치 위치가 모델 성능에 어떻게 영향을 미치는지에 대한 연구는 부족했습니다.

사실 확인은 단순한 정보 검색을 넘어, 여러 증거를 종합하고 상충되는 정보를 조율해야 하는 복잡한 추론을 요구합니다. 따라서 본 연구는 다음과 같은 핵심 문제를 다룹니다:

• 외부 증거 없이 모델의 내부 지식 (Parametric Knowledge) 만으로 얼마나 많은 주장을 검증할 수 있는가?
• 입력된 맥락의 길이가 사실 확인 정확도에 어떤 영향을 미치는가?
• 프롬프트 내에서 관련 증거가 배치된 위치 (시작, 중간, 끝) 가 정확도에 어떤 영향을 미치는가?

2. 연구 방법론 (Methodology)

2.1 데이터셋 및 모델

• 데이터셋: 3 개의 사실 확인 데이터셋 사용 (HOVER, FEVEROUS, ClimateFEVER). 모든 데이터셋은 SUPPORTS(지지) 와 REFUTES(부정) 의 이진 분류로 통일하여 비교했습니다.
  • 참고: 데이터 누출 (Memorization) 을 최소화하기 위해 Hover 와 FEVEROUS 은 개발 세트 (Dev set) 를, ClimateFEVER 은 학습 세트 (Train set) 를 사용했습니다.
• 모델: 다양한 크기와 계열의 5 가지 오픈 소스 LLM 평가.
  • 계열: Llama-3.1, Qwen2.5, Qwen3
  • 크기: 7B, 8B, 32B, 70B 파라미터
  • 모든 모델은 지시 튜닝 (Instruction-tuned) 버전을 사용했습니다.

2.2 실험 설계

연구는 세 가지 주요 실험 단계를 거쳤습니다:

1. 매개변수 지식만 평가 (Parametric-only): 외부 증거 없이 주장 (Claim) 텍스트만 입력받아 검증 수행 (RQ1).
2. 증거 제공 및 맥락 길이 변화: 정답 (Gold) 증거를 포함하되, 관련 없는 채우기 텍스트 (Filler text) 를 추가하여 총 입력 길이를 2k, 4k, 8k, 16k 토큰으로 조절 (RQ2).
3. 증거 위치 조작 (Evidence Placement): 고정된 총 입력 길이 내에서 증거 블록을 프롬프트의 0% (시작) 에서 100% (끝) 까지 11 개 구간으로 균등하게 배치하여 위치별 영향을 분석 (RQ3).

3. 주요 결과 (Key Results)

3.1 매개변수 지식의 역할 (RQ1)

• 모든 모델이 외부 증거 없이도 상당수의 주장을 내부 지식만으로 해결할 수 있음을 확인했습니다.
• ClimateFEVER 데이터셋에서 매개변수 지식 기반 성능이 가장 높았으며, HOVER가 가장 어려웠습니다.
• 증거를 추가하면 모든 모델에서 정확도가 향상되었으나, 향상 폭은 모델과 데이터셋에 따라 다릅니다 (FEVEROUS 에서 가장 큰 개선 효과 관찰).

3.2 맥락 길이의 영향 (RQ2)

• 전반적인 성능 저하: 맥락 길이가 증가할수록 (2k → 16k) 사실 확인 정확도가 평균적으로 감소하는 경향을 보였습니다. 이는 긴 입력이 모델의 효과적인 증거 활용을 방해함을 의미합니다.
• 비단조적 패턴: Qwen3 계열 모델 (8B, 32B) 은 4k 토큰에서 성능이 일시적으로 최저점을 찍었다가 8k 에서 부분적으로 회복하는 비단조적 (Non-monotonic) 패턴을 보였습니다. 이는 모델의 내부 주의 (Attention) 메커니즘이나 학습 방식과 관련이 있을 것으로 추정됩니다.
• 안정성: Qwen3-32B 모델이 다양한 맥락 길이에서 가장 안정적인 성능을 보였습니다.

3.3 증거 배치의 영향 (RQ3)

• "Lost in the Middle" 현상 재확인: 관련 증거가 프롬프트의 **시작 (0%) 이나 끝 (100%)**에 위치할 때 정확도가 가장 높았고, **중간 (Mid-context)**에 위치할 때 정확도가 현저히 떨어졌습니다.
• 모델별 민감도 차이:
  • Llama-3.1-8B: 증거 위치 변화에 매우 민감하게 반응했습니다.
  • Llama-3.1-70B: 8B 에 비해 위치 변화에 덜 민감했으나 여전히 중간 위치에서 성능 저하가 있었습니다.
  • Qwen3-32B: 모든 모델 중 위치 변화에 가장 강건 (Robust) 했습니다. 증거가 프롬프트의 어디에 있든 (중간 포함) '주장만' 있는 베이스라인보다 높은 성능을 유지했습니다.
• 데이터셋별 차이: ClimateFEVER 데이터셋이 위치 및 맥락 변화에 가장 민감하게 반응했습니다.

4. 주요 기여 및 결론 (Contributions & Conclusion)

1. 사실 확인에서의 맥락 영향 규명: 질문 답변뿐만 아니라 사실 확인 작업에서도 긴 맥락과 증거의 위치가 성능에 결정적인 영향을 미친다는 것을 실증적으로 입증했습니다.
2. 모델 아키텍처 및 학습 전략의 중요성: 단순히 모델 크기 (Scale) 를 키우는 것 (예: 70B) 이 위치 편향을 완전히 해결하지는 못하며, Qwen3 과 같은 최신 모델 계열이 아키텍처나 학습 전략을 통해 위치 편향을 더 잘 완화하고 있음을 발견했습니다.
3. 실무적 시사점:
   • 검색 증강 생성 (RAG) 기반 사실 확인 시스템에서 단순히 더 많은 문서를 입력하는 것만으로는 성능 향상을 보장할 수 없습니다.
   • 프롬프트 구조 최적화: 관련 증거를 프롬프트의 시작이나 끝 부분에 배치하거나, 모델이 중간 정보를 잘 처리하도록 설계하는 것이 필수적입니다.

5. 의의 (Significance)

이 연구는 LLM 기반 자동 사실 확인 시스템의 신뢰성을 높이기 위해 단순한 정보 검색 (Retrieval) 이상의 전략적 프롬프트 설계가 필요함을 강조합니다. 특히, 긴 문맥을 처리해야 하는 실제 환경에서 모델 선택 (Qwen3-32B 와 같은 강건한 모델) 과 증거 정렬 (Evidence Ranking) 전략이 시스템의 최종 성능을 좌우한다는 점을 명확히 했습니다. 향후 연구에서는 주의 패턴 (Attention patterns) 분석을 통해 이러한 위치 강건성의 메커니즘을 더 깊이 규명할 필요가 있습니다.