Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

1. 문제 정의 (Problem)

검색 증강 생성 (RAG) 은 대규모 언어 모델 (LLM) 이 검색된 증거를 기반으로 사실을 생성하도록 하여 환각 (hallucination) 을 줄이는 데 효과적입니다. 그러나 다음과 같은 한계점이 존재합니다.

• 노이즈와 긴 컨텍스트의 한계: 검색된 문맥이 길거나 노이즈가 많을 경우, LLM 의 '중간 손실 (lost-in-the-middle)' 현상으로 인해 모델이 핵심 정보를 놓치거나 성능이 저하됩니다. LLM 의 효과적인 주의 범위는 전체 컨텍스트의 10~20% 에 불과합니다.
• 비교정된 점수 (Uncalibrated Scores): 기존 RAG 파이프라인은 벡터 데이터베이스의 코사인 유사도나 LLM 의 신뢰도 점수를 기반으로 필터링합니다. 그러나 이러한 점수들은 통계적으로 비교정되어 있어, 관련 없는 정보가 포함되거나 중요한 정보가 누락될 확률이 높습니다.
• 통계적 제어의 부재: 기존 휴리스틱 필터링 (상위 k 개 선택, 고정 임계값 등) 은 검색된 관련 정보의 '회수율 (recall)'에 대한 통계적 보장을 제공하지 못합니다.

2. 방법론 (Methodology)

이 논문은 합동 예측 (Conformal Prediction, CP) 기법을 도입하여 생성 전 (pre-generation) 단계에서 컨텍스트를 필터링하는 새로운 프레임워크를 제안합니다.

• 핵심 아이디어: 검색된 문서 조각 (snippet) 을 유지할지 말지 결정하는 임계값을 통계적으로 계산하여, 사용자가 지정한 오버커버리지 (miscoverage) 비율 $\alpha$ 내에서 필요한 관련 정보가 누락되지 않을 것을 보장합니다.
• 워크플로우:
  1. 검색 및 분할: 쿼리 $q$에 대해 검색된 문서 $D_q$를 500 자 윈도우 (중첩 100 자) 단위로 조각 (snippet) $S_q$로 나눕니다.
  2. 점수 매기기 (Scoring): 각 조각에 대해 관련성 점수를 산출합니다.
     • Conformal-Embedding: Qwen3-Embedding-8B 를 사용하여 쿼리와 조각의 임베딩 코사인 거리를 점수로 사용합니다.
     • Conformal-LLM: GPT-4o 를 프롬프팅하여 조각의 관련성을 0~1 사이 점수로 평가합니다.
  3. 합동 예측 (Split Conformal Prediction):
     • 레이블이 지정된 보정 세트 (Calibration Set) 를 사용하여 점수 분포를 분석합니다.
     • 목표 오버커버리지 $\alpha$에 따라, 양의 레이블 (관련 있음) 을 가진 보정 데이터의 $(1-\alpha)$ 분위수 (quantile) 를 임계값 $\hat{\tau}_\alpha$로 설정합니다.
     • 테스트 단계: 새로운 쿼리에 대해 $A(q, s) \le \hat{\tau}_\alpha$인 조각들만 필터링하여 유지합니다.
  4. 보장 (Guarantee): 교환성 (exchangeability) 가정 하에, 레이블이 '관련 있음'인 조각이 필터링되어 유지될 확률은 $1-\alpha$ 이상임을 수학적으로 보장합니다.

3. 주요 기여 (Key Contributions)

1. RAG 를 위한 컨텍스트 엔지니어링 프레임워크 도입: 검색 직후 합동 예측을 적용하여 관련 증거의 커버리지를 보장하는 새로운 필터링 메커니즘을 제시했습니다.
2. 실험적 검증: NeuCLIR 및 RAGTIME 데이터셋에서 합동 필터링이 목표 커버리지를 달성하면서도 컨텍스트 크기를 2~3 배 감소시켰음을 입증했습니다. 엄격한 필터링 하에서도 사실적 정확도가 유지되거나 향상되었습니다.
3. 모델 독립성 및 재학습 불필요: 임베딩 기반 또는 LLM 기반 점수 함수 모두와 호환되며, 생성 모델을 재학습 (fine-tuning) 할 필요 없이 적용 가능한 경량 솔루션입니다.

4. 실험 결과 (Results)

NeuCLIR 과 RAGTIME 데이터셋을 대상으로 한 실험 결과는 다음과 같습니다.

• 커버리지 보장 (Coverage Guarantees):
  • 제안된 방법 (Conformal-Embedding 및 Conformal-LLM) 은 모든 $\alpha$ 값 (0.05~0.40) 에서 이론적 커버리지 보장을 충족하거나 약간 상회했습니다.
  • 반면, 기존 휴리스틱 (Top-k, 고정 임계값) 은 쿼리마다 커버리지가 크게 변동하며 목표 수준 (예: 90~95%) 을 달성하지 못했습니다.
• 컨텍스트 축소 효율성:
  • 엄격한 커버리지 조건 ($\alpha \le 0.20$) 에서 검색된 조각의 25~70% 를 제거하면서도 관련 정보를 모두 포함했습니다.
  • Conformal-Embedding 은 매끄러운 제어력을, Conformal-LLM 은 더 강력한 제거율을 보였으나 점수 이산화로 인해 계단식 변화가 있었습니다.
• 하류 작업 성능 (Downstream Answer Quality):
  • NeuCLIR 에서 ARGUE F1 점수를 측정했습니다.
  • 엄격한 필터링 ($\alpha=0.05, 0.10$) 시 필터링되지 않은 베이스라인 (F1 0.69) 대비 F1 점수가 유의미하게 향상되었습니다 (0.720, 0.710).
  • 중간 수준의 필터링 ($\alpha=0.20$) 에서는 베이스라인과 통계적으로 차이가 없었으며, 이는 제거된 콘텐츠가 대부분 중복되거나 관련성이 낮았음을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 RAG 시스템의 컨텍스트 관리에 통계적 엄밀성 (statistical rigor) 을 도입했다는 점에서 의의가 큽니다.

• 신뢰성 있는 컨텍스트 축소: 단순히 문맥을 줄이는 것을 넘어, "필요한 정보가 얼마나 남아있는지"에 대한 수학적 보장을 제공함으로써, LLM 이 주의 집중할 수 있는 유효한 정보만 전달합니다.
• 실용적 적용 가능성: 추가적인 모델 학습 없이 기존 RAG 파이프라인에 쉽게 통합 가능하며, 도메인이나 주제 변화에 따른 적응적 재보정 (adaptive recalibration) 의 기초를 마련했습니다.
• 미래 방향: 분포 변화 (distribution shift) 하에서도 통계적 보장을 유지하기 위한 적응적 재보정 연구가 향후 과제로 제시되었습니다.

결론적으로, 이 논문은 RAG 시스템의 신뢰성과 효율성을 동시에 높이기 위해 합동 예측을 활용한 원칙적인 컨텍스트 엔지니어링이 필수적임을 증명했습니다.