Entropic Claim Resolution: Uncertainty-Driven Evidence Selection for RAG

1. 문제 정의 (Problem Statement)

현재 Retrieval-Augmented Generation (RAG) 시스템은 주로 **의미적 유사성 (Semantic Similarity)**을 기반으로 문서를 순차적으로 검색하는 '검색 - 읽기 (retrieve-then-read)' 패러다임에 의존합니다. 그러나 지식 집약적이고 복잡한 현실 세계 시나리오에서는 다음과 같은 한계가 존재합니다.

• 지식적 붕괴 (Epistemic Collapse): 단순한 의미적 유사성 기반 검색은 질문과 관련은 있지만, 불확실성을 해결하는 데 필요한 **판별력 (Discriminative)**이 있는 증거를 찾지 못하고, 중복된 정보만 반복적으로 검색하는 경향이 있습니다.
• 상충되는 증거와 모호성: 실제 환경에서는 서로 다른 출처 간에 상충되는 증거가 존재하거나, 질문 자체가 모호한 경우가 많습니다. 이러한 상황에서 기존 RAG는 편향되거나 불완전한 증거 집합을 바탕으로 과신된 (Overconfident) 또는 사실과 다른 (Hallucinated) 답변을 생성합니다.
• 결정적 기준의 부재: 기존 에이전트 기반 (ReAct 등) 또는 그래프 기반 RAG 는 휴리스틱이나 프롬프트에 의존하여 언제 검색을 중단할지, 다음에 어떤 증거를 가져올지 결정합니다. 이는 무한 루프, 조기 종료, 또는 비체계적인 증거 가중치 부여를 초래하며, **지식적 충분성 (Epistemic Sufficiency)**을 수학적으로 정의한 정지 기준이 결여되어 있습니다.

2. 방법론: 엔트로피 기반 주장 해결 (Entropic Claim Resolution, ECR)

저자들은 RAG 추론 과정을 경쟁적인 답변 가설 공간 (Hypothesis Space) 에 대한 엔트로피 최소화 문제로 재정의한 새로운 추론 시간 알고리즘인 ECR을 제안합니다.

핵심 원리

• 목표: 의미적 관련성이 아닌, **정보 가치 (Value of Information)**를 극대화하여 불확실성을 줄이는 증거를 선택합니다.
• 작동 방식:
  1. 가설 공간 초기화: 질문에 대한 가능한 답변 가설 집합 $A = \{a_1, ..., a_k\}$를 생성하고 균일한 사전 확률을 부여합니다.
  2. 기대 엔트로피 감소 (EER) 최적화: 다음에 검증할 원자적 사실 주장 (Atomic Claim) $c$를 선택할 때, 단순 유사도가 아닌 **기대 엔트로피 감소 (Expected Entropy Reduction, EER)**를 최대화하는 주장을 선택합니다.
     • $EER(c) = H(A|X_{eval}) - E[H(A|X_{eval} \cup \{X_c\})]$
     • 즉, 해당 증거를 확인함으로써 가설 공간의 불확실성 (엔트로피) 을 가장 크게 줄일 수 있는 증거를 찾습니다.
  3. 일관성 인식 (Coherence-aware): 명시적인 모순 (Contradiction) 을 해결하기 위해 약한 정규화 항 ($\lambda \cdot ConflictPotential$) 을 추가합니다. 이는 모순이 존재할 때 엔트로피만 줄이려 하는 것을 방지하고, 모순을 명시적으로 드러내도록 유도합니다.
  4. 정지 조건 (Stopping Criterion): 가설 공간의 엔트로피가 사전 정의된 임계값 ($\epsilon$) 이하로 떨어지고, 상충되는 모순이 없을 때 ($H \le \epsilon \land \neg Conflict$) 검색을 중단합니다. 만약 모순이 해결되지 않으면 시스템은 답을 내기보다 모호성을 노출합니다.

구현 세부 사항

• CSGR++ 통합: ECR 은 생산급 멀티 전략 검색 파이프라인인 CSGR++ 에 통합되었습니다.
• 검증 메커니즘: 토폴로지적 출처 (Topological Provenance) 를 활용하여 주장의 진위 (지원/반대) 를 확률적으로 평가합니다.
• 실용적 프록시: 완전한 베이지안 계산을 대신하여 계산 효율적인 EER 프록시를 사용하여 저지연 추론을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: RAG 의 증거 선택을 "가장 관련성 높은 것"에서 "가장 판별력 있는 것 (가설 모호성 해결)"으로 전환하는 **의사결정 이론 기반 알고리즘 (ECR)**을 도입했습니다.
2. 수학적 정지 기준: 지식적 충분성 ($H(A|X) \le \epsilon$) 에 기반한 엄밀한 수학적 정지 조건을 정의하여, 불필요한 검색을 방지하고 과신된 생성을 막습니다.
3. 상충 증거에 대한 위상 전이 (Phase Transition): 모순이 존재할 때, ECR 은 강제로 결론을 내리는 대신 모호성을 노출하는 방식으로 행동합니다. 이는 $\lambda > 0$일 때 관찰되는 위상 전이 현상으로, 불일치하는 증거가 있을 때 불확실성을 인위적으로 줄이지 않도록 보장합니다.
4. 확장성 및 효율성: 별도의 모델 미세 조정 (Fine-tuning) 이나 특수 가중치가 필요 없으며, 기존 생산 환경 (CSGR++) 에 통합되어 높은 확장성을 입증했습니다.

4. 실험 결과 (Results)

연구진은 ECR 을 두 단계로 평가했습니다.

• 제어된 주장 평가 (Claims-only Harness):

  • 결과: ECR 은 평균 5 개의 주장만으로도 엔트로피를 임계값 ($\epsilon=0.3$) 이하로 낮추어 지식적 충분성에 도달했습니다. 반면, 기존 관련성 기반 검색 (Retrieval-only) 은 15 개의 주장을 사용해도 엔트로피를 줄이지 못했고, 무작위 선택은 중간 정도의 성능만 보였습니다.
  • 의의: ECR 이 불필요한 검색 없이 불확실성을 효율적으로 해소함을 증명했습니다.

• 종단간 평가 (End-to-End on HotpotQA):

  • 성능: HotpotQA(다중 홉 질문 답변) 벤치마크에서 ECR 은 무작위 선택보다 모든 지표 (Exact Match, F1, 증거 충실도) 에서 크게 우월했습니다.
  • 기존 RAG 대비: 강력한 관련성 기반 RAG 베이스라인과 유사한 정확도를 유지하면서도, 불확실성 제어 메커니즘을 적용했습니다.
  • 노이즈 및 모순 내성:
    • 노이즈: 검색된 증거의 40% 를 무관한 정보로 교체했을 때, ECR 은 베이스라인과 유사한 성능 저하만 보였으며 과신된 환각 (Hallucination) 을 증폭시키지 않았습니다.
    • 모순: 명시적인 모순이 주입된 시나리오에서, 기존 RAG 는 여전히 과신된 답변을 내놓은 반면, ECR 은 해결되지 않은 모순을 이유로 검색을 중단하고 모호성을 노출했습니다. 이는 ECR 이 지식이 불완전하거나 상충될 때 "모르겠다"고 말하는 합리적인 행동을 취함을 보여줍니다.

5. 의의 및 중요성 (Significance)

• 비용 효율적 및 위험 감지형 AI: 더 큰 모델이나 더 긴 컨텍스트 윈도우가 아닌, 기존 증거를 어떻게 선택하고 평가할지에 대한 원칙적인 통제를 통해 RAG 의 견고성을 높입니다.
• 고위험 분야 적용: 의료, 법률, 금융 등 높은 위험이 따르는 분야에서 상충되거나 불완전한 증거로 인해 위험한 가정을 하는 것을 방지합니다. ECR 은 지식적 충분성이 달성되지 않을 때 명시적으로 모호성을 드러내어 "할루시네이션 방지"를 위한 안전장치 역할을 합니다.
• 계산 효율성: 불필요한 검색을 조기에 중단함으로써 지연 시간 (Latency) 과 비용을 절감합니다.
• 미래 지향성: 이 접근법은 에이전트 행동 (도구 실행, API 쿼리 등) 을 엔트로피 최소화 결정으로 모델링하는 자율적 인지 시스템으로의 확장을 시사합니다.

결론적으로, 이 논문은 RAG 시스템이 단순히 "관련된 정보"를 찾는 것을 넘어, "불확실성을 해결하는 정보"를 선택하고, 불확실성이 해결되지 않을 때는 솔직하게 인정하는 수학적으로 엄밀한 추론 프레임워크를 제시합니다.