Self-Correcting RAG: Enhancing Faithfulness via MMKP Context Selection and NLI-Guided MCTS

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 의 지식 범위를 확장하는 검색 증강 생성 (RAG) 은 복잡한 추론 작업에서 두 가지 주요 한계에 직면해 있습니다.

1. 낮은 문맥 활용도 (Low Context Utilization): 기존 RAG 는 일반적으로 관련성 점수 (Relevance Score) 에 기반한 단순한 Top-K 검색을 사용합니다. 이로 인해 의미적으로 중복된 문서가 선택되거나, 토큰 제한 내에서 중요한 정보가 누락되는 등 정보 밀도가 낮아지는 문제가 발생합니다.
2. 할루시네이션 (Hallucinations): 복잡한 다단계 추론 (Multi-hop Reasoning) 작업에서 모델은 검색된 증거와 모순되거나 사실과 다른 내용을 생성하는 경향이 있습니다. 기존의 선형적 (Linear) 생성 방식은 초기 단계의 오류가 최종 결과로 전파되는 것을 방지할 수 없으며, NP-난제 (NP-hard) 와 같은 최적화 문제의 전역 최적해를 보장하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 Self-Correcting RAG라는 통합 프레임워크를 제안하며, 검색과 생성을 각각 제약 최적화와 경로 계획 (Path Planning) 문제로 재정의합니다. 이 프레임워크는 두 단계로 구성됩니다.

1 단계: MMKP 기반 최적 문맥 선택 (Optimal Context Selection via MMKP)

기존의 단순한 Top-K 선정을 넘어, 문맥 선택을 다차원 다중 선택 배낭 문제 (Multidimensional Multiple-choice Knapsack Problem, MMKP) 로 공식화합니다.

• 세마틱 그룹화 (Semantic Grouping): 검색된 문서 조각들을 의미적 클러스터링을 통해 그룹화합니다.
• 최적화 목표: 토큰 예산 (Token Budget) 과 중복성 제약 하에서 정보 밀도를 최대화하고 중복을 최소화하는 문서 집합을 선택합니다.
• 수식: 각 그룹에서 최대 하나의 문서만 선택하도록 제약 ($\sum x_{ij} \le 1$) 을 두어, 의미적으로 중복된 문서가 토큰 공간을 차지하는 것을 방지하고 다양한 증거를 확보합니다.
• 해법: NP-난해 문제를 해결하기 위해 파레토 프루닝 (Pareto-pruning) 이 적용된 동적 계획법 (Dynamic Programming) 또는 근사 알고리즘을 사용합니다.

2 단계: NLI 가이드 MCTS 기반 추론 (NLI-Guided MCTS Generator)

생성 단계에서 할루시네이션을 방지하기 위해 테스트 타임 컴퓨트 (Test-time Compute) 전략으로 몬테카를로 트리 탐색 (MCTS) 을 도입합니다.

• MDP (Markov Decision Process) 공식화: 상태는 (질문, 선택된 문맥, 부분 답변), 행동은 (답변 생성, 추가 검색) 으로 정의됩니다.
• NLI 보상 함수 (Reward Function): 생성된 문장과 검색된 증거 간의 논리적 함의 (Entailment) 를 평가하기 위해 자연어 추론 (NLI) 모델을 보상 모델로 활용합니다.
  • 모순 (Contradiction): 강력한 패널티를 부여하여 할루시네이션이 포함된 분기를 가지치기 (Pruning) 합니다.
  • 함의 (Entailment): 높은 보상을 부여하여 사실에 기반한 추론 경로를 선호합니다.
• 동적 탐색: MCTS 를 통해 다양한 추론 경로를 탐색하고, NLI 검증기를 통해 오류를 수정하며 최적의 답변 경로를 찾습니다.

3. 주요 기여 (Key Contributions)

1. MMKP 기반 컨텍스트 선택기: 문서 선택을 제약 배낭 문제로 모델링하여 토큰 제한 내에서 정보 밀도를 극대화하고 중복을 제거하는 새로운 접근법을 제시했습니다.
2. NLI 가이드 MCTS 생성기: NLI 를 보상 모델로 활용하여 추론 경로를 동적으로 탐색하고, 생성된 답변이 검색된 문맥에 충실 (Faithful) 하도록 보장하는 메커니즘을 개발했습니다.
3. 강력한 실험적 성과: 6 개의 다양한 데이터셋 (단일 홉, 다중 홉, 다중 문서 QA 등) 에서 기존 최첨단 (SOTA) 에이전트 기반 베이스라인을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

6 개의 데이터셋 (NQ, PopQA, MuSiQue, 2WikiMultiHopQA, HotpotQA, MultiHop-RAG) 을 대상으로 한 실험 결과는 다음과 같습니다.

• 생성 성능: 평균 Exact Match (EM) 37.1, F1 점수 45.8 을 기록하여 기존 최강 베이스라인 (CRAG, Self-RAG 등) 을 상회했습니다. 특히 복잡한 다중 홉 추론 (MuSiQue, 2Wiki) 에서 성능 향상이 두드러졌습니다.
• 검색 품질 (Recall@5): MMKP 기반 선택기는 기존 Top-K 및 MMR(Maximal Marginal Relevance) 기반 방법보다 평균 8.7% 높은 Recall@5(72.0%) 를 달성하여, 중요한 증거를 누락하지 않고 효과적으로 선별함을 입증했습니다.
• 할루시네이션 감소: NLI 가이드 MCTS 는 Attribution Precision(AP) 을 0.85 로 높이고 모순률 (Contradiction Rate) 을 0.04 로 낮추어, 생성된 답변의 사실성을 크게 향상시켰습니다.
• 노이즈 내성: MultiHop-RAG(노이즈가 많은 문맥) 데이터셋에서 다른 방법들보다 훨씬 높은 강건성을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 RAG 시스템의 핵심적인 문제인 문맥의 비효율적 활용과 할루시네이션을 해결하기 위해 수학적 최적화 (MMKP) 와 구조화된 탐색 (MCTS) 을 결합한 새로운 패러다임을 제시합니다.

• 이론적 엄밀성: RAG 의 선택과 생성 과정을 각각 최적화 문제와 경로 계획 문제로 엄격하게 정의하여, 단순한 휴리스틱을 넘어선 체계적인 접근을 가능하게 했습니다.
• 실용적 가치: 복잡한 추론이 필요한 실제 응용 분야 (팩트 체킹, 다단계 QA 등) 에서 LLM 의 신뢰성을 높이는 데 기여합니다.
• 한계 및 향후 과제: 테스트 타임 컴퓨트 (MCTS) 로 인한 추론 지연 (Latency) 증가와 계산 비용이 주요 한계점으로 지적되었습니다. 향후 연구에서는 샘플 효율성을 높여 실시간 적용 가능성을 개선하는 방향으로 진행될 것입니다.

요약하자면, Self-Correcting RAG는 "더 많은 문서를 검색하는 것"이 아닌 "더 좋은 문맥을 선택하고 (MMKP), 논리적으로 검증하며 (NLI-MCTS) 답변을 생성하는 것"을 통해 RAG 의 신뢰성과 정확성을 획기적으로 개선한 프레임워크입니다.