기술 요약: RAG 시스템에서의 사전 지식 우세(Prior Dominance) 정량화

1. 문제 정의

현재의 검색 증강 생성(RAG) 시스템 평가 프레임워크는 "인식론적 맹목(epistemic blindness)" 문제를 겪고 있다. 표준 벤치마크는 Exact Match(EM) 또는 F1 점수와 같은 이산적 휴리스틱에 의존하며, 이는 진정한 문맥 정보 추출과 파라미터 메모리(사전 학습된 지식)의 암송을 구분하지 못한다. 이러한 모호함은 모델이 실제로 검색된 증거를 활용하고 있는지, 아니면 단순히 내부 가중치에 의존하고 있는지를 불분명하게 만든다. 나아가, 이러한 이진적 지표는 모델이 적대적 문맥, 지식 충돌 또는 의미적 노이즈를 마주했을 때 발생하는 예측 신뢰도의 연속적인 변동을 포착할 수 없다. 결과적으로, 더 큰 파라미터 수가 반드시 RAG 성능을 향상시킨다는 기존의 가정은 엄격한 사실 추출 작업에 대해 검증되지 않은 상태로 남아 있다.

2. 방법론

저자들은 이러한 한계를 해결하기 위해 이산적인 텍스트 매칭이 아닌 연속적인 확률 공간에 기반한 프레임워크를 도입한다.

NCU 지표

핵심 기여는 정규화된 문맥 활용도(Normalized Context Utilization, NCU) 지표이다. 이 지표는 예측 불확실성의 감소를 측정함으로써 검색된 문맥이 제공하는 정보 이득을 정량화한다.

• 메커니즘: 이는 제로샷(Zero-Shot) 설정(사전 불확실성, $S_{prior}$)에서의 타겟 시퀀스 로그 확률과, 정답 문맥이 제공된 오라클(Oracle) 설정(사후 불확실성, $S_{post}$)에서의 로그 확률의 차이를 계산한다.
• 공식: 원시 문맥 활용도 점수(CUS)는 $S_{prior} - S_{post}$로 정의된다. 모델 간 비교를 가능하게 하기 위해, 이를 최대 이론적 이득($S_{prior}$)으로 정규화하여 NCU 점수를 산출한다:
  $$NCU = \max\left[0, \min\left(1, \frac{CUS}{S_{prior} + \epsilon}\right)\right]$$
  여기서 $\epsilon$은 0으로 나누는 것을 방지하기 위한 스무딩 계수이다.
• 경계 조건: 부정적 전이(Negative Transfer)(문맥이 불확실성을 증가시키는 경우)를 처리하기 위해 클리핑되지 않은 원시 비율을 추적하며, 사전 지식 우세(Prior Dominance)(모델이 문맥을 무시하는 경우)를 측정하기 위해 불확실성 감소 실패 여부를 측정한다.

실험 설정

본 연구는 1.5B에서 72B 파라미터에 이르는 아키텍처와 독점 상용 API(gpt-4o-mini)를 함께 평가하였다.

• 데이터셋: 토큰화 노이즈를 최소화하기 위해 영어로 제한된 Natural Questions (NQ-Open), TriviaQA, 그리고 HotpotQA (distractor split)를 사용하였다.
• 조건: 각 쿼리에 대해 네 가지 조건을 합성하였다:
  1. 제로샷(Zero-Shot): 쿼리만 제공.
  2. 오라클(Oracle): 쿼리 + 정답 문맥.
  3. 적대적 충돌(Adversarial Conflict): 쿼리 + 실제 정답을 대체하는 허구의 엔티티가 포함된 문맥.
  4. 의미적 노이즈(Semantic Noise): 쿼리 + 무관한 텍스트 속에 포함된 문맥.
• 제약 사항: 순수한 추출 능력을 격리하기 위해, Chain-of-Thought(CoT) 추론을 제외하고 그리디 디코딩(greedy decoding)을 사용하여 생성을 5개 토큰으로 엄격히 제한하였다.

3. 주요 기여

1. 연속적 평가 지표: 문맥 처리를 파라미터 메모리로부터 격리하고 어휘 및 토큰화의 차이를 정규화하는 NCU의 정의 및 검증.
2. 수익 체감의 증거: 엄격한 사실 추출을 위해 파라미터 규모를 키우는 것이 심각한 수익 체감을 초래한다는 것을 실증적으로 입증. 소형 언어 모델(SLM)이 거대 모델과 통계적 동등성을 달 확보했음을 보여줌.
3. 사전 지식 우세 및 부정적 전이의 정량화: 고용량 모델에서 명시적인 외부 증거를 무시하는(사전 지식 우세) 구조적 취약성과, 사전 지식이 상충될 때 발생하는 체계적인 신뢰도 붕괴(부정적 전이)를 식별함.

4. 주요 결과

• 추출 스케일링 (RQ1): 상용 API(gpt-4o-mini)는 가장 높은 제로샷 정확도(62.0%)를 기록하여 우수한 파라미터 암기력을 보여주었으나, 가장 낮은 오라클 추출 정확도(90.1%)와 가장 낮은 경계 NCU 점수(0.777)를 나타냈다. 반면, 1.5B Qwen 모델은 95.9%의 피크 오라클 정확도와 0.864의 NCU를 달성하여, 72B 모델(NCU 0.868)과 대등한 성능을 보이면서도 훨씬 낮은 지연 시간(0.389s 대비 0.041s)으로 작동하였다.
• 사전 지식 우세 (RQ2): 고용량 모델은 적대적 문맥을 무시하는 강한 경향을 보였다. 상용 API는 검색된 텍스트를 사용하라는 지시에도 불구하고 47.1%의 사례에서 적대적 문맥을 거부하고 파라미터 사전 지식으로 회귀했다. 72B 모델은 42.5%의 무시율을 보였으나, 1.5B 및 7B 모델은 충돌 상황에서 약 65~67%의 확률로 문맥을 준수하였다.
• 부정적 전이 (RQ3): 충돌하거나 혼란스러운 문맥에 노출되었을 때, 고용량 모델은 문맥이 오히려 예측 신뢰도를 제로샷 베이스라인 미만으로 떨어뜨리는 "부정적 전이"를 겪었다. 상용 베이스라인은 9.8%의 추론에서 정보 손실을 경험했는데, 이는 1.5B 모델의 비율(3.8%)보다 거의 세 배 높았다. 상용 API의 원시 NCU는 극단적인 음수 값(-7779.254)을 기록하였으며, 이는 높은 초기 확신도 대비 신뢰도가 붕괴되었음을 나타낸다.

5. 의의 및 주장

본 논문은 엄격한 추출 워크플로우에서 소형 언어 모델(SLM)의 구조적 인식론적 이점이 거대 모델이 보편적으로 우월하다는 가설에 도전한다고 주장한다.

• 얼라이먼트 세금 가설 (Alignment Tax Hypothesis): 저자들은 독점적인 얼라이먼트와 무거운 파라미터 암기력이 "세금"으로 작용하여, 모델이 분포 외(out-of-distribution) 업데이트를 거부하고 외부 증거를 무시하게 만들 수 있다고 제안한다.
• 아키텍처적 함의: 본 연구 결과는 엄격한 사실적 근거가 필요한 작업의 경우, 거대한 고도로 정렬된 모델을 배치하는 것이 계산적으로 최적이 아닐 수 있음을 시사한다. 대신, 저자들은 인식론적 요구사항에 따라 작업 라우팅이 결정되는 모듈형 RAG 아키텍처를 권장한다: 높은 문맥 준수력과 낮은 지연 시간의 추출을 위해서는 SLM을, 파라미터 통합이 유익한 복잡한 생성적 합성을 위해서는 고용량 모델을 사용하는 방식이다.
• 한계: 저자들은 자신들의 주장이 사실 추출(단일 홉, 짧은 생성)에 엄격히 제한되며, 거대 모델이 일반적으로 우수한 멀티 홉 추론이나 CoT 패러다임에는 적용되지 않는다고 명시하였다. 또한, 오픈 웨이트 모델과 독점 모델 간의 비교에는 (MoE 아키텍처, 미공개 훈련 데이터 등) 안전 얼라이먼트 효과에 대한 엄격한 인과적 절제(causal ablation)를 방해하는 혼란 변수가 존재함을 인정하였다.