기술 요약: Zero-RAG

문제 정의

검색 증강 생성(RAG)은 외부 코퍼스(corpus)를 LLM의 내부 지식과 보완하여 LLM의 환각 현상을 완화하기 위해 널리 사용됩니다. 그러나 LLM이 진화함에 따라 모델의 파라미터와 외부 코퍼스(예: 위키피디아) 사이의 **지식 중복(knowledge redundancy)**이 상당해지고 있습니다.

이러한 중복은 두 가지 핵심적인 과제를 제기합니다:

1. 계산 오버헤드: 밀집 검색(dense retrieval) 인덱싱 및 검색 워크로드는 코퍼스 크기에 따라 증가합니다. 중복된 지식은 검색 단계에서 불필요하게 계산 비용을 높입니다.
2. 성능 저하: 더 많은 컨텍스트가 항상 더 좋다는 가정과 달리, 탐색적 분석 결과 중복된 지식은 LLM의 성능을 실제로 방해할 수 있음이 드러났습니다. LLM이 이미 숙달한 사실을 포함하는 문서를 제공받으면, 무관한 컨텍스트가 모델을 산만하게 만들어 검색 없이 답변할 때보다 정확도가 크게 떨어지는 현상(일부 실험에서 약 20포인트 하락)이 발생합니다.

방법론: Zero-RAG

이 문제를 해결하기 위해 저자들은 RAG 성능을 유지하거나 향상시키면서 RAG 코퍼스에서 중복된 지식을 제거하도록 설계된 프레임워크인 Zero-RAG를 제안합니다. 이 시스템은 네 가지 통합된 구성 요소로 작동합니다.

1. 숙달도 점수(Mastery-Score) 및 코퍼스 프루닝(Pruning)

핵심 혁신은 LLM이 특정 구절을 얼마나 잘 "숙달(mastered)"했는지, 즉 단순 암기와 지도 학습 기반 미세 조정(SFT) 이후 지식을 유연하게 활용하는 능력을 구분하여 정량화하도록 설계된 지표인 **숙달도 점수(Mastery-Score)**입니다.

• 계산: 주어진 문장에 대해 시스템은 $n$개의 질문-답변 쌍을 생성합니다. 그 후, LLM이 오직 내부 지식만을 사용하여 이 질문들에 답할 수 있는지 평가합니다. 숙달도 점수는 이 쌍들에 대한 평균 완전 일치(Exact Match, EM) 점수입니다.
• 확장성: 대규모 코퍼스의 모든 문장에 대해 숙달도 점수를 계산하는 것은 계산적으로 불가능하므로, 이러한 점수를 예측하는 숙달도 분류기(Mastery-Classifier)(회귀 모델)를 학습시킵니다.
• 프루닝: 숙달도 점수가 높은 문장(LLM이 이미 내용을 알고 있음을 나타냄)은 코퍼스에서 제거되어, 간결하고 중복되지 않은 부분 집합($D_{retained}$)을 생성합니다.

2. 쿼리 라우터(Query Router)

프루닝된 코퍼스를 사용하더라도, LLM이 내부 지식만으로 자신 있게 답할 수 있는 일부 쿼리는 외부 검색이 필요하지 않을 수 있습니다.

• 기능: 이진 분류기가 특정 쿼리가 모델에 의해 "숙달"되었는지 여부를 결정합니다.
• 동작: 쿼리가 숙달되었다면, 라우터는 검색 단계를 건너뛰고 LLM이 직접 답변하도록 합니다. 이를 통해 알려진 사실에 대해 무관한 문서를 검색할 때 발생하는 지연 시간과 노이즈를 방지합니다.

3. 노이즈 내성 튜닝(Noise-Tolerant Tuning)

검색이 발생할 때(숙달되지 않은 쿼리에 대해서 혹은 검색 오류로 인해)의 견고성을 보장하기 위해, LLM은 노이즈 내성 튜닝 과정을 거칩니다.

• 학습 전략: 모델은 세 가지 유형의 데이터 샘플을 사용하여 미세 조정됩니다:
  1. 관련 문서가 포함된 쿼리.
  2. 방해되는(노이즈) 문서가 포함된 쿼리.
  3. RAG 컨텍스트가 전혀 없는 쿼리.
• 목적: 손실 함수(loss function)는 문서가 무관할 때는 모델이 내부 지식에 의존하고, 문서가 관련 있을 때는 문서를 효과적으로 활용하도록 유도하여 "노이즈"가 섞인 검색 결과의 부정적 영향을 억제합니다.

4. 추론 파이프라인(Inference Pipeline)

최종 추론 프로세스는 다음 모듈들을 통합합니다:

1. 프루닝: 숙달도 점수 예측기를 사용하여 원본 코퍼스를 필터링합니다.
2. 라우팅: 각 쿼리에 대해 쿼리 라우터가 검색 여부를 결정합니다.
3. 생성: 검색을 건너뛰면 모델이 내부적으로 답변합니다. 검색이 트리거되면, 모델은 프루닝된 코퍼스를 검색하고 노이즈 내성 튜닝된 가중치를 사용하여 답변을 생성합니다.

주요 기여

• 최초의 RAG 지향적 프루닝: 저자들의 지식에 따르면, Zero-RAG는 단순히 검색 효율성을 최적화하는 것이 아니라, 코퍼스와 LLM 사이의 지식 중복을 제거함으로써 코퍼스를 프루닝하는 것을 탐구한 최초의 연구입니다.
• 새로운 지표 및 모듈: 중복된 지식을 식별하기 위한 숙달도 점수와 숙달된 질문에 대해 동적으로 검색을 우회하기 위한 쿼리 라우터를 도입했습니다.
• 견고성 메커니즘: 노이즈 내성 튜닝 전략은 프룬된 코퍼스가 완벽한 문서를 검색하지 못하거나 무관한 문서가 검색되는 경우에도 모델이 효과적으로 작동하도록 보장합니다.

실험 결과

저자들은 Llama3-70B 및 Llama3.3-70B 모델을 사용하여 네 가지 사실 집약적 QA 데이터셋(HotpotQA, TriviaQA, EntityQuestions, PopQA)에서 Zero-RAG를 평가했습니다.

• 코퍼스 감소: Zero-RAG는 위키피디아 코퍼스의 **30%**를 성공적으로 프루닝했습니다.
• 효율성 이득: 프루닝 결과 검색 단계에서 22%의 가속화(평균 지연 시간을 ~12.28초에서 ~9.66초로 단축)를 달しまいました.
• 성능 유지: 코퍼스 크기의 상당한 감소에도 불구하고 RAG 성능이 유지되었습니다.
  • TriviaQA의 경우, 코퍼스의 70%를 제거했음에도 성능 저하가 미미했습니다(0.62포인트).
  • HotpotQA 및 EntityQuestions에서 30% 프루닝 비율에서의 성능 저하는 최소 수준이었습니다(평균 2포인트 미만).
• 베이스라인과의 비교:
  • 표준 RAG(프루닝 없음)는 특정 데이터셋에서 모델이 단독으로 답변할 때보다 약간의 성능 저하를 보이는 경우가 많았으며, 이는 중복된 지식의 "방해(distractor)" 효과를 확인시켜 줍니다.
  • 노이즈 내성 튜닝을 적용한 Zero-RAG는 베이스라인보다 일관되게 높은 성능을 보여, 제안된 튜닝이 검색 노이즈의 위험을 효과적으로 완화함을 입증했습니다.
• 모델 크기 독립성: 이 접근 방식은 더 작은 모델(Llama3-8B)에서도 효과적이었으며, 이는 지식 중복이 모델 규모 전반에 걸쳐 만연한 문제임을 나타냅니다.

의의 및 주장

이 논문은 외부 코퍼스를 단순한 지식 보완재가 아니라, LLM의 현재 내부 상태에 맞춰 큐레이션되어야 하는 자원으로 취급함으로써 RAG 설계의 패러다임 전환을 제시한다고 주장합니다.

• 희생 없는 효율성: 주요 의의는 더 작은 큐레이션된 코퍼스가 답변 정확도를 해치지 않으면서(때로는 향상시키면서) 더 빠른 검색 속도를 낼 수 있음을 입증했다는 점입니다.
• "방해" 효과 완화: 본 연구는 큐레이션되지 않은 RAG가 역효과를 낼 수 있으며, 최적의 성능을 위해서는 "숙달된" 지식을 필터링하는 것이 필수적임을 강조합니다.
• 향향 방향: 저자들은 재현성과 추가 개선을 용이하게 하기 위해 코드베이스, 모델, 프룬된 코퍼스를 제공함으로써 RAG 코퍼스 프루닝 설계에 대한 후속 연구를 독려하고자 합니다.

저자들은 현재 연구가 위키 기반 데이터베이스에 집중되어 있으며, 도메인 특화 또는 멀티모달 데이터셋에서의 효과는 추가 탐색이 필요하다는 한계점을 인정했습니다. 또한 시스템의 성능이 초기 데이터셋의 품질에 의존한다는 점도 언급했습니다.