기술 요약: 안전한 RAG를 위한 경량화된 KB 정렬형 OOD 탐지

문제 정의

검색 증강 생성(RAG) 시스템은 의료, 약물 사용 등 고위험 도메인에 점점 더 많이 배치되고 있으며, 이곳에서의 안전은 시스템이 어떻게 답변하는가뿐만 아니라, 주어진 질의에 대해 답변을 해야 하는가에도 달려 있습니다. 중요한 실패 모드는 OOD(Out-of-Domain, 도메인 외) 질의가 검색 가드레일을 우회하여 밀집 검색(dense retrieval)이 약하게 연관된 문맥을 불러오는 경우입니다. 이는 생성기가 근거(Knowledge Base, KB)에 기반하지 않은 채 유창하지만 정당성이 없는 응답("환각")을 생성하게 만듭니다. 이러한 응답은 권위 있어 보이지만 실제로는 KB에 근거하고 있지 않습니다.

현재의 완화 전략은 주로 내장된 LLM 가드레일이나 도메인 관련성을 판단하기 위한 추가적인 LLM 호출에 의존합니다. 그러나 가드레일은 주로 유해한 콘텐츠를 대상으로 하며 도메인 부적절성을 타겟팅하지 않으며, LLM 기반의 "도메인 판사(domain judges)"는 상당한 지연 시간과 API 비용을 발생시켜 상시 작동하는 게이트로서 실용적이지 않습니다. 본 논문은 생성 단계 이전에 KB가 근거 있는 답변을 지원할 수 있는지(안전성의 축 A)를 결정하는, 가볍고 해석 가능하며 비용 효율적인 외부 OOD 탐지기의 필요성을 다룹니다.

방법론

저자들은 KB 임베딩으로부터 유도된 압축된 도메인 특화 부분 공간(subspace)으로 질의를 투영하는 2단계 프레임워크를 제안합니다.

1. 특징 공간 구축

이 방법은 먼저 사전 학습된 BERT 기반 바이 인코더(bi-encoder)를 사용하여 문서 데이터셋 $D$(KB)와 사용자 질의 $q$에 대한 임베딩을 계산하는 것으로 시작합니다. 문서 임베딩에 주성분 분석(PCA)을 적용하여 지배적인 패턴을 식별합니다. 최종 $m$개의 주성분(PC) 선택은 다음 두 가지 별도의 기준을 사용하여 정교화됩니다:

• 설명된 분산(Explained Variance, EVR): 데이터의 가장 높은 분산을 유지하는 상위-$m$개 성분을 선택합니다.
• 분리도 기반 t-검정(Separability-Driven t-test, p-values): ID(In-Domain) 및 OOD 질의 임베딩을 상위-$k$개 PC에 투영합니다. 각 차원에 대해 ID와 OOD 투영을 비교하기 위해 t-검정을 수행합니다. 가장 낮은 p-값(가장 높은 통계적 분리도)을 가진 $m$개의 PC를 선택합니다.

그 후 질의 임베딩 $e_q$를 이 축소된 $m$차원 공간($e'_q = e_q P_m^T$)으로 투영하여 변환된 표현을 얻습니다.

2. 탐지 메커니즘

이 저차원 공간 내에서 저자들은 두 가지 범주의 탐지기를 평가합니다:

• 기하학적 의미론적 검색 규칙(Geometric Semantic-Search Rules): 훈련된 ID 임베딩 주변에 경계선을 정의합니다.
  • $\epsilon$-ball: 질의를 중심으로 하는 초구(hypersphere).
  • $\epsilon$-cube: 질의를 중심으로 하는 초입방체(hypercube).
  • $\epsilon$-rect: 차원별 측면 길이를 가진 초직육면체(hyperrectangle).
  • 결정 규칙: 테스트 질의가 이웃들의 경계 내에 있으면 ID로 분류하고, 그렇지 않으면 OOD로 분류합니다.
• 경량 분류기(Lightweight Classifiers): 투영된 임베딩으로 학습된 표준 지도 학습 모델입니다:
  • 로지스틱 회귀(Logistic Regression, LogReg)
  • 서포트 벡터 머신(Support Vector Machines, SVM)
  • 가우시안 혼합 모델(Gaussian Mixture Models, GMM)

주요 기여

1. KB 정렬형 PCA 탐지기: KB 구조에 특별히 정렬된 PCA 기반 OOD 탐지기를 도입하였으며, 분산 기반(EVR)과 분리도 기반(p-value) 성분 선택을 비교하였습니다.
2. 체계적 평가: COVID-19 및 약물 사용과 같은 고위험 실제 KB와 합성/실제 공격 데이터셋(LLM 생성 및 4chan)을 포함한 16개 도메인에 걸친 포괄적인 평가를 수행했습니다.
3. 엔드 투 엔드 영향 분석: OOD 탐지를 인간 및 LLM-as-a-Judge 평가를 통해 다운스트림 RAG 동작과 연결하여, OOD 질의가 사실적 정확성은 유지되더라도 주로 응답의 관련성을 저하시시킨다는 점을 입증했습니다.
4. 효율성 및 해석 가능성: 저차원 탐지기가 LLM 기반 판사보다 훨씬 낮은 지연 시간과 비용으로 경쟁력 있는 성능을 달umb달성함을 입증하였으며, 해석 가능한 결정 경계를 제공합니다.

결과

OOD 탐지 성능

• 정확도: 제안된 방법들은 강력한 베이스라인(Mahalanobis, ViM, kNN, ODIN)에 대해 경쟁력 있는 정확도를 달성했습니다. COVID-19 도메인에서 p-value 기준과 기하학적 방법($\epsilon$-ball)은 0.985의 정확도를 기록하여 EVR 기준(0.942)보다 우수한 성능을 보였습니다.
• 강건성: 적대적 조건(4chan 및 LLM 생성 공격) 하에서도 의미론적 검색 방법은 경쟁력을 유지했습니다. 지도 학습 분류기(LogReg, SVM)는 일반적으로 높은 정확도를 유지했으나 더 많은 차원을 필요로 했습니다.
• 차원성: p-value 기준은 일반적으로 15개 미만의 PC를 선택한 반면(예: COVID-19의 $\epsilon$-ball의 경우 13개), 임베딩 레벨의 베이스라인은 전체 768차원 공간에서 작동했습니다.

다운스트림 RAG 동작

• 관련성 vs. 정확성: 인간 및 LLM 평가는 OOD 질의가 정확성 점수는 통계적으로 변화가 없는 경우가 많음에도 불구하고 관련성(예: COVID-19 관련성이 ID 대비 OOD에서 4.71에서 4.37으로 감소)을 크게 감소시킨다는 것을 밝혀냈습니다. 이는 RAG 시스템이 OOD 질의에 대해 유창하지만 무관한 답변을 생성하는 경향이 있음을 나타냅니다.
• LLM 판사와의 비교: GMM 기반 탐지기는 GPT-4o 프롬프트 판사와 유사한 정확도(300개 중 182개 vs 2-215개 올바른 분류)를 달성하면서도 엄청난 효율성 우위를 보였습니다.
• 오류 분석: 오류가 발생할 때, 제안된 방법의 오분류는 더 안전한 출력 쪽으로 편향되는 경향이 있었습니다. OOD로 오분류된 ID 질의는 여전히 높은 관련성 점수를 받았으나, ID로 오분류된 OOD 질의는 올바르게 거부된 것들보다 품질이 낮았습니다.

복잡도 및 지연 시간

• 지연 시간: 로컬 방법(기하학적 및 ML 분류기)은 쿼리당 마이크로초 단위의 지연 시간(예: 17.7–26.1 $\mu$s)으로 작동하는 반면, GPT-4o 기반 탐지는 원격 API 호출로 인해 수 초의 지연 시간($3.2 \times 10^6$ $\mu$s)이 소요됩니다.
• 비용: 제안된 방법은 오프라인 전처리 후 쿼리당 거의 제로에 가까운 한계 비용을 발생시키며, 이는 LLM 기반 탐지기보다 최소 두 자릿수 이상의 비용 이점을 제공합니다.

해석 가능성

p-value 기준은 일관되고 도메인 특화된 의미론적 테마에 해당하는 PC를 선택합니다. 예를 들어, COVID-19 데이터셋에서 상위 순위의 PC는 "백신 접종 자격(Vaccination Eligibility)", "건강 위험 인식(Health Risk Perception)", "체제 불신(Systemic Distrust)"과 같은 해석 가능한 개념을 포착하여 투명성과 오류 분석을 용이하게 했습니다.

의의 및 주장

본 논문은 압축된 KB 정렬 부분 공간에서 도메인 멤버십을 모델링하는 것이 효과적이고 강건한 RAG 시스템의 가드레일을 제공한다고 주장합니다. 주요 의의는 실용적인 트레이드오프를 제공한다는 데 있습니다. 즉, 프롬프트 기반 LLM 판사보다 빠르고 저렴하며 더 해석 가능한, 항상 작동하는 경량 게이트를 제공함으로써 유창하지만 근거 없는 응답 생성을 효과적으로 방지합니다.

저자들은 이 접근 방식이 안전성의 축 A(KB 정렬/응답 가능성)를 다룬다는 점을 강조합니다. 이들이 별도의 콘텐츠 모더레이션 레이어가 필요한 축 B(정책 리스크/유해성)에 대한 완전한 해결책은 아니라고 명시적으로 언급했음을 유의해야 합니다. 그러나 KB가 지원하지 않는 질의를 필터링함으로써, 시스템이 "자신감 있고, 비용이 많이 들며, 틀린" 상태가 되는 것을 방지하여 고위험 환경에서 안전하고 범위 내에 있는 동작을 유지하도록 합니다. 연구는 가드레일만으로는 불충분할 때 외부 OOD 탐지가 응답의 관련성을 보존하기 위해 필수적이라고 결론짓습니다.