Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

기술 요약: 사실적 신뢰도 예측을 통한 신뢰할 수 있는 검색 증강 생성 (RAG) 구축

문제 제기
검색 증강 생성 (RAG) 은 대규모 언어 모델 (LLM) 에 도메인 특화 지식을 부여하는 표준으로 자리 잡았습니다. 그러나 치명적인 취약점이 남아 있습니다: 유사도 검색을 통해 검색된 맥락이 생성된 사실을 실제로 뒷받침한다는 보장이 없으며, 관련 맥락이 존재함에도 불구하고 LLM 이 환각 정보를 생성하지 않는다는 보장이 없습니다. 현재 안전성 보장 방법은 종종 휴리스틱 개선이나 특정 구성 요소 수정에 의존하며, RAG 파이프라인에 대해 검증 가능한 보장을 제공하는 일반적이고 아키텍처에 구애받지 않는 프로토콜이 부재합니다. 핵심 과제는 검색 과정 (소스 충실도 보장) 과 생성 과정 (검색된 맥락에 대한 사실성 보장) 모두에 의미 있는 신뢰도 측정을 연관시키는 것입니다.

방법론
저자들은 기본 검색기나 LLM 구성 요소를 수정하지 않고 작동하는 2 단계 아키텍처 무관 인증 프로토콜을 제안합니다.

1. 검색 신뢰도 추정 (블록 1):

   • 접근법: 저자들은 검색 과정에 **준형 예측 (Conformal Prediction, CP)**을 적용하여 올바른 소스에서 유래할 통계적으로 보장된 확률을 가진 문서 청크만 선택합니다.
   • 메커니즘: 질문 - 참조 - 답변 3 중항의 보정 세트를 사용하여 검색 점수와 유사도 지표 (RougeL) 를 기반으로 비준형 임계값을 계산합니다. 올바른 청크와 잘못된 청크를 구분하기 위해 임계값 $s_{thres}$가 설정됩니다.
   • 보장: 표본 교환성 (sample exchangeability) 가정 하에, 이 방법은 "신뢰할 수 있는" 청크 집합에 실제 소스 청크가 포함됨을 보장하는 통계적 보장 (오류율 $\alpha$로 제어됨) 을 제공합니다.
   • 진단: 저자들은 특정 검색기 - 데이터셋 조합이 CP 가 성립하기 위해 필요한 교환성 가정을 만족하는지 진단하기 위해 두 가지 지표인 $m_1$(신뢰할 수 있는 청크의 이진 존재 여부) 과 $m_2$(신뢰할 수 있는 청크의 비율) 를 도입합니다.

2. 응답 신뢰도 추정 (블록 2):

   • 접근법: 최종 답변의 환각을 탐지하기 위해 저자들은 어텐션 기반 사실성 분류기를 활용합니다.
   • 메커니즘: 시스템은 생성 중 LLM 의 중간 어텐션 값을 추출합니다. 구체적으로, 모델이 검색된 특정 맥락 청크에 지불하는 평균 어텐션을 맥락과 생성된 출력에 지불한 총 어텐션에 대한 비율로 측정하는 **청크 단위 백추적 비율 (chunk-wise lookback ratios, CW LR)**을 계산합니다.
   • 분류기: 이러한 백추적 비율에 대해 간단한 로지스틱 회귀 유닛을 훈련하여 사실성 점수를 예측합니다. 중요한 점은 분류기가 사실적 근거가 아닌 도메인 특이적 편향 (예: "금융 질문은 더 어렵다") 을 학습하는 것을 방지하기 위해 시스템 프롬프트와 사용자 질문의 어텐션을 특징 벡터에서 제외한다는 것입니다.

주요 기여

• 검증 가능한 RAG 파이프라인: 검색을 위한 준형 예측과 생성을 위한 어텐션 기반 탐지를 통합하여 각 단계에 대한 별도의 신뢰도 지표를 제공하는 새로운 워크플로우.
• 진단 지표: RAG 설정의 적합성을 평가하기 위한 $m_1$과 $m_2$ 지표의 도입. 이 논문에 따르면, 이러한 지표가 검색기 성능이 불량함을 나타낼 경우 (교환성 위반), CP 의 통계적 보장이 무효화되고 청크 필터링이 답변 품질을 저하시킬 수 있음이 입증되었습니다.
• 정교화된 환각 탐지: 전체 맥락 어텐션 모델 (프롬프트 포함) 이 교차 검증에서 더 높은 AUROC 를 달성할 수 있지만, 청크 단위 백추적 비율이 분류기를 오도할 수 있는 비검색 어텐션 소스를 배제함으로써 더 신뢰할 수 있는 사실적 근거를 제공한다는 것을 시연함.

결과
이 방법론은 Llama-3-8B-Instruct 와 BM25 검색을 사용하여 Natural Questions (NQ) 데이터셋과 Ragbench (RB) 컬렉션 (12 개 다양한 데이터셋) 에서 평가되었습니다.

• 검색 신뢰도:

  • 검색기가 잘 작동하는 데이터셋 (예: NQ, RB-cuad) 에서 $m_1$ 지표는 $1-\alpha$라는 이론적 기대치와 일치하여 교환성 가정을 검증했습니다.
  • 검색이 어려운 데이터셋 (예: RB-finqa, RB-tatqa) 에서 $m_1$은 크게 하락하여 올바른 청크가 상위 K 개에 나타나지 않음을 나타냈습니다. 이러한 경우 CP 기반 필터링을 적용하면 소스를 찾지 못하는 검색기 때문에 통계적 보장이 성립하지 않아 답변 일관성이 최대 10% 까지 저하됨이 확인되었습니다.
  • 강력한 검색기의 경우, 신뢰할 수 없는 청크를 필터링함으로써 답변 일관성을 최대 6% 까지 향상시켰습니다.

• 응답 신뢰도:

  • 청크 단위 백추적 비율 분류기는 동일 그룹 교차 검증에서 최대 테스트 AUROC **77%**를 달성했습니다.
  • 서로 다른 데이터셋 그룹 간의 교차 검증에서는 최대 16% 까지 성능이 하락하여 일반화의 어려움을 강조했습니다.
  • 비교 결과, 전체 맥락 (FC) 백추적 비율 (프롬프트 포함) 은 더 높은 AUROC(최대 82%) 를 보였으나 프롬프트 패턴으로 인한 잠재적 편향으로 인해 사실적 근거 측면에서는 덜 신뢰할 수 있는 것으로 판단되었습니다. 제안된 청크 단위 (CW) 접근법은 약간 낮은 AUROC 에도 불구하고 신뢰할 수 있는 시스템을 위해 선호됩니다.

의의 및 주장
이 논문은 안전이 중요한 산업 응용 프로그램에 적합한 검증된 RAG 시스템의 기반을 확립했다고 주장합니다. 주요 의의는 휴리스틱 견고성에서 통계적 인증으로의 전환에 있습니다. 저자들은 이 접근법이 모든 RAG 설정을 위한 만능 해결책이 아니라 진단 프레임워크를 제공한다고 강조합니다. 논문은 명시적으로 검색 신뢰도 보장의 유효성은 샘플의 교환성에 의존하며, 이는 검색기가 올바른 청크를 찾아내는 능력에 달려 있다고 명시합니다. 따라서 제안된 지표 ($m_1, m_2$) 는 이러한 신뢰도 보장을 갖춘 특정 RAG 구성의 배포 적합성을 판단하기 위한 필수 전제 조건입니다. 이 연구는 파이프라인이 약한 부분 (검색 대 생성) 을 식별하고 신뢰의 정량적 측정을 제공함으로써 신뢰할 수 있는 RAG 응용 프로그램 개발을 안내하는 것을 목표로 합니다.