A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

기술 요약: 대규모 언어 모델의 환각 탐지 및 수정을 위한 경량 검색 기반 프레임워크

문제 정의
대규모 언어 모델(LLM)은 질의응답부터 기업 의사결정 지원에 이르기까지 다양한 애플리케이션의 중심이 되었습니다. 그러나 이들은 유창하고 그럴듯해 보이지만 사실적으로 틀리거나, 근거가 없거나, 검증된 지식과 일치하지 않는 출력물인 "환각(hallucinations)" 현상에 취약합니다. 이러한 문제는 의료, 금융, 법률 추론과 같이 위험도가 높은 도메인에서 상당한 리스크를 초래합니다. 검색 증강 생성(RAG), 자기 검증, 도구 지원 사실 확인, 다중 에이전트 토론 프레임워크를 포함한 기존의 완화 전략들은 특정 한계점을 가집니다. 즉, 수정 제안 없이 탐지만에 집중하거나, 반복적인 대규모 모델 추론으로 인해 계산 비용을 증가시키거나, 재현성을 저해하는 복잡한 오케스트레이션을 도입할 수 있습니다.

방법론
본 논문은 실시간 다중 LLM 추론의 계산적 부하 없이 환각을 탐지하고 수정하도록 설계된 경량 검색 기반 프레임워크를 제안합니다. 이 시스템은 생성, 검색, 검증, 수정을 분리하는 모듈형 파이프라인으로 구성됩니다.

1. 모듈형 에이전트 시뮬레이션: 여러 개의 라이브 LLM 인스턴스를 호출하는 전통적인 다중 에이전트 시스템과 달리, 본 프레임워크는 사전에 생성된 벤치마크 응답을 처리하는 모듈형 단계로 에이전트를 모델링합니다. 이러한 설계는 검증과 수정을 생성의 가변성으로부터 격리하여 통제 가능하고 재현 가능한 평가를 보장합니다.
2. 검색 모듈: 시스템은 의미론적 임베딩 대신 TF-IDF(Term Frequency-Inverse Document Frequency)를 사용하여 근거를 검색합니다. 이러한 선택은 외부 신경망 검색 모델에 대한 의존성을 피함으로써 계산 효율성, 해석 가능성 및 재현성을 우선시합니다. 쿼리 $q$가 주어지면, 시스템은 상위-$k$개의 관련 문서($D$)를 검색합니다.
3. 검증 에이전트: 이 구성 요소는 생성된 응답($r_g$)이 검색된 근거($D$)와 사실적 일관성을 갖는지 평가합니다. 이는 두 가지 신호를 결합한 가중치 검증 점수를 사용합니다:
   • 응답-근거 유사도: 생성된 응답과 검색된 문서 간의 TF-IDF 코사인 유사도.
   • 쿼리-근거 관련성: 원래의 쿼리와 검색된 문서 간의 TF-IDF 코사인 유사도.
   • 점수는 다음과 같이 계산됩니다: $Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$, 여기서 $\alpha$는 두 신호의 상대적 중요도를 조절합니다.
   • 임계값 기반 결정 규칙($\tau$)을 통해 응답을 환각 상태($Score < \tau$) 또는 비환각 상태($Score \geq \tau$)로 분류합니다.
4. 수정 에이전트: 응답이 환각으로 분류되면 수정 에이전트가 내용을 개정합니다. 이 에이전트는 근거 없는 주장을 제거하고 근거와 일치하는 정보를 통합하면서도 원래 응답의 관련 부분은 보존합니다. 결정적으로, 이 메커니즘은 추가적인 LLM 추론 단계를 피하도록 근거 유도형 및 경량화되도록 설계되었습니다.

주요 기여
본 논문은 네 가지 주요 기여를 설명합니다:

1. 다중 LLM 추론의 비용을 들이지 않으면서도 모듈형 에이전트 기반 추론을 유지하는 경량 탐지 및 수정 프레임워크.
2. 단순한 탐지를 넘어 근거 기반의 수정된 응답을 생성하도록 확장된 통합 파이프라인.
3. 응답-근거 유사도와 쿼리-근거 관련성을 명시적으로 결합한 임계값 기반 가중 검증 공식.
4. MedHallu 및 TruthfulQA 데이터셋에 대한 재현 가능한 실험적 평가를 통해 강력한 탐지 성능과 측정 가능한 환각 감소를 입증함.

실험 결과
프레임워크는 두 가지 데이터셋인 MedHallu(의료 도메인 환각을 나타내는 9,000개 샘플)와 TruthfulQA(적대적 사실성 도전을 나타내는 817개 샘플)에서 평가되었습니다.

• 탐지 성능: 최적의 임계값($\tau = 0.55$)을 사용할 때, 프레임워크는 약 0.93의 F1-score(결합 세트 기준 구체적으로 0.931)와 0.891의 재현율(recall)을 달ino했습니다. 특히 MedHallu 데이터셋에서 F1-score는 0.942에 도달했습니다.
• 수정 성능: 수정 단계는 MedHallu 환경에서 환각 발생률을 1.0000에서 0.5784로 낮추었으며, 이는 환각 응답의 42.16% 감소를 의미합니다.
• 베이스라인 비교: 실험 결과, 검색만으로는 응답과 근거 사이의 일관성을 명시적으로 검증하지 못하기 때문에 탐지에 불충분하다는 것이 밝혀졌습니다. 가중 검증 모듈의 추가는 탐지 지표를 크게 향상시켰습니다.
• 관찰된 한계점: TruthfulQA의 경우, 수정 단계에서 0.2485의 "회귀율(regression rate)"이 나타났는데, 이는 유사도 기반 수정이 때때로 사실적인 응답을 불필요하게 변경할 수 있음을 나타냅니다. 이는 현재의 유사도 기반 접근 방식이 도메인 특화된 환각에는 효과적이지만, 적대적이거나 오해에서 비롯된 쿼리에 대해서는 주의 깊은 게이팅(gating)이 필요함을 시사합니다.

의의 및 주장
본 논문은 복잡한 다중 에이전트 검증 시스템에 대한 재현 가능하고 계산 효율적인 대안을 제공한다는 점에 주요 의의가 있다고 주장합니다. 에이전트를 라이브 LLM 호출이 아닌 모듈형 단계로 모델링함으로써, 본 프레임워크는 반복적인 대규모 모델 추론의 필요성을 제거하여 자원이 제한된 환경에서도 적합하게 만듭니다.

저자들은 명시적 검증이 필수적이라고 주장합니다. 검색은 맥락을 제공할 뿐 사실적 뒷받침을 확인하지는 못하기 때문입니다. 이들의 가중치 점수 공식은 이러한 간극을 해결합니다. 또한, 본 연구는 완화가 탐지에서 멈춰서는 안 된다는 점을 강조하며, 제안된 수정 단계가 최종 출력의 사실적 신뢰성을 능동적으로 개선한다고 강조합니다. 다만, TF-IDF 검색과 어휘적 유사도가 추론 중심적이거나 적대적인 사례에는 약할 수 있음을 겸허히 인정하며, 향후 버전에서는 의미론적 임베딩과 함의(entailment) 기반 검증을 통합해야 한다고 제언합니다.