기술 요약: 대규모 언어 모델의 환각 탐지 및 완화를 위한 다층 프레임워크

1. 문제 정의

대규모 언어 모델(LLM)은 유창하고 일관된 텍스트를 생성하지만, 빈번하게 "환각(hallucinations)"—즉, 사실적으로 틀리거나, 근거가 없거나, 불완전한 진술을 생성합니다. 이 문제는 의료, 교육, 과학 연구와 같이 사소한 부정확함이 심각한 오해나 잘못된 의사결정으로 이어질 수 있는 고위험 도메인에서 특히 치명적입니다. 기존의 탐지 방법들은 다음과 같은 몇 가지 한계점을 가집니다:

• 조립적 입도(Coarse Granularity): 많은 접근 방식이 전체 응답을 하나의 단위로 평가하여, 답변은 대부분 맞지만 특정 부분에 거짓이 포함된 '부분적 환각'을 탐지하는 데 실패합니다.
• 외부 근거 결여(Lack of External Grounding): 자기 일관성(self-consistency)이나 내부 상태 분석 방법은 모델 자체의 출력이나 은닉 상태에 의존하며, 이는 동일한 오류를 전파할 수 있습니다.
• 계산 비용: 다중 에이전트 토론(multi-agent debate)이나 반복적인 샘플링 방식은 실시간 배포에 너무 비싼 경우가 많습니다.
• 통합의 공백: 검색 증강 생성(RAG), 사실 검증, 그리고 불확실성 추정은 하나의 통합된 파이프라인이 아닌 별개의 프로세스로 취급되는 경우가 많습니다.

본 논문은 답변을 원자적 주장(atomic claims)으로 분해하고, 이를 외부 근거에 기반시키며, 효율적으로 검증하고, 구조화된 추론을 통해 불확실한 사례를 정제해야 할 필요성을 주장합니다.

2. 방법론

저자들은 검색 기반 근거 제시, 원자적 주장 분해, 소형 언어 모델(SLM) 검증, 그리고 신경-기호적(neuro-symbolic) 추론을 통합하는 **다층 프레임워크(Multi-Layer Framework)**를 제안합니다. 이 파이프라인은 다음 단계들을 통해 작동합니다:

2.1 초기 생성 및 원자적 분해

• 생성: LLM이 사용자 쿼리($Q$)에 대해 초기 응답($A_0$)을 생성합니다. 이 응답은 검증되지 않은 상태로 취급됩니다.
• 분해: 프레임워크는 $A_0$를 원자적 사실 주장($F = \{f_1, f_2, ..., f_n\}$)의 집합으로 분해합니다. 각 주장은 그 자체로 독립적이고 검증 가능한 명제여야 합니다 (예: "마리 퀴리는 바르샤바에서 태어났다"와 "마리 퀴리는 두 번의 노벨상을 받았다"를 분리). 검증 불가능한 내용(의견, 문체 등)은 제외됩니다.

2.2 레이어 1: 의미론적 근거 제시 (검색)

• 각 원자적 주장 $f_i$에 대해, 시스템은 벡터 기반의 의미론적 검색을 사용하여 문서 코퍼스($D$)로부터 관련 근거($E_i$)를 검색합니다.
• 주장과 문서 청크는 밀집 벡터(dense vectors)로 인코딩되며, 코사인 유사도를 사용하여 상위-$k$개의 가장 관련성 높은 근거 구절을 식별합니다.
• 이 레이어는 모델의 내부 지식에 대한 의존도를 낮추고, 검증에 필요한 사실적 맥락을 제공합니다.

2.3 레이어 2: 불확실성 및 일관성 게이트 (SLM 검증)

• 경량 소형 언어 모델(SLM), 구체적으로 Qwen2.5-1.5B-Instruct가 확률적 검증자 역할을 수행합니다.
• SLM은 주장($f_i$), 검색된 근거($E_i$), 그리고 원래의 쿼리($Q$)를 전달받습니다.
• SLM은 세 가지 라벨에 대한 확률을 출력합니다: 지지됨(SUPPORTED), 모순됨(CONTRADICTED), 불충분함(UNDER-SPECIFIED).
• 교정(Calibration): 시스템은 불확실성(정규화된 엔트로피)을 계산하고 결정 임계값($\tau$)을 적용합니다. 오탐(false positives)을 최소 تعداد하기 위해, 최종 시스템에서는 더 높은 F1 점수를 내는 낮은 임계값($\approx 0.40$) 대신 보수적인 임계값($\tau \approx 0.6$)을 사용합니다. 신뢰도가 낮은 주장은 강제로 이진 결정(binary decision)을 내리는 대신 불확실한 것으로 분류됩니다.

2.4 레이어 3: 신경-기호적 추론 (Neuro-Symbolic Reasoning)

• 이 레이어는 경계선에 있거나 불확실한 사례에 대한 결정을 정제합니다.
• 미리 정의된 논리 규칙(예: 수치적 주장은 명시적인 근거가 필요함)과 추론용 LLM을 사용하여, SLM의 신뢰도가 낮거나 근거가 모호한 주장을 재평가합니다.
• 출력값은 정제된 판결인 지지됨(SUPPORTED), 수정됨(CORRECTED) (수정된 주장), 거부됨(REJECTED), 또는 **불충분함(INSUFFICIENT)**이며, 자연어 설명($w_i$)이 동반됩니다.

2.5 신뢰 교정 출력

• 최종 응답($A^*$)은 검증 및 수정된 주장들만을 사용하여 재구성됩니다.
• 포함된 주장들의 지지 확률과 불확실성을 바탕으로 전역 **신뢰 점수(Trust Score, $T$)**가 계산되어, 사용자에게 신뢰도 지표를 제공합니다.

3. 주요 기여

1. 주장 단위 분해: 본 프레임워크는 환각 탐지를 응답 수준의 평가에서 원자적 주장 수준의 분석으로 전환하여, 올바른 답변 내에서도 특정 부분적 환각을 식별할 수 있게 합니다.
2. 하이브리드 검증 파이프라인: 검색 기반 근거 제시, SLM 기반 검증, 그리고 신경-기호적 추론을 단일 아키텍처로 통합합니다. 이는 경량 모델의 효율성과 규칙 기반 추론의 논리적 일관성을 결리합니다.
3. 불확실성 인지 설계: 불확실성을 명시적으로 모델링하고 보수적인 임계값을 사용함으로써, 시스템은 재현율(recall)을 극대화하기보다 잘못된 "지지됨" 라벨을 방지하는 것을 우선시하며, 이는 고신뢰 애플리케이션에 적합합니다.
4. 해석 가능성: 시스템은 주장이 수용, 거부 또는 수정된 이유에 대한 설명을 생성하고 전역 신뢰 점수를 제공하여 투명성을 높입니다.

4. 실험 결과

본 프레임워크는 SciFact(과학적 주장 검증)와 HotpotQA(다단계 질문 답변) 두 데이터셋에서 평가되었습니다.

4.1 성능 지표

• SciFact: 전체 프레임워크는 0.511의 정확도와 0.504의 매크로-F1 점수를 달성했습니다.
  • 관찰 사항: "추론기 없음(no-reasoner)" 변형 모델이 거의 동일한 성능을 보였는데, 이는 SLM 검증기가 이 데이터셋에 대해 대부분의 구조화된 분류 작업을 처리함을 시사합니다.
• HotpotQA: 전체 파이프라인은 0.146의 토큰 수준 F1 점수를 달성했습니다.
  • 절제 연구(Ablation Study): 검색 구성 요소를 제거했을 때 성능이 급격히 하락(F1이 0.034로 감소)하였으며, 이는 검색 기반 근거 제시가 답변 품질에 있어 가장 결정적인 요소임을 강조합니다.
  • 추론 레이어나 SLM 검증자를 제거하는 것은 토큰 수준 F1에는 미미한 영향을 미쳤으나, 검증 동작과 해석 가능성에는 영향을 주었습니다.

4.2 검증 동작 및 교정

• 보수적 전략: 모델은 근거가 약할 때 단순히 추측하기보다 자주 **불충분함(UNDER-SPECIFIED)**으로 분류합니다 (전체 주장의 42.7%). 이는 오탐을 줄이지만, 지지되는 주장에 대한 재현율을 낮춥니다.
• 신뢰도 교정: ROC-AUC는 0.87이었으며, 교정 곡선은 높은 신뢰도 점수가 높은 정확도와 일반적으로 상관관계가 있음을 보여주었습니다. 시스템은 지지됨, 모순됨, 불충분한 주장 사이를 효과적으로 구분합니다.
• 임계값 민감도: 최적의 F1 점수는 $\approx 0.40$의 임계값에서 발생했지만, 최종 시스템은 높은 정밀도를 유지하고 뒷받침되지 않는 주장을 검증할 위험을 줄이기 위해 더 엄격한 임계값($\approx 0.6$)을 사용합니다.

4.3 효율성

• 전체 파이프라인은 쿼리당 평균 20.6초가 소요됩니다.
• SLM 검증 단계가 대부분의 지연 시간을 차지하며, 검색이 추가하는 오버헤드는 미미합니다. 이는 다중 에이전트 토론이나 반복적인 대규모 모델 샘플링보다 훨씬 효율적입니다.

5. 의의 및 주장

본 논문은 이 프레임워크가 정확성, 신뢰성, 해석 가능성, 그리고 계산 비용 사이의 실질적인 균형을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 부분적 환각 완화: 주장을 개별적으로 검증함으로써, 시스템은 전체 응답을 버리지 않고도 특정 오류를 수정할 수 있습니다.
• 계산 부담 감소: 대규모 LLM을 반복적으로 호출하는 대신 특화된 소형 검증기(SLM)를 사용하여 실무 배포가 가능하게 합니다.
• 신뢰 교정: 시스템은 단순히 답만 내놓는 것이 아니라 신뢰 점수와 설명을 함께 제공하여, 사용자가 정보의 신뢰도를 가늠할 수 있게 합니다.
• 근거 기반 신뢰성: 실험 결과는 검색 기반 근거 제시 없이는 검증 성능이 무너진다는 것을 보여주며, 이는 외부 근거가 사실적 신뢰성에 필수적임을 입증합니다.

저자들은 시스템이 여전히 보수적(잘못된 답변을 피하기 위해 지지되는 일부 주장을 놓칠 수 있음)이지만, 이러한 트레이드오프가 틀린 정보를 확신 있게 제공하는 것보다 불확실한 상태로 두는 것이 더 해로운 고위험 애플리케이션에서는 반드시 필요하다고 결론짓습니다. 향후 과제로 검색 품질 개선, 추론 규칙 확장, 그리고 더 넓은 오픈 도메인 맥락에서의 프레임워크 테스트를 제안합니다.