기술 요약: 입력 측 증거 정렬을 통한 환각 구간 탐지 (Hallucination Span Detection with Input-Side Evidence Alignment)

문제 정의

대규모 언어 모델(LLM)은 요약 및 질의응답과 같은 조건부 텍스트 생성 작업에서 크게 발전했으나, 입력 텍스트에 의해 뒷받침되지 않거나 입력과 모순되는 내용을 생성하는 환각(hallucination) 현상에 취약한 상태로 남아 있다. 기존의 탐지 방법들은 주로 문장 또는 문서 수준의 이진 분류 문제로 환각을 다룬다. 이러한 방식은 전반적인 사실성을 추정하는 데는 효과적이지만, 특정 환각 구간을 국지화하거나 그에 대응하는 입력 증거를 식별하는 데는 실패한다. 이러한 한계는 모델 예측의 해석 가능성을 저해하고, 특히 수동 추적이 어려운 긴 문서에서 생성된 콘텐츠의 검증을 복잡하게 만든다. 더욱이, LLM의 급격한 진화 속도를 고려할 때 학습을 위해 수동으로 정렬된 입출력 쌍을 확보하는 것은 비용이 많이 들고 비현실적이다.

방법론

저자들은 새로운 과업인 입력 측 증거 정렬을 포함한 환각 구간 탐지를 제안한다. 이 과업은 생성된 텍스트 내의 환각 구간을 식별하는 동시에, 출력 토큰을 그에 대응하는 입력 증거와 정렬한다. 이 접근 방식은 충실한(faithful) 출력 토큰은 일반적으로 입력의 지원 문맥으로부터 예측 가능한 반면, 환각된 토큰은 그렇지 않다는 관찰에 근거한다.

핵심 프레임워크

본 방법론은 환각 탐지를 입력 기반 마스크 토큰 예측 문제로 정식화하며, 이는 비매개변수적 마스크 언어 모델(Non-Parametric Masked Language Models, NPM)에서 영감을 받았다. 대규모 디코더 기반 LLM에 의존하는 대신, 시스템은 경량화된 인코더 기반 모델을 사용한다.

1. 학습 전략 (원격 지도 학습 - Distant Supervision):

   • 구간 분할 (Span Segmentation): 출력 텍스트는 의미론적 역할 라벨링(Semantic Role Labeling, SRL)을 사용하여 의미 있는 구간으로 분할된다. 술어(predicate)와 그 논항(argument)을 추출하여 구간을 형성하며, 어떠한 술어도 포함하지 않는 단어(예: 접속사)는 제외된다.
   • 마스크 예측 (Masked Prediction): 학습 과정에서 구간들은 특수 토큰(``)으로 마스킹된다. 모델은 오직 입력 텍스트의 표현만을 사용하여 이 마스킹된 구간을 예측하도록 학습된다.
   • 신뢰도 지표 (Confidence Metric): 마스크된 구간 $s$에 대한 입력 구간 $(i, j)$와의 예측 신뢰도는 마스크된 토큰 임베딩과 입력 토큰 임베딩 사이의 코사인 유사도 합으로 정의된다:
     $$c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$$
   • 손실 함수 (Loss Function): 커스텀 손실 함수는 충실한 구간에 대해서는 높은 신뢰도를, 환각된 구간에 대해서는 낮은 신뢰도를 갖도록 유도한다. 또한, '어려운(hard)' 사례들에 대해 추가적인 가중치를 부여하여, 높은 신뢰도를 달리는 환각 구간과 낮은 신뢰도를 보이는 충실한 구간을 모두 패널티 처리한다.

2. 추론 (Inference):

   • 학습과 달리, 추론은 토큰 단위로 수행된다. 각 출력 토큰은 개별적으로 마스킹되며, 모델은 신뢰도 점수를 기반으로 가장 관련성이 높은 입력 토큰을 검색한다.
   • 분류 (Classification): 출력 토큰의 최대 신뢰도 점수가 임계값 $\lambda_h$ 미만일 경우 해당 토큰을 환각된 것으로 분류한다.
   • 정렬 (Alignment): 가장 높은 신뢰도 점수를 생성한 입력 토키가 증거 정렬 역할을 한다.
   • 집계 (Aggregation): 토큰 수준의 예측은 단어 수준으로 집계된다. 단어의 모든 서브워드(subword) 토큰이 환각된 것으로 분류될 때만 해당 단어를 환각된 것으로 간주한다.

주요 기여

• 과업 정의: 이진 문장 수준 분류를 넘어, 환각 구간을 탐지함과 동시에 이를 입력 증거와 정렬하는 새로운 과업을 도입하였다.
• 효율적인 아키텍처: 대규모 디코더 기반 LLM의 계산 비용을 피하고 수동 정렬 데이터 없이도 활용 가능한(원격 지도 학습 활용) 경량화된 인코더 기반 방법을 개발하였다.
• 이중 출력: 본 프레임워크는 환각 탐지 레이블과 토큰 수준의 증거 정렬을 동시에 생성한다.

실험 결과

본 방법론은 질의응답(QA) 및 뉴스 요약 작업을 포함하는 RAGTruth 데이터셋을 통해 평가되었다.

• 자동 평가:

  • 제안된 방법은 QA 및 요약 작업 모두에서 **가장 높은 재현율(Recall)**을 달-성했다(각각 82.7% 및 38.0%). 이는 Llama-SFT 및 LettuceDetect와 같은 베이스라인보다 높은 수치이며, 환각을 놓치는 것이 허용되지 않는 시나리오에서 매우 중요하다.
  • 정밀도(Precision)는 일부 베이스라인(예: 요약 작업에서의 Llama-SFT)보다 낮았으나, 높은 재현율은 이 방법이 환각된 콘텐츠의 대부분을 효과적으로 식별함을 나타낸다.
  • 베이스라인인 OTAlign은 문장의 길이가 크게 차이 나는 정렬의 어려움으로 인해 성능이 저조했다.

• 인간 평가:

  • 인간 평가자들이 예측된 입력 측 증거 정렬의 품질을 평가하였다.
    • 충실한(faithful) 경우와 근거 없는 환각(baseless hallucination) 단어에 대해, 제안된 방법은 평균 정렬 점수 약 2.0(0-3 척도 기준)을 기록하였으며, 이는 검색된 입력 토큰이 관련 있는 증거임을 나타낸다.
  • 모순 환각(Conflict Hallucinations): 본 방법은 모순 환각(출력이 입력과 상충하는 경우)을 탐지하는 데 어려움을 겪었으며, 종종 이 토큰들에 높은 신뢰도 점수를 부여했다. 이는 상충하는 텍스트와 입력 간의 높은 의미적 유사성 때문에 유사도 기반의 신뢰도 추정이 혼동을 일으키기 때문이다.

의의 및 한계점

본 논문은 제안된 방법이 인간 평가를 통해 확인된 바와 같이, 환각 구간을 효과적으로 탐지하는 동시에 의미 있는 입력 측 증거를 식별한다고 주장한다. 이 접근 방식은 수동 정렬 데이터의 막대한 비용 없이 생성된 콘텐츠를 검증할 수 있는 실용적인 해결책을 제공한다.

그러나 저자들은 다음과 같은 구체적인 한계를 인정한다:

1. 모순 탐지: 유사도가 높은 텍스트로 인해 발생하는 높은 신뢰도로 인해, "근거 없는" 환각에 비해 "모순" 환각을 탐지하는 데 덜 효과적이다.
2. 추론 효율성: 토큰 단위의 마스킹 및 재인코딩 과정으로 인해 추론 비용이 출력 길이에 따라 선형적으로 증가하며, 이는 긴 텍스트의 경우 계산 비용이 높을 수 있다.
3. 범위: 실험은 RAGTruth 벤치마크를 사용한 QA 및 뉴스 요약에 국한되었으며, 다른 도메인, 언어 또는 LLM 제품군에 대한 일반화 가능성은 아직 조사되지 않았다.

저자들은 본 방법이 근거 없는 환각 탐지에는 효과적이지만, 향-후 연구는 모순 환각을 더 잘 처리하고 추론 효율성을 개선하기 위해 더 정교한 신뢰도 추정 방법을 개발하는 데 집중해야 한다고 결론지었다.