기술 요약: TOHA – 어텐션 그래프 기반의 토폴로지 할루시네이션 탐지

문제 제기

대규모 언어 모델 (LLM) 은 특히 검색 증강 생성 (RAG) 시나리오에서 배포될 때, 사실적 또는 문맥적으로 잘못된 내용을 생성하는 "할루시네이션"에 여전히 취약합니다. 기존 탐지 방법들이 존재하지만, 이들은 다음과 같은 실질적인 제약에 직면해 있습니다: 지도 학습 접근법은 희소한 주석 데이터셋을 필요로 하며, 일관성 기반 방법 (예: 여러 샘플 생성) 은 높은 계산 비용을 초래하며, 불확실성 기반 지표 (예: 퍼플렉시티) 는 종종 모델의 진정한 불확실성이나 내부 상태의 미묘한 차이를 포착하지 못합니다. 따라서 광범위한 재학습 없이 LLM 의 내부 구조적 특성을 활용할 수 있으면서도, 데이터 효율적이고 계산적으로 경량화된 탐지 메커니즘이 필요합니다.

방법론

본 논문은 LLM 내 어텐션 맵의 토폴로지 구조를 분석하여 할루시네이션을 탐지하도록 설계된, 학습이 필요 없는 TOHA(a TOpology-based HAllucination detector) 프레임워크를 소개합니다.

1. 토폴로지 객체로서의 어텐션 그래프

이 방법은 디코더 전용 LLM 의 자기 어텐션 메커니즘을 완전 가중 그래프 $G$로 재해석합니다. 이 그래프에서:

• 노드는 토큰을 나타내며, 프롬프트 토큰 ($P$) 과 응답 토큰 ($R$) 으로 구분됩니다.
• 간선은 $1 - w_{ij}$로 가중치가 부여되며, 여기서 $w_{ij}$는 토큰 $i$에서 토큰 $j$로의 어텐션 점수로, 의사 거리 (pseudo-distances) 를 나타냅니다.
• 프롬프트 서브그래프는 참조 구조로 취급되는 반면, 응답 서브그래프는 생성된 내용을 나타냅니다.

2. MTop-DivG(R, P) 지표

TOHA 의 핵심은 그래프 설정에 맞게 적응된 매니폴드 토폴로지 발산 (Manifold Topology Divergence, MTop-Div) 인 **MTop-DivG(R, P)**입니다.

• 계산: 이 방법은 프롬프트 토큰 ($P$) 간의 간선 가중치를 0 으로 설정하여 프롬프트와 응답 간의 구조적 관계를 격리합니다. 그 후 수정된 그래프의 0 차 호몰로지 바코드를 계산합니다.
• 정의: 발산 점수는 0 차 바코드 ($B_0$) 내 구간 길이의 합입니다.
• 기하학적 해석: 이 점수는 응답 토큰 ($R$) 을 프롬프트 토큰 ($P$) 에 연결하는 **최소 신장 숲 (Minimal Spanning Forest, MSF)**의 길이와 같습니다.
• 정보 이론적 해석: 이 점수는 프롬프트에 대한 응답의 "새로움 (novelty)"을 위한 대리 지표 역할을 합니다. 더 높은 발산은 응답 토큰이 프롬프트 구조와 덜 밀접하게 연결되어 있음을 의미하며, 이는 새로운 (잠재적으로 할루시네이션된) 정보의 도입을 시사합니다.

3. 할루시네이션 인지 헤드 (Hallucination-Aware Heads)

본 논문의 중요한 발견은 모든 어텐션 헤드가 할루시네이션 탐지에 동등하게 기여하지 않는다는 것입니다.

• 다양한 레이어와 헤드에서의 발산 값을 분석함으로써, 저자들은 특정 "할루시네이션 인지" 헤드 서브셋을 식별했습니다.
• 이러한 헤드는 다양한 데이터셋 (예: MS MARCO, CoQA, SQuAD) 에서 주석된 샘플에 비해 할루시네이션 샘플에 대해 일관되게 더 높은 발산 점수를 산출합니다.
• 흥미롭게도, 이러한 특정 헤드는 종종 이전 발생이 없을 때 첫 번째 토큰에 강하게 주의를 기울이는 "복제 행동 (copying behavior)"을 보이며, 이는 이전 기계적 해석 가능성 연구 결과와 부합합니다.

4. TOHA 알고리즘

이 알고리즘은 두 단계로 작동합니다:

1. 헤드 선택 (프로브 단계): 소량의 주석된 프로브 데이터 (할루시네이션 대 주석된 것) 를 사용하여, 두 클래스를 분리하는 능력 ($\Delta_{ij}$로 측정) 에 따라 어텐션 헤드를 순위 매깁니다. 수신자 운영 특성 곡선 (AUROC) 면적을 최대화하는 상위 $N_{opt}$개의 헤드를 선택합니다 (최대 10 개로 제한).
2. 예측: 테스트 샘플의 경우, 최종 할루시네이션 점수는 선택된 $N_{opt}$개의 헤드에서만 계산된 평균 MTop-DivG(R, P) 값입니다.

주요 기여

1. TOHA 프레임워크: 어텐션 그래프의 구조적 특성을 활용하는 학습이 필요 없는 토폴로지 기반 할루시네이션 탐지기입니다. 이는 동등한 품질의 방법들보다 훨씬 빠르게 작동하며 최소한의 주석 데이터만 요구합니다.
2. MTop-DivG(R, P): 어텐션 그래프에 매니폴드 토폴로지 발산을 적응시킨 새로운 지표입니다. 이는 프롬프트와 응답 간의 토폴로지적 비유사성을 정량화하여 RAG 시나리오에서 응답의 새로움을 효과적으로 포착합니다.
3. 할루시네이션 인지 헤드 발견: 데이터셋 전반에 걸쳐 할루시네이션을 신뢰성 있게 구별하는 작고 일관된 어텐션 헤드 서브셋을 식별했습니다. 이 발견은 약 10 개의 헤드만 사용하여 강력한 탐지를 가능하게 하여, 도메인 간 전이성을 보장합니다.
4. 효율성과 성능: 이 방법은 여러 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 달성하면서도 계산적으로 효율적입니다 (실제로 SelfCheckGPT 와 같은 일관성 기반 방법보다 약 70 배 빠름).

실험 결과

저자들은 다섯 개의 오픈 소스 LLM(LLaMA-2-7B/13B, LLaMA-3.1-8B, Mistral-7B, Qwen2.5-7B) 을 사용하여 다섯 개의 데이터셋 (MS MARCO, CNN/DM, CoQA, SQuAD, XSum) 에서 TOHA 를 평가했습니다.

• 성능: TOHA 는 일관되게 불확실성 기반 베이스라인 (퍼플렉시티, 최대 엔트로피) 을 능가했으며, 일관성 기반 방법 (SelfCheckGPT, Semantic Entropy) 과 내부 상태 기반 방법 (ReDEEP, HaloScope) 을 능가하거나与之에 필적했습니다.
  • 주목할 만한 개선 사항은 강력한 베이스라인 대비 MS MARCO 에서 Mistral-7B 기준 +11.7%, CoQA 에서 LLaMA-2-7B 기준 +21.6% 였습니다.
  • 멀티 홉 HotpotQA 데이터셋에서 TOHA 는 우수한 성능을 보여주어 복잡하고 실제적인 쿼리 시나리오에서의 효과를 입증했습니다.
• 효율성: TOHA 는 단일 생성 시 SelfCheckGPT 보다 약 7 배 빠르며, SelfCheckGPT 가 여러 생성 (10-20 회) 을 필요로 할 때는 70 배 이상 빠릅니다. 실행 시간은 경량 엔트로피 베이스라인과 유사합니다.
• 강건성: 이 방법은 강력한 전이성을 보여주었습니다; 전이 데이터셋 (예: MS MARCO 에서 학습, XSum 에서 테스트) 에 대한 성능은 분포 내 데이터에 대한 방법의 성능과 표준 편차 범위 내에 유지되었습니다.
• 데이터 효율성: 이 방법은 최적의 헤드를 선택하기 위해 소량의 프로브 세트 (최소 50 개 샘플) 만 필요하며, 이후 추가 학습 없이 작동합니다.

중요성과 주장

본 논문은 어텐션 행렬의 토폴로지 구조를 분석하는 것이 LLM 의 사실적 신뢰성에 대한 강력하고 효율적인 지표가 된다고 주장합니다. TOHA 의 중요성은 다음과 같은 능력에 있습니다:

• 이론적 토폴로지 데이터 분석 (TDA) 과 실제 할루시네이션 탐지 사이의 간극을 해소합니다.
• 지도 학습 분류기와 달리 보정을 위한 최소한의 주석 데이터만 요구함으로써 데이터 부족 문제를 극복합니다.
• 여러 샘플 생성을 피함으로써 계산 오버헤드를 줄여, 실시간 또는 자원 제약이 있는 애플리케이션에 적합하게 만듭니다.
• 할루시네이션 신호를 특정 "할루시네이션 인지" 어텐션 헤드와 연결함으로써 해석 가능성을 제공하며, 할루시네이션의 기계적 기원 (특히 복제 행동과의 연관성) 에 대한 통찰을 제공합니다.

저자들은 TOHA 가 사실적 정확성이 최우선인 RAG 시스템을 포함한 민감한 분야에서 LLM 의 안전성과 신뢰성을 보장하기 위한 실용적이고 확장 가능한 솔루션을 제공한다고 결론지었습니다. 그들은 모델별 의존성 (특정 헤드는 아키텍처에 따라 다를 수 있음) 과 현재 텍스트 전용 모달리티로 제한된다는 한계를 인정합니다.