HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models

이 논문은 대규모 언어 모델의 환각 현상을 스패너 단위로 국소화하고, 그 발생 메커니즘을 규명하며, 외부 증거를 추적하는 정교한 프레임워크인 'HART'를 제안하고 이를 검증하기 위한 구조화된 데이터셋을 구축하여 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

🕵️‍♂️ HART: AI 의 거짓말을 추적하는 '디지털 탐정'

우리가 AI 에게 질문하면, AI 는 아주 그럴듯하게 답변을 해줍니다. 하지만 가끔은 **사실이 아닌 거짓말 **(환각, Hallucination)을 지어내기도 합니다. 예를 들어, "에인슈타인이 1921 년 노벨상을 이 이론으로 받았고, 프랭클린 루즈벨트와 함께 원자폭탄을 설계했다"라고 말한다면,前半部分은 맞지만后半部分은 완전히 틀린 거짓말이죠.

기존의 연구들은 "이 답변이 틀렸어!"라고만 지적하거나, **"AI 내부에서 어떤 신호가 잘못됐는지"**만 분석했습니다. 하지만 사용자는 "어디가 틀렸고, 왜 틀렸으며, 정답은 무엇인지"를 알고 싶어 합니다.

이때 등장한 HART는 단순히 "틀렸다"고 말하는 것을 넘어, 거짓말의 원인을 찾아내고, 정답이 되는 증거를 가져오는 탐정 역할을 합니다.

🧩 HART 가 어떻게 작동할까요? (4 단계 수사 과정)

HART 는 AI 가 쓴 답변을 4 단계로 나누어 꼼꼼히 조사합니다.

1. 🎯 범인 찾기 (스팬 국소화)

AI 가 쓴 긴 글 속에서 정확히 어떤 문장이나 단어가 거짓말인지 찾아냅니다.

비유: 수사관이 긴 보고서에서 "여기, 이 문장이 의심스러워!"라고 형광펜으로 표시하는 작업입니다.

2. 🧠 범인의 동기와 수법 분석 (메커니즘 귀속)

그 거짓말이 왜 나왔을까요? HART 는 그 원인을 5 가지 유형으로 분류합니다.

• 사실 왜곡: 사실을 잘못 기억한 경우.
• 과도한 일반화: 일부 사실만 보고 전체를 단정지은 경우.
• 논리 실패: 앞뒤가 안 맞는 경우.
• 문맥 누출: 다른 대화 내용을 섞어버린 경우.
• **창작 **(가짜) 아예 없는 사실을 지어낸 경우.

  비유: 범인이 "실수였어", "오해였어", "아예 거짓말을 지었어" 등 범행 동기를 분류하는 것과 같습니다.

3. 📚 정답이 되는 증거 찾기 (증거 검색)

거짓말을 반박할 진실된 증거를 외부 데이터베이스 (위키백과 등) 에서 찾아옵니다.

비유: AI 가 "서울이 한국 수도야"라고 거짓말을 했다면, HART 는 "아니야, 서울은 수도가 맞지만... (예: 다른 나라의 수도를 혼동한 경우)"를 증명할 수 있는 정확한 뉴스 기사나 백과사전을 찾아옵니다.

4. 🔗 연결고리 완성 (인과 추적)

찾아낸 거짓말, 그 이유, 그리고 정답이 되는 증거를 하나로 연결하여 사용자에게 보여줍니다.

비유: "이 문장은 (거짓말) 이고, 이유는 (창작) 이며, 정답은 (이 문서) 에 있습니다"라고 수사 보고서를 작성해 주는 것입니다.

🛠️ HART 가 만든 특별한 도구: '거짓말 데이터셋'

이 연구의 가장 큰 성과는 AI 의 거짓말을 분석하기 위해 직접 만든 데이터입니다.
기존에는 AI 가 틀린 말을 했는지 여부만 확인했지만, HART 는 어떤 문장이 틀렸는지, 왜 틀렸는지, 어떤 증거가 정답인지까지 세세하게标注 (라벨링) 한 데이터를 만들었습니다. 마치 범행 현장의 모든 단서를 꼼꼼히 기록한 수사 파일과 같습니다.

📊 결과는 어떨까요?

실험 결과, HART 는 기존에 있던 검색 기술 (BM25, DPR 등) 보다 훨씬 뛰어난 성능을 보였습니다.

• 정확도: AI 가 거짓말을 했을 때, 그 정답이 되는 증거를 **가장 먼저 **(상위 1 위) 찾아낼 확률이 기존 방법보다 훨씬 높았습니다.
• 해석 가능성: 단순히 "틀렸다"고만 하는 게 아니라, 왜 틀렸는지를 설명해 주기 때문에 사용자가 AI 의 답변을 더 신뢰하고 검증할 수 있게 되었습니다.

💡 요약: 왜 이 연구가 중요할까요?

지금까지 AI 는 "거짓말을 하면 안 돼"라는 말만 들었습니다. 하지만 HART는 AI 가 거짓말을 했을 때, **"어디가, 왜, 어떻게 틀렸고, 정답은 무엇인지"**를 명확하게 알려줍니다.

이는 의료, 법률, 금융처럼 실수가 치명적인 분야에서 AI 를 사용할 때, 우리가 AI 를 맹신하지 않고 증거를 바탕으로 검증할 수 있게 해주는 핵심 기술입니다.

한 줄 요약:

HART 는 AI 가 지어낸 거짓말을 찾아내고, 그 이유를 분석하며, 정답이 되는 진짜 증거를 가져와 주는 '디지털 탐정'입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 텍스트 생성 및 지식 기반 질문 응답에서 탁월한 성능을 보이지만, 사실과 다른 내용을 생성하는 '할루시네이션 (Hallucination)' 문제가 여전히 심각한 신뢰성 저해 요인입니다. 특히 의료, 법률, 금융과 같은 고위험 분야에서 이는 치명적인 결과를 초래할 수 있습니다.

기존의 할루시네이션 연구는 주로 다음 두 가지 접근법에 국한되어 있었습니다:

1. 할루시네이션 탐지 (Detection): 불확실성 추정이나 외부 지식 검색을 통해 오류가 존재하는지 여부를 판단하는 데 초점을 맞추었으나, 오류의 구체적인 유형이나 생성 메커니즘을 세밀하게 분석하지 못했습니다.
2. 내부 메커니즘 추적 (Internal Mechanism Tracing): 모델의 내부 표현 (hidden states) 이나 주의 분포 (attention) 를 분석하여 오류 발생 원인을 설명하려 했으나, 이는 추상적인 수준에 그쳐 구체적인 사실적 증거 (external factual evidence) 와의 연결 고리를 명확히 하지 못했습니다.

핵심 한계: 기존 연구들은 할루시네이션의 정확한 위치 (Span-level), 오류 유형, 생성 메커니즘, 그리고 이를 반증하거나 지지하는 외부 사실적 증거 간의 구조화된 대응 관계를 수립하지 못했습니다. 즉, "어디서 오류가 발생했는가?"와 "실제 사실은 무엇인가?"에 대한 인과적 추론이 부족했습니다.

2. 제안 방법론: HART 프레임워크

이 논문은 할루시네이션을 단순한 오류 탐지가 아닌, 외부 사실 증거에 기반한 인과적 추적 (Causal Tracing) 문제로 재정의하고 HART (Hallucination Attribution Retrieval Tracing) 프레임워크를 제안합니다. HART 는 데이터 기반 모델링, 증거 검색, 인과적 귀속의 4 단계 프로세스로 구성됩니다.

2.1. 데이터 구축 (Dataset Construction)

• 구조화된 할루시네이션 추적 데이터셋: 기존 데이터셋과 달리, 텍스트의 스팬 (Span) 단위로 할루시네이션 유형, 오류 메커니즘, 그리고 반증 증거 (Counterfactual Evidence) 를 함께 주석한 최초의 데이터셋을 구축했습니다.
• 주석 레이어:
  • 1 차원 (표면 현상): 엔티티 할루시네이션, 사실적 할루시네이션, 논리적 할루시네이션, fabrication(조작) 등 4 가지 유형.
  • 2 차원 (내부 메커니즘): 엔티티 불일치, 과도한 일반화, 추론 실패, 컨텍스트 누출, fabrication 휴리스틱 등 5 가지 오류 생성 메커니즘.
• 증거 수집: 위키피디아 및 공식 웹사이트를 기반으로 ChatGPT 를 활용해 할루시네이션 스핀과 높은 의미적 정합성을 가지면서도 중복을 최소화한 '적대적 증거 집합'을 자동 생성하고 인간이 검증하는 방식을 채택했습니다.

2.2. 증거 검색 (Evidence Retrieval)

할루시네이션 스핀을 쿼리로 간주하여 대규모 증거 공간에서 사실적 증거를 찾는 2 단계 검색 프레임워크를 사용합니다.

1. 벡터 인덱싱 (Coarse Retrieval): Sentence-BERT 를 사용하여 텍스트를 임베딩하고 FAISS 를 통해 Top-K 후보 증거를 빠르게 검색합니다.
2. 재순위화 (Fine Reranking): Cross-Encoder 모델을 사용하여 쿼리와 후보 증거 간의 심층적인 의미 정합성과 사실적 일관성을 재평가하여 최적의 증거를 선별합니다.
3. 다중 쿼리 전략 (Multi-Query): 하나의 할루시네이션 스핀에 대해 여러 문맥적 쿼리를 생성하여 검색 성능을 향상시킵니다.

2.3. 인과적 추적 (Causal Tracing)

HART 는 다음 세 가지 작업을 통합된 파이프라인으로 수행합니다:

1. 스팬 로컬라이제이션: 생성된 텍스트 내 할루시네이션 스핀을 식별합니다.
2. 메커니즘 귀속: 할루시네이션 유형과 오류 생성 메커니즘을 분류합니다.
3. 증거 정렬: 외부 증거를 검색하여 해당 오류가 왜 발생했는지 (인과 관계) 를 사실적 근거와 연결합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: 할루시네이션 연구를 '내부 메커니즘 분석 및 출력 수준 탐지' 중심에서 '실제 세계 사실 일관성에 기반한 인과적 추적' 중심의 새로운 패러다임으로 전환시켰습니다.
2. 통합 프레임워크 (HART): 할루시네이션 스핀 분류, 오류 메커니즘 귀속, 외부 증거 정렬을 단일 패러다임으로 통합하여 모델 생성 내용부터 검증 가능한 사실적 근거까지의 완전한 인과 추적 파이프라인을 구축했습니다.
3. 최초의 세밀한 데이터셋: 스펀 (Span) 단위에서 할루시네이션 유형, 오류 메커니즘, 증거 집합을 다차원적으로 주석한 구조화된 데이터셋을 최초로 구축하여 인과적 해석 가능성 평가를 가능하게 했습니다.

4. 실험 결과 (Experimental Results)

Qwen2.5-7B 및 Mistral-Small-24B 모델의 생성 텍스트를 기반으로 구축된 데이터셋에서 실험을 수행했습니다.

• 검색 성능: HART 는 BM25, DPR, Sentence-BERT, Cross-Encoder 등 기존 강력한 베이스라인을 크게 능가했습니다.
  • Recall@1: Qwen 데이터셋에서 0.8024, Mistral 데이터셋에서 0.7522를 기록하여, 가장 신뢰할 수 있는 외부 증거를 검색 결과 최상위에 배치하는 능력을 입증했습니다.
  • Joint SR@k (Joint Success Rate): 할루시네이션 귀속과 외부 증거 검색이 동시에 성공하는 비율에서 기존 방법론보다 압도적으로 높은 성능을 보였습니다.
• 분류 성능: 할루시네이션 유형 분류기 (79.13% 정확도) 와 오류 메커니즘 분류기 (83.32% 정확도) 가 각각 높은 성능을 보이며, 구조화된 주석의 유효성을 입증했습니다.
• 분석: 실험 결과, 모델은 주로 '조작 (Fabrication)' 전략을 사용하여 할루시네이션을 생성하며, 사실적 오류가 논리적 오류보다 훨씬 빈번하게 발생함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 의 할루시네이션 문제를 단순한 '오류 찾기'를 넘어 '왜 오류가 발생했는지'와 '실제 사실은 무엇인지'를 연결하는 해석 가능한 추적 시스템을 제시했다는 점에서 의의가 큽니다.

• 해석 가능성 향상: 모델이 생성한 오류의 원인을 내부 메커니즘뿐만 아니라 외부 검증 가능한 사실과 연결하여 설명함으로써, 고위험 분야에서 LLM 의 신뢰성을 높이는 데 기여합니다.
• 실용적 가치: 의료, 법률 등 사실 정확도가 필수적인 분야에서 오류의 근원을 추적하고 수정할 수 있는 구체적인 도구를 제공합니다.
• 미래 전망: 향후 크로스-모달 (Cross-modal) 할루시네이션 추적 및 다단계 (Multi-hop) 증거 인과 체인 모델링을 통해 LLM 의 신뢰성과 설명 가능성을 더욱 강화할 수 있을 것으로 기대됩니다.

요약하자면, HART 는 데이터 기반의 세밀한 주석과 구조화된 검색 메커니즘을 결합하여, LLM 의 할루시네이션을 인과적 관점에서 추적하고 사실적 근거로 검증하는 새로운 표준을 제시한 연구입니다.