💻 computer science

A framework for hallucinations explainability in text summarization

본 논문은 LLM 기반 텍스트 요약에서 환각을 효과적으로 탐지, 정량화 및 설명하기 위해 향상된 SMILE 파이프라인 내에서 의미론적 불안정성과 SHAP 기여도 분석에 기반한 환각 심각도 점수(HSS)를 도입하는 새로운 프레임워크를 제안한다.

원저자: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 지형에서 대규모 언어 모델은 글쓰기, 질문 답변, 복잡한 정보 요약 등을 수행하는 강력한 엔진이 되었습니다. 이러한 시스템은 방대한 양의 텍스트를 학습하며 문장에서 다음 단어를 놀라운 유창함으로 예측하는 법을 배웁니다. 그러나 이러한 유창함에는 숨겨진 결함이 있습니다. 모델이 때때로 사실을 지어낸다는 점입니다. 자연어 처리 분야에서 이 현상은 '환각(hallucination)'이라고 불립니다. 이는 시스템이 매우 자신감 있고 문법적으로는 올바르게 들리지만, 실제로는 완전히 지어냈거나 요약해야 할 원문 자료와 정면으로 모순되는 텍스트를 생성할 때 발생합니다. 이러한 오류는 일상적인 대화에서는 사소해 보일 수 있지만, 정확성이 타협 불가능한 의료, 법률 분석, 과학 연구와 같은 고위험 환경에서는 위험해집니다. 연구자들의 핵심 과제는 단순히 이러한 거짓말을 찾아내는 것뿐만 아니라, 단순한 단어 중복 확인을 넘어 모델의 내부 논리에 대한 심층적인 조사를 통해 이 오류들이 얼마나 심각한지 측정하고 왜 발생하는지를 이해하는 것이었습니다.

한 연구팀은 이 문제를 해결하기 위해 새로운 방법을 개발하여, AI 요약에 대한 스트레스 테스트 역할을 하는 프레임워크를 구축했습니다. 그들은 단순히 요약이 사실적으로 옳은지 묻는 대신, 다른 질문을 던졌습니다. 즉, 입력값이 약간 수정되었을 때 요약이 얼마나 안정적인가 하는 것입니다. 그들의 접근 방식은 신뢰할 수 있는 요약기는 원문 텍ей스트가 작고 의미 있는 방식으로 변경되더라도 일관된 결과를 생성해야 한다는 아이디어에 기반합니다. 만약 미세한 편집 후에 요약이 급격히 변하거나 새로운 세부 사항을 지어내기 시작한다면, 이는 해당 모델이 불안정하며 환각을 일으키기 쉽다는 것을 시사합니다. 연구진은 문서를 가져와 핵심 의미는 바꾸지 않으면서 단어를 미세하게 통제된 방식으로 변경한 뒤, AI의 출력이 어떻게 반응하는지 관찰하는 시스템을 구축했습니다. 원래의 요약과 새로운 요약 사이의 거리를 측정함으로써, 그들은 환각 위험의 심각성을 나타내는 특정 점수를 계산할 수 있습니다.

실험을 수행하기 위해 연구팀은 뉴스 기사, 과학 논문, 법률 텍스트, 제품 리뷰 등 다양한 주제를 아우르는 34개의 문서 모음을 활용했습니다. 그들은 정교한 요약 모델을 사용하여 각 문서에 대한 기준(baseline) 요약을 생성했습니다. 그런 다음, 원문에 대한 일련의 섭동(perturbations), 즉 원문을 의도적으로 미세하게 수정하는 과정을 도입했습니다. 이러한 변화는 핵심 사실을 보존하기 위해 사람의 이름, 장소, 특정 숫자 등은 건드리지 않으면서 단어를 가장 가까운 유의어로 교체하도록 정교하게 설계되었습니다. 각 문서에 대해 원본과 약간씩 다른 여러 버전의 텍스트를 만들고, AI에게 각각을 요약하도록 요청했습니다. 연구진은 결과물인 요약본들을 비교하여 원래의 요약으로부터 얼마나 벗어났는지 확인했습니다. 그들은 AI가 약간 수정된 텍스트를 요약하도록 강제되었을 때, 환각을 일으키기 쉬운 모델의 요약은 격렬하게 변하는 반면, 신뢰할 수 있는 모델은 안정적으로 유지된다는 것을 발견했습니다.

연구진은 두 데이터 집단 사이의 차이를 측정하는 수학적 개념을 사용하여 이 이탈(drift) 정도를 정량화했는데, 이는 본질적으로 요약의 의미가 얼마나 멀어졌는지를 계산하는 것입니다. 그들은 이 불안정성 측정이 단순한 무작위 변동이 아니라, AI가 얼마나 거짓말을 하는지와 밀접하게 연결되어 있다는 것을 발견했습니다. 이 측정을 다양한 유형의 문서에 유용하게 만들기 위해, 그들은 점수를 정규화하여 텍스트가 의학에 관한 것이든 영화에 관한 것이든 공정하게 비교할 수 있는 최종 심각도 점수를 만들었습니다. 가장 눈에 띄는 발견은 AI가 자신의 선택을 어떻게 설명하는지를 살펴보았을 때 나타났습니다. 그들은 입력된 단어 중 출력 생성에 가장 중요한 단어를 강조하는 기법을 사용했습니다. 그 결과, 요약이 환각을 일으킬 때 입력 단어의 중요도가 예측 불가능하게 요ц 도약한다는 것을 발견했습니다. 즉, 모델의 내부 추론이 거짓말을 하기 시작하는 바로 그 순간에 불안정해진다는 것입니다.

이 연구는 모델의 추론 과정에서의 이러한 불안정성과 환각의 심각성 사이의 강력한 연결 고리를 밝혀냈습니다. 연구진이 새로운 심각도 점수를 다른 일반적인 오류 검출 방식들과 비교했을 때, 모델의 내부 설명의 불안정성이 환각을 예측하는 가장 신뢰할 수 있는 지표라는 것을 발견했습니다. 단어가 일치하는지 또는 문장이 논리적인지를 단순히 확인하는 전통적인 방식들은 이러한 근본적인 오류를 잡아내는 데 효과가 떨어졌습니다. 또한 팀은 다양한 난이도에 걸쳐 이 방법을 테스트했습니다. 텍스트의 변화를 더 크게 만들수록 심각도 점수가 증가한다는 것을 발견했으며, 이는 그들의 시스템이 신뢰성의 미세한 변화까지 감지할 수 있을 만큼 민감하다는 것을 입증했습니다. 나아가, 점수는 영역에 따라 자연스럽게 변했는데, 법률이나 과학과 같은 복잡한 분야는 소셜 미디어 게시물과 같은 단순한 주제보다 높은 불안정성 점수를 보였으며, 이는 해당 분야의 높은 난이도와 높은 오류 위험을 반영합니다.

이 연구는 인공지능의 신뢰성을 바라보는 새로운 렌즈를 제공합니다. 모델이 최종 출력물 자체뿐만 아니라 작은 변화에 어떻게 반응하는지에 집중함으로써, 연구진은 AI가 진실에 대한 통제력을 잃는 명확한 신호를 식별해 냈습니다. 이 연구는 환각을 탐지하는 최선의 방법은 거짓말 자체를 찾는 것이 아니라, 거짓말에 앞서 나타나는 모델의 추론 과정에서의 떨림을 관찰하는 것이라고 제안합니다. 비록 연구진이 특정 문서 세트와 단일 유형의 AI 모델을 대상으로 테스트했지만, 이 프레임워크는 감사 가능하고 신뢰할 수 있는 시스템을 구축하기 위한 견고한 경로를 제시합니다. 이는 대화를 단순히 "이것이 참인가?"에서 "이것이 참이라는 것을 얼마나 확신할 수 있는가?"로 전환하며, 기계 생성 텍스트에 부여할 수 있는 확신의 정도를 측정하는 정량적인 방법을 제공합니다. 이러한 시스템이 우리 일상에 더욱 통합됨에 따라, 안정적이고 사실적인 요약과 취약하고 지어낸 요약을 구분할 수 있는 도구는 우리가 의존하는 정보의 무결성을 유지하는 데 필수적일 것입니다.

기술 요약: 텍스트 요약에서의 환각 설명 가능성을 위한 프레임워크

1. 문제 정의

추상적 텍스트 요약에 사용되는 대규모 언어 모델(LLM)은 생성된 출력이 언어적으로는 유창하지만, 소스 텍스트와 사실적으로 일치하지 않거나, 근거가 없거나, 모순되는 "환각(hallucinations)" 현상을 빈번하게 겪는다. 이러한 오류는 의료, 저널리즘, 과학 연구와 같은 고위험 도메인에서 특히 치명적이다.

현재의 평가 방식은 두 가지 주요 한계점에 직면해 있다:

심각도 정량화의 미흡: 기존의 사실성 지표(예: FactCC, SummaC)는 문장 단위의 판단이나 이진 일관성 점수를 제공할 뿐, 의미론적 섭동(semantic perturbations) 하에서 환각의 심각도를 정량화하는 견고한 스칼라 측도를 갖추지 못하고 있다.
기술적(Descriptive) vs 정량적(Quantitative) 설명 가능성: SMILE(국소적 설명을 통한 통계적 모델 불가지론적 해석력), LIME, SHAP과 같은 설명 가능성 프레임워크는 토큰 중요도와 모델 민감성에 대한 통찰을 제공하지만, 기본적으로 기술적인 수준에 머물러 있다. 이들은 모델이 왜 특정 방식으로 행동하는지는 설명하지만, 환각 심각도에 대한 직접적인 정량적 점수를 제공하지는 않는다.

본 연구의 핵심 가설은 충실한 요약 모델은 의미를 보존하는 섭동 하에서도 안정성을 유지하는 반면, 환각에 취약한 모델은 유의미한 출력 불안정성을 보인다는 것이다.

2. 방법론: 향상된 SMILE 프레임워크

저자들은 향상된 SMILE 파이프라인에 통합된 새로운 **환각 심각도 점수(Hallucination Severity Score, HSS)**를 제안한다. 이 프레임워크는 다음 단계들을 통해 SMILE을 질적 해석 도구에서 양적 진단 프레임워크로 변환한다.

2.1 의미론적 섭동 생성

시스템은 입력 문서( $x$ )에 대해 제어된 의미 보존 섭동을 생성하여 섭동된 입력 집합 $\{x^{(k)}\}$ 을 만든다.

토큰 선택: 사실적 일관성을 유지하기 위해 개체명(NER 활용), 불용어, 숫자, 구두점은 제외한다. 오직 의미론적으로 관련 있는 토큰만이 수정 후보가 된다.
후보 생성: Word2Vec 임베딩을 사용하여 적격 토큰에 대한 상위- $k$ 근접 이웃을 식별한다. 코사인 유사도 임계값( $\tau$ )은 의미적 근접성을 보장한다.
의미 보존 필터: Sentence-BERT(SBERT) 유사도 제약 조건( $\gamma$ )을 통해 섭동된 문장이 원래의 의미를 유지하는지 검증한다. 만약 $sim_{SBERT}(s, s') < \gamma$ 라면, 해당 섭동은 거부된다.
강도: 섭동은 2~30%의 토큰을 수정하며, 저(low), 중(moderate), 고(high) 강도로 분류된다.

2.2 요약 생성 및 표현

모델: BART-large-CNN 트랜스포머 모델이 베이스라인 요약( $y_0$ )과 각 섭동된 입력에 대한 요약들( $y_k$ )을 생성한다.
임베딩 분포: 각 요약은 문장 단위로 분해되며, SBERT를 사용하여 문맥 임베딩이 생성된다. 이는 요약의 의미 구조를 나타내는 경험적 분포( $\mu_y$ )를 형성한다.

2.3 Wasserstein 거리를 통한 불안정성 측정

프레임워크는 임베딩 분포 간의 기하학적 수송 비용을 측정하는 Wasserstein 거리( $W$ )를 사용하여 베이스라인 요약과 섭동된 요약 사이의 의미적 변화를 정량화한다.
$D_k = W(\mu_{y_0}, \mu_{y_k})$
원시 불안정성은 $K$ 개의 섭동에 대한 이 거리들의 평균이다.

2.4 환각 심각도 점수(HSS) 및 정규화

교차 도메인 비교를 가능하게 하기 위해 원시 Wasserstein 거리를 정규화한다.

범주 인식 정규화: 특정 문서 범주( $c$ )에 대한 Wasserstein 거리의 95 백분위수로 정규화 상수( $M_c$ )를 계산한다.
최종 점수: HSS는 정규화된 거리들의 평균이다:
$HSS(x) = \frac{1}{K} \sum_{k=1}^{K} \min\left(\frac{D_k}{M_c}, 1\right)$
HSS 값이 높을수록 의미론적 불안정성이 크며, 결과적으로 환각 심각도가 높음을 나타낸다.

2.5 속성 불안정성 분석(Attribution Instability Analysis)

프레임워크는 HSS를 SHAP(Shapley Additive Explanations) 및 LIME과 같은 속성 기반 불안정성 지표와 상관시킨다. 이는 입력이 섭동될 때 특성 속성(feature attribution) 분포가 얼마나 변화하는지를 측정한다.

3. 실험 설정

데이터셋: 영화, 문학, AI, 의학 연구를 다루는 4개 도메인의 34개 문서.
규모: 총 286개의 섭동이 생성되었으며, 320개의 평가된 요약이 도출됨.
검증: 통계적 분석에는 Pearson 및 Spearman 상관관계, 신뢰 구간을 위한 1,000회의 부트스트랩 재표본 추출, 그리고 절제 연구(ablation studies)가 포함되었다.
비교 대상: HSS는 FactCC, SummaC, Precision/Recall/F1, Attention 점수, LIME, SHAP와 비교되었다.

4. 주요 결과

실험적 평가는 다음과 같은 결과를 도출하였다:

SHAP와의 강력한 정렬: HSS는 SHAP 기반 속성 불안정성과 가장 강력한 상관관계( $r \approx 0.90$ )를 보였다. 이는 환각이 발생하기 쉬운 요약문이 의미론적 섭동 하에서 매우 불안정한 특성 속성 패턴을 생성함을 나타낸다.
사실성과 음의 상관관계: HSS는 사실성 일관성 지표(FactCC: $r \approx -0.63$ ; SummaC: $r \approx -0.55$ )와 중간 내지 강한 음의 상관관계를 보였으며, 이는 높은 심각도 점수가 낮은 사실적 신뢰도와 대응함을 확인시켜 준다.
어휘적/분포적 지표와의 약한 상관관계: HSS는 원시 Wasserstein 거리( $r \approx -0.33$ ) 및 LIME( $r \approx 0.29$ )와 약한 상관관계를 보였다. 이는 표면적인 어휘 중첩이나 단순한 분포 변화가 의미론적 환각의 충분한 대리 지표가 될 수 없음을 시사한다.
도메인 민감도: HSS는 도메인 간 차이를 효과적으로 구분하였다. 지식 집약적 도메인(예: 과학 논문, 법률 문서)은 덜 구조화된 도메인(예: 소셜 미디어, 제품 리뷰)에 비해 높은 HSS 값(높은 불안정성)을 보였다.
섭동 민감도: HSS 값은 섭동 강도(저강도 0.38에서 고강도 0.62까지)에 따라 일관되게 증가하였으며, 이는 정량적 척도로서의 민감도를 입증한다.

5. 기여 및 의의

본 논문은 다음과 같은 기여와 의의를 주장한다:

새로운 지표 (HSS): 이진적 사실성 체크를 넘어, Wasserstein 기반의 의미적 불안정성을 통해 환각 심각도를 정량화하는 통계적으로 근거 있는 환각 심각도 점수를 도입하였다.
향상된 SMILE 프레임워크: 문맥 임베딩 분포, 속성 불안정성, 섭동 기반 강건성을 하나의 통합된 통계적 파이프라인으로 통합하여 SMILE 프레임워크를 확장하였다.
대리 지표로서의 속성 불안정성: SHAP 기반 속성 불안정성이 의미론적 환각 행동의 신뢰할 수 있는 지표임을 입증하였으며, 이것이 표면적인 어휘 지표나 LIME보다 우수함을 보여주었다.
강건한 검증: 광범리한 통계적 검증(상관관계 분석, 부트스트랩 신뢰 구간)과 절제 연구를 통해 본 프레임워크의 강건성을 확인하였으며, 정규화, NER 보호, 의미 필터링과 같은 구성 요소들이 신뢰할 수 있는 추정을 위해 필수적임을 증명하였다.

저자들은 환각은 근본적으로 의미론적 불안정성과 연관되어 있으며, 표면적인 어휘 지표만으로는 완전히 특징지을 수 없다고 결론짓는다. 제안된 프레임워크는 LLM 기반 요약 시스템의 모델 감사, 드리프트 모니터링 및 임계값 기반 품질 보증을 위한 경로를 제공한다.

6. 한계점

저자들은 다음과 같은 한계점을 인정하였다:

데이터셋 규모: 평가가 상대적으로 작은 규모의 데이터셋(34개 문서)에서 수행되었으므로 일반화 가능성이 제한될 수 있다.
모델 특이성: 실험이 단일 요약 모델(BART-large-CNN)에 국한되었으며, 다양한 LLM 아키텍처에 대한 폭넓은 검증이 필요하다.
섭동 제약: 제약된 섭동 전략은 실제 세계의 다양한 언어적 변이를 모두 포착하지 못할 수 있다.
인간 평가의 부재: 본 연구는 자동화된 지표에 의존하고 있으며, 향-후 연구에서는 자동화된 심각도 추정치를 인간의 판단과 일치시키기 위한 인간 평가가 필요하다.