기술 요약: NMT 및 추상적 요약의 환각 탐지를 위한 계층별 최적 운송(Layer-Resolved Optimal Transport)

문제 정의

신경 기계 번역(NMT) 및 추상적 요약 모델은 생성된 출력이 소스(source)와 유창하지만 사실적으로 일치하지 않는 "환각(hallucination)" 또는 "충실도 실패(faithfulness failures)" 문제를 빈번하게 겪는다. Guerreiro 등(2023)의 최근 연구는 교차 주의 집중(cross-attention) 분포와 참조(reference) 사이의 최적 운송(Optimal Transport, OT) 거리가 비지도 방식으로 NMT 환각을 탐지할 수 있음을 보여주었으나, 다음과 같은 몇 가지 핵심적인 질문들이 해결되지 않은 채 남아 있었다:

1. 계층별 해상도(Layer Resolution): 환각 신호가 개별 디코더 계층(layer)에 어떻게 분포하며, 특정 계층이 다른 계층보다 더 진단적인가?
2. 탐지기 전문화(Detector Specialization): 서로 다른 OT 기반 메트릭(예: 균등 분포로의 거리 vs. 데이터로의 거리)이 서로 다른 유형의 환각을 탐지하는 데 특화되어 있는가?
3. 태스크 전이성(Task Transfer): NMT에서 (OT를 통해 탐지된) "소스 이탈(source disengagement)"의 기하학적 직관이, 실패 모드가 근본적으로 다를 수 있는 추상적 요약에서도 전이되는가?

방법론

1. 최적 운송 메트릭

저자들은 모든 디코더 계층($\ell$)과 생성 단계($t$)에 걸친 교차 주의 집중 분포($\pi^{(\ell,t)}$)를 분석하기 위해 Wasserstein-1 ($W_1$) 거리 프레임워크를 확장하였다. 주요 메트릭은 다음과 같다:

• Wass-to-Unif (WTU): 균등 분포(uniform distribution)로의 $W_1$ 거리를 계산하여 주의 집중의 농축도를 측정한다. 높은 농축도(낮은 거리)는 모델이 소스를 무시하고 있음을 시사한다.
• Wass-to-Data (WTD): 테스트 문장의 주의 집중 분포를 확정된 정답 번역 세트와 유사성을 측정한다.
• 라우팅 일관성 (Routing Consistency, RC): 생성 단계에 걸쳐 디코더가 동일한 소스 위치에 얼마나 일관되게 주의를 기울이는지 정량화하는 새로운 메트릭이다. 이는 시간 경과에 따른 argmax 소스 위치의 엔트로피로부터 도출된다.
• 단계 간 OT (Step-to-Step OT): 연속적인 디코딩 단계 사이의 동적인 주의 집중 변화를 측정하여 생성의 "탐색(exploratory)" 단계를 포착한다.
• 계층 쌍별 OT (Layer-Pairwise OT): 서로 다른 계층의 평균 주의 집중 분포 간의 거리를 계산하여 기능적 조직을 매핑한다.

2. 데이터셋 및 모델

• NMT (Fairseq DE-EN): 다섯 가지 환각 카테고리(전체 미지원, 강한 미지원, 반복 등)를 포함하는 Guerreiro 등(2023)의 코퍼스($N=3,414$)를 재분석하였다.
• 추상적 요약 (AggreFact): T5-base 및 Flan-T5-Large 아키텍처를 사용하여 CNN/DailyMail 및 XSum 테스트 세트($N=1,116$)에 대해 평가하였다.
• 베이스라인: 지도 학습 기반의 최첨단 모델(MiniCheck-Flan-T5-L) 및 무작위 베이스라인과 비교하였다.

주요 기여

1. 계층별 NMT 분석: 본 연구는 Guerreiro 등(2023)의 집계된 마지막 계층 분석을 6개의 모든 디코더 계층으로 확장하였다. 연구 결과, 탐지 성능이 계층 L1–L4에 집중되어 있는 반면, L5(마지막 계층)는 미묘한 환각 유형에 대해 종종 역예측적(anti-predictive)인 것으로 나타났다.
2. 상보적 탐지기: 논문은 WTU와 WTD가 전문화된 탐지기임을 입증한다. WTU는 "전체 미지원(full-unsupport)" 환각(완전한 소스 이탈)을 탐지하는 데 탁월하며, WTD는 "강한 미지원(strong-unsupport)" 및 "반복(repetitions)" 탐지에 더 우수하다. 새로 제안된 **라우팅 일관성(RC)**은 전체 미지원 환각에 대해 가장 강력한 개별 탐지기로 식별되었다.
3. 동적 생성 패턴: 저자들은 정상적인 디코딩을 두 단계 궤적으로 특징지었다: 탐색 단계(높은 주의 변화, 낮은 농축도) 이후 **확정 단계(commitment phase)**가 이어지는 과정이다. 환각이 있는 번역은 탐색 단계를 결여하며, 첫 번째 디코딩 단계부터 정적인 농축 상태로 시작된다.
4. 요약 전이 및 한계: OT 기반 탐지를 추상적 요약에 적용한 첫 사례이다. 비지도 탐지기는 (Balanced Accuracy 기준) 57.4%의 성능을 달order하였으나, 지도 학습 베이스라인(72.1%)에는 크게 미치지 못했다.
5. 구조적 해석 가능성: OT 메트릭과 T5-base에 대한 절제 연구(ablation studies)를 통해, 저자들은 일관된 디코더 조직을 밝혀냈다: 계층 3은 농축 및 라우팅 발산의 구조적 정점 역할을 하며, 계층 12는 생성 품질에 결정적이다. 계층 L9–L11은 기능적 중복성을 보인다.

결과

NMT 탐지 성능

• 신호 강도: 환각 번역은 정답 번역에 비해 유의미하게 높은 평균 농축도와 낮은 단계 간 OT를 보인다 ($p < 0.001$).
• 계층 특이성:
  • 전체 미지원: L1–L4에서 높은 탐지력을 보인다 (AUROC > 0.93). RC는 L2에서 정점을 찍는다 (AUROC 0.955).
  • 강한 미지원 및 반복: 탐지력이 전반적으로 약하다. 특히, 계층 5는 이러한 유형에 대해 역예측적(AUROC < 0.5)이 되는데, 이는 마지막 계층이 번역 품질과 관계없이 자연스럽게 가장 높은 농축도를 보이기 때문이다.
• 메커니즘: 환각은 디코더가 첫 단계부터 무관한 소스 토큰(또는 동일한 토ền)에 고착되는 "정적인" 주의 집중 시그니처를 특징으로 하며, 정답 번역에서 관찰되는 동적인 스캐닝 단계를 건너뛴다.

추상적 요약 전이

• 성능 격차: 비지도 OT 탐지기는 AggreFact에서 **57.4%**의 Balanced Accuracy를 기록하였으며, 이는 지도 학습 기반인 MiniCheck-Flan-T5-L의 **72.1%**보다 낮다.
• 일반화: OT 특징은 추출적(CNN) 방식과 추상적(XSum) 방식 간에 잘 일반화되지 않으며(교차 데이터셋 테스트 시 44.2% BAcc), 이는 신호가 레짐(regime)에 의존적임을 확인시켜 준다.
• 구조적 발견: T5-base에서 계층 3은 가장 높은 농축 정점을 보이며, 계층 1–3을 제거했을 때 ROUGE-L이 급격히 붕괴되는 것을 통해 이들이 필수적인 초기 컨텍스트 인코딩 블록임을 확인하였다.

의의 및 주장

본 논문은 교차 주의 집중(cross-attention)에 대한 최적 운송(OT)이 실패 모드가 "소스 이탈"인 경우에 한해 신뢰할 수 있는 비지도 탐지기라는 점을 상정한다.

• 원리 기반의 해석 가능성: 저자들은 OT가 트랜스포머 아키텍처를 이해하기 위한 레이블이 없는 기하학적 렌즈를 제공하며, 절제 연구 결과와 일치하는 기능적 전문화(예: T5의 L3, Fairseq의 L2)를 식별한다고 주장한다.
• 이론적 한계: 요약 작업에서의 성능 격차는 실패 모드의 근본적인 차이에서 기인한다. NMT 환각은 주로 내재적 검색 실패(소스를 무시함)인 반면, 이는 OT가 잘 탐지한다. 반면, 추상적 요약의 실패는 주로 콘텐츠 오용(소스에는 적절히 주의를 기울이지만 내용을 잘못 표현함)이며, 이는 농축 기반의 OT 메트릭이 구조적으로 포착할 수 없는 실패 모드이다.
• 결론: 본 연구는 OT가 모델이 소스로부터 이탈하는 시점을 탐지하는 강력한 도구임을 입증하며, 충실도 실패가 어텐션 메커니즘 하류(downstream)에서 발생할 때의 한계를 명시하면서도, 이를 원리적인 해석 가능성 도구로서 제시한다.