XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

기술 요약: 학습 불필요 멀티모달 대규모 언어 모델을 이용한 XAI 기반 음성 딥페이크 탐지 설명 생성

문제 정의
음성 딥페이크 탐지(Speech Deepfake Detection, SDD) 시스템은 현재 결정에 대해 신뢰할 수 있고 해석 가능한 설명을 제공하는 데 있어 중대한 과제에 직면해 있습니다. 기존의 접근 방식들은 전통적인 설명 가능한 AI(XAI) 기술(예: 그래디언트 기반 속성 추출)을 활용하지만, 이러한 방법들은 모델 내부와 밀접하게 결합되어 있어 인간이 해석하기 어려운 저수준 신호(예: 살리언시 맵)를 생성하는 경우가 많습니다. 반대로, 대규모 언어 모델(LLM)에 의해 생성된 설명은 휴리스틱한 증거나 작업별 감독(supervision)의 부재로 인해 일반적이고 근거가 없으며 환각(hallucination) 현상이 발생하기 쉽습니다. 또한, SDD 설명을 위해 특화된 전용 데이터셋이 부재하며, 현재의 LLM 기반 파이프라인은 출력의 충실도(faithfulness)를 검증할 원칙적인 메커니즘이 부족합니다.

방법론: XAI 기반 설명 생성 (XGEG)
저자들은 전통적인 XAI 증거와 멀티모달 대규모 언어 모델(MLLM)을 통합하여 근거 있고 구체적이며 신뢰할 수 있는 설명을 생성하는 학습 불필요 프레임워크인 XGEG를 제안합니다. 파이프라인은 다음과 같이 작동합니다:

1. 기반 모델 및 XAI 증거 생성: 미세 조정 없이 세 가지 사전 학습된 SDD 모델(wav2vec 2.0, HuBERT, WavLM 기반)을 활용합니다. 이 모델들은 Integrated Gradients(IG), Saliency, LIME를 사용하여 속성 맵(attribution maps)을 생성합니다. 추가로, 경량화된 사전 학습 MLP 분류기를 통해 openSMILE eGeMAPSv02 세트로 추출된 음향 특징에 대한 SHAP 유도 중요도 점수를 계산합니다.
2. 데이터 필터링: 프레임워크는 PartialSpoof 데이터셋에서 작동합니다. 신뢰성을 보장하기 위해 네 가지 모델(세 가지 기반 모델 + MLP) 모두에 의해 올바르게 분류된 샘플만 유지합니다. 설명은 본래의 음성(bona fide speech)보다 스푸핑된 샘얼에 대해 더 유의미하므로, 분석 대상은 엄격히 스푸핑 샘플로 제한됩니다.
3. 멀티모달 통합:
   • 시각적 해석: IG, LIME, Saliency로부터 얻은 스펙트로그램 기반 히트맵은 시각-언어 모델(Qwen2.5-VL-7B)에 입력되어 시간 및 주파수 범위 측면에서의 이상 영역을 요약합니다.
   • 텍textual 합성: 이러한 시공간 요약은 SHAP에서 추출된 상위 순위 음향 특징과 결합되어 멀티모달 LLM(Qwen3-Omni-30B)의 입력으로 제공됩니다.
   • 프롬프팅 전략: LLM은 XAI 증거를 확정적인 결론이 아닌 지지 신호로 취급하고, 입력된 음향 콘텐츠를 우선시하도록 명시적으로 지시받습니다. 모델은 증거를 단순히 재생산하는 것이 아니라 비판적으로 분석하도록 프롬프트됩니다.
4. 구조화된 출력: 환각을 완화하기 위해 출력은 (I) 오디오 이상 징후(시간/주파수 범위), (II) 자유 텍스트 설명, (III) XAI 집계(모델 간 일치 여부 표시)를 포함하는 사전 정의된 구조적 형식을 따릅니다.

주요 기여

1. XAI 기반 프레임워크: 본 논문은 교차 모델 XAI 신호를 집계하고 충실도 중심의 검증을 통해 MLLM을 가이드하는 원칙적인 프레임워크를 도입합니다. 이 접근 방식은 단일 모델 속성 추출 방식이나 순수 텍스트 기반 방식에 비해 환각을 줄이면서 의미론적으로 풍부하고 구체적인 설명을 생성합니다.
2. 데이터셋 구축: 저자들은 PartialSpoof를 기반으로 약 65,000개의 설명 인스턴스로 구성된 대규모 설명 가능한 SDD 데이터셋을 구축하여 공개했습니다. 이 데이터셋은 설명 가능한 SDD 연구를 위한 전용 리소스의 공백을 메워줍니다.
3. 학습 불필요한 확장성: 본 방법론은 사전 학습된 모델에 의존하는 학습 불필요 파이프라인을 사용하여, 각 작업마다 전용 탐지기를 재학습시킬 필요 없이 다양한 데이터셋 생성 환경에 걸쳐 확장성을 보장합니다.

결과 및 평가
프레임워크는 정성적 분석, 인간 평가 및 정량적 지표를 통해 평가되었습니다:

• 인간 평가: 어노테이터들은 설명의 정확성, 증거 지원, 구체성 및 전반적인 선호도를 평가했습니다. 결과에 따르면 XAI 가이드 버전이 "Pure Audio" 베이스라인보다 유의미하게 우수한 성능을 보였습니다. 특히, All XAI (Three Model) 구성이 가장 높은 전반적 선호도(평균 선택 1.50)와 높은 구체성(4.30)을 달성하여, 다중 소스 XAI 가이드가 환각을 줄이고 세부 사항을 개선함을 입증했습니다.
• 정량적 국소화(Localization):
  • 내부 정확도 (Inside Accuracy, IA): LIME 단일 방법 구성이 가장 높은 IA(0.811)를 기록하여, 과도한 확장을 피하면서 이상 시간 구간을 국소화하는 데 탁ver한 정밀도를 보여주었습니다.
  • 영역 정규화 로짓 민감도 (Area-Normalised Local Logit Sensitivity): 파괴적인 마스킹 없이 충실도를 테스트하기 위해 설계된 이 지표는 멀티모달 방법이 베이스라인보다 더 영향력 있는 영역을 식별함을 보여줍니다. All XAI (Single Model) 구성은 가장 높은 민감도 밀도($3.1466 \times 10^{-6}$)를 달성하였으며, 이는 Pure Audio 베이스라인 대비 22.10배의 향상을 나타냅니다.
• 정상 음성 분석: 시스템은 실제 음성에 대해서도 테스트되었으며, 이상 징후의 부재를 정당화하는 설명을 성공적으로 생성했습니다. 다만, 저자들은 이것이 가짜를 탐지하는 것보다 여전히 더 어려운 과제임을 언급했습니다.

의의 및 주장
본 논문은 신뢰할 수 있고 해석 가능한 설명을 개발하는 것이 단순한 이진 분류를 넘어 신뢰할 수 있고 책임 있는 SDD 결과를 달리는 데 필수적이라고 주장합니다. 저수준 XAI 신호와 고수준 자연어 추론 사이의 간극을 메움으로써, 제안된 프레임워크는 딥페이크 탐지 시스템의 투명성과 신뢰성을 높입니다. 저자들은 자신들의 접근 방식이 "내부 정확도"를 45% 이상 높였음을 주장하며(인간 평가 및 충실도 검사를 통해 검증됨), 향-설명 가능한 SDD 연구를 지원할 기초적인 데이터셋을 제공한다고 강조합니다. 이 연구는 LLM이 해석력을 제공하지만, 근본적인 결정 과정에 충실하기 위해서는 XAI의 구조적 지원이 필요하다는 점을 역설합니다.