The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions

기술 요약: 오디오 모델에서 나타나는 설명의 인지된 취약성

문제 정의
합성 오디오의 확산은 딥페이크 탐지 시스템의 배포를 가속화했으며, 이 시스템들은 점차 모델 결정의 근거가 되는 음향적 아티팩트(artifact)를 강조함으로써 신뢰를 구축하기 위해 설명 가능한 AI(XAI) 기법에 의존하고 있다. 그러나 이러한 의존성은 결정적인 보안 취약점을 야기한다: 바로 설명 자체의 취약성이다. 어트리뷰션 맵(attribution maps)이 적대적 조작에 취약하다는 점은 컴퓨터 비전 분야에서 광범위하게 문서화되었으나(Ghorbani et al., 2019; Dombrowski et al., 2019; Heo et al., 2019), 오디오 모델에 미치는 영향은 여전히 거의 다뤄지지 않고 있다. 기존의 비전 기반 공격들은 조작 비용을 측정하기 위해 $L_p$ 노름(norm)을 사용하는데, 이 지표는 인간의 청각적 지각과 상관관계가 없다(Abdullah et al., 2021). 결과적으로, XAI 기술이 견고한 해석을 제공하는지, 아니면 인지할 수 없는 섭동(perturbation)을 통해 분류기의 결정 경계로부터 분리될 수 있는지 판단하기 위한 도메인 특화 프레임워크가 부재한 실정이다.

방법론
이러한 취약성을 조사하기 위해, 저자들은 모델의 최종 예측을 엄격히 유지하면서 사후(post-hoc) 설명 히트맵을 조작하고 인지할 수 없는 오디오 품질을 유지하도록 설계된 새로운 최적화 프레임워크를 제안한다.

• 대상 모델 및 XAI 방법: 본 연구는 서로 다른 특징 추출 패러다임을 대표하는 세 가지 별개의 아키텍처를 평가한다: VGGish(고전적 컨볼루션), Audio Spectrogram Transformer(AST, 셀프 어텐션), 그리고 SpecTTTra(SONICS 데이터셋을 위해 설계된 어텐션 기반 모델). 두 가지 사후 어트리뷰션 방법이 분석된다: Grad-CAM(1차 그래디언트) 및 Layer-wise Relevance Propagation(LRP, 보존 기반).
• 공격 전략: 100개의 샘플링된 SONICS 딥페이크 녹음 데이터에 대해 세 가지 방법론이 적용된다:
  1. 표준 PGD: 원래의 맵과 섭동된 맵 사이의 구조적 유사성을 최소화하는 $L_\infty$ 제한 공격으로, 지각적 제약이 없는 베이스라인 역할을 한다.
  2. X-Shift (변형): 관련 없는 타겟 영역으로 관련성(relevance)을 강제 이동시키는 공간적 변위 전략.
  3. 심리음향 노이즈 모델링 (제안됨): 손실 함수에 동적 심리음향 마스킹 임계값을 통합한 커스텀 프레임워크.
• 최적화 프레임워크: 제안된 손실 함수 $L(\delta)$는 세 가지 항을 결합한다:
  • $L_{explain}(\delta)$: 원래의 어트리뷰션 맵과 섭동된 맵 사이의 코사인 유사도를 최소화한다.
  • $L_{audibility}(\delta)$: 섭동이 정적 심리음향 마스킹 임계값 $T(x)$를 초과하는 스펙트럼 에너지를 가질 경우 페널티를 부여하여, 섭동이 들리지 않도록 보장한다.
  • $L_{pred\_preserve}(\delta)$: 원래의 예측이 변하는 것을 방지하는 마진 기반 힌지 손실(margin-based hinge loss).
    최적화는 어트리뷰션 조작에 필요한 2차 미분을 처리하기 위해 Adam 옵티마이저를 활용한다.
• 평가 지표: 지각적 투명성은 도메인 특화 지표 세트(PE-AQ, ViSQOL, Zimtohrli, CDPAM, PESQ, STOI)를 통해 평가된다. 설명의 취약성은 코사인 유사도(Cosine Similarity)와 Top-10 중첩(Overlap)을 통해 정량화된다. 저자들은 어트리뷰션 변위와 예측 보존 및 지각적 품질 사이의 균형을 맞추는 연속적 지표인 **오디오 취약성 점수(AFS$_{stable}$)**를 도입한다.

주요 기여

1. 새로운 최적화 프레임워크: 설명 대상 적대적 공격을 오디오 도메인에 적응시켜, 모델의 최종 분류와 어트리뷰션을 성공적으로 분리해 냈다.
2. 심리음향 제약: 손실 함수에 동적 심리음향 마스킹 임계값을 통합함으로써, 인간의 지각 한계나 모델의 예측을 변화시키지 않으면서도 큰 폭의 어트리뷰션 맵 변화를 허용할 수 있게 하였다.
3. 실증적 평가: SONICS 데이터셋을 사용하여 다양한 아키텍처(CNN 및 Transformer)에 걸친 집중적인 평가를 수행하였으며, 공격의 비인지성을 검증하기 위해 지각 지표를 활용하였다.

결과

• 지각적 품질: 제약이 없는 방법(PGD)은 오디오 품질을 심각하게 저하시킨다(예: PESQ $\approx$ 2.8). 반면, 제안된 심리음향 프레임워크는 노이즈를 인간의 마스킹 임계값 내로 제한함으로써 높은 객관적 지각 품질을 유지한다(ViSQOL > 4.1, CDPAM $\ge$ 0.98).
• 아키텍처별 취약성: 연구는 유의미한 격차를 드러낸다. 토큰 기반의 AST 아키텍처가 가장 취약한 것으로 나타났으며(평균 순위: 3.00), 이는 공격자가 어텐션 맵을 쉽게 조작할 수 있음을 의미한다. 반대로, SpecTTTra는 가장 높은 저항성을 보였다(평균 순위: 7.83). 이는 장거리 시간적 의존성을 추적하는 메커니즘이 제약된 노이즈의 영향을 희석시키기 때문인 것으로 보인다.
• 음향적 의존성: 공격하기 "쉬운" 샘플은 높은 스펙트럼 대역폭과 제로 크로싱 레이트(zero-crossing rates)를 가진 조밀한 광대역 오디오(예: 록/일렉트로닉)의 특성을 보였으며, 이는 노이즈를 위한 더 큰 "마스킹 예산"을 제공했다. "어려운" 샘ль은 극도로 희소한 음향 특성(예: 클래식 음악)을 특징으로 하며, 엄격한 지각적 제약이 허용 가능한 적대적 노이즈를 제한했다.
• 기하학적 분석: PCA 분석에 따르면, 심리음향 공격은 트랜스포머 기반 모델에서 매끄럽고 방향성 있는 어트리뷰션 이동을 유도하는 반면, 제약이 없는 공격은 주로 분산 감소를 유도한다.

의의 및 주장
본 논문은 오디오 딥페이크 탐지의 사후 설명이 표적 섭동 하에서 취약함을 입증한다고 주장한다. 저자들은 어트리뷰션 맵(Grad-CAM, LRP)이 예측이나 지각적 충실도를 해치지 않으면서도 체계적으로 조작될 수 있으며, 이는 표준 $L_p$ 지표로는 포착되지 않는 취약점이라고 주장한다.

연구 결과는 사후 설명의 구조적 한계(Grinberg et al., 2025에서 이미 언급됨)가 단순한 부정확성을 넘어 의도적인 적대적 조작으로까지 확장됨을 시사한다. 구체적으로, 어텐션 기반 아키텍처는 컨볼루션 네트워크보다 설명 스티어링(explanation steering)에 더 취약한 것으로 보이며, 음향적 토폴로지(조밀한 신호 vs 희소한 신호)가 설명의 견고성을 결정한다.

저자들은 오디오 모델의 신뢰성을 위해 시각적 어트리뷰션에 의존하는 것은 시기상조라고 결론짓는다. 그들은 향후 연구가 분류기의 정확한 결정 경계와 수학적으로 연결된 해석 메커니즘을 개발하는 데 집중해야 한다고 제언한다. 본 연구는 탐지 파이프라인의 견고성을 개선하기 위한 진단 도구로서 프레임화되었으며, 재현성과 책임 있는 사용을 지원하기 위해 모든 코드와 산출물을 공개한다.