Cross-Attention is Half Explanation in Speech-to-Text Models

기술 요약: Cross-Attention은 음성 인식 모델에서 절반의 설명에 불과하다

문제 제식 (Problem Statement)
Cross-attention 메커니즘은 ASR(자동 음성 인식) 및 ST(음성 번역)를 포함한 Speech-to-Text(S2T) 시스템에 사용되는 인코더-디코더 트랜스포머 아키텍처의 기초입니다. 이러한 메커니즘은 타임스탬프 예측, 음성-텍스트 정렬, 화자 식별과 같은 다운스트림 애플리케이션에서 빈번하게 활용되며, 이는 어텐션 점수가 출력 생성 시 특정 입력 특징에 대한 모델의 집중도를 신뢰성 있게 반영한다는 암묵적인 가정하에 작동합니다. 어텐션이 설명력으로서 갖는 신뢰성에 대한 논쟁은 자연어 처리(NLP) 분야에서 광범위하게 이루어져 왔으나, 음성 도메인에서는 이 가정이 여전히 검증되지 않은 상태로 남아 있습니다. 주요 우려 사항은 '컨텍스트 믹싱(context mixing)'으로, 이는 인코더의 출력 시퀀스가 원시 오디오 정보를 컨텍스트 데이터와 재구성하거나 혼합하여, cross-attention 가중치와 원시 입력 신호 사이의 직접적인 정렬을 모호하게 만들 가능성을 의미합니다. 기존의 S2T 설명 가능성 연구는 주로 셀프 어텐션(self-attention)이나 컨텍스트 믹싱의 효과에 초점을 맞추었으며, cross-attention 자체의 설명력을 체계적으로 평가하지는 않았습니다.

방법론 (Methodology)
저자들은 S2T 모델에서 입력-출력 의존성의 대리 지표로서 cross-attention을 분석하는 최초의 체계적인 연구를 제시합니다. 본 연구는 cross-attention(CA) 점수를 S2T를 위한 최첨단 특징 기여도(feature-attribution) 방법인 SPES로부터 도출된 입력 돌출 맵(input saliency maps)과 비교합니다. 방법론은 다음과 같은 세 가지 주요 비교를 포함합니다:

1. CA vs. 입력 돌출도 ($SM_X$): CA가 토큰 예측에 대한 원시 입력 특징(멜-스펙트로그램)의 관련성을 얼마나 잘 반영하는지 평가합니다.
2. CA vs. 인코더 출력 돌출도 ($SM_H$): 디코더가 인코딩된 표현을 사용하는 방식을 CA가 얼마나 잘 설명하는지 평가하여, 컨텍스트 믹싱의 영향을 격리합니다.
3. 집계 전략 (Aggregation Strategies): CA의 입도(granularity)와 호환되는 1D 시간적 표현으로 3D 돌출 맵을 압축하는 최적의 방법을 결정하기 위해, 시간 및 주파수 차원에 대한 다양한 집계 방법(2D average, 2D max, 2-step pooling)을 평가합니다.

이 분석은 단일 언어 및 다국어 설정, 단일 작업(ASR) 및 다중 작업(ASR+ST) 구성, 그리고 다양한 규모(125M에서 878M 파라미터까지)의 모델을 포괄합니다. 저자들은 Pearson 상관계수를 사용하여 CA 점수와 돌출 맵 사이의 선형 관계를 정량화하고, 설명의 충실도(faithfulness)를 평가하기 위해 삭제 지표(deletion metrics)를 활용합니다.

주요 기여 (Key Contributions)

• 체계적 경험적 평가: 본 논문은 영어, 이탈리아어를 포함한 다양한 언어, 작업, 모델 아키텍처(Conformer-Transformer)를 아우르는 S2T의 설명 도구로서 cross-attention에 대한 최초의 대규모 경험적 평가를 제공합니다.
• 설명력의 한계 정량화: 어텐션이 입력 관련성을 포착하는 정도를 질적 관찰을 넘어 정밀한 통계적 경계값으로 정량화합니다.
• 컨텍스트 믹싱 분석: CA를 원시 입력 돌출도 및 인코더 출력 돌출도와 비교함으로써, 어텐션과 실제 입력 관련성 사이의 차이에 기여하는 컨텍스트 믹싱의 구체적인 영향을 분리해 냅니다.
• 집계에 대한 통찰: 저자들은 2D max pooling이 평균 풀링(average pooling)이 흐릿하게 만드는 주파수 영역의 국소적 돌출 영역을 보존함으로써 가장 충실한 입력 설명을 제공한다는 것을 입증합니다.

결과 (Results)
경험적 결과는 cross-attention이 유용하지만 불완전한 설명적 단서를 제공함을 보여줍니다:

• 중등도의 정렬: 특히 점수를 어텐션 헤드와 레이어 전체에 걸쳐 집계할 때, cross-attention과 입력 돌출 맵 사이에 중등도에서 강한 상관관계가 나타납니다. 최상의 상관관계는 약 0.588에 달합니다.
• 제한된 커버리지: Cross-attention은 입력 관련성의 약 **50%**만을 포착합니다. 컨텍스트 믹싱이 제거된 인코더 출력 돌출도와 비교하더라도, CA는 인코더 출력 돌출도의 **52~75%**만을 설명합니다.
• 레이어 및 헤드 역학: 개별 어텐션 헤드는 종종 노이즈가 많거나 약한 상관관계를 보입니다. 그러나 헤드 간 평균을 내면 정렬이 일관되게 개선되며, 최종 디코더 레이어가 일반적으로 돌출 맵과 가장 강한 상관관계를 보입니다.
• 컨텍스트 믹싱의 영향: CA와 인코더 출력 사이의 상관관계는 원시 입력과의 상관관계보다 일관되게 높으며, 그 절대적 차이는 0.03에서 0.18 사이입니다. 이는 컨텍스트 믹싱의 영향을 정량화하지만, 남은 격차는 CA가 인코더 출력 수준에서도 충실한 대리 지표가 아님을 확인시켜 줍니다.
• 삭제 지표: 삭제 지표를 통한 직접적인 평가 결과, CA 기반 설명(점수 ~41.2)은 특징 기여도 방법(집계 시 ~52.9, 전체 해상도 시 ~91.3)보다 현저히 낮은 충실도를 보였습니다. 이는 CA가 미세한 시간-주파수 단서를 누락하고 있음을 나타냅니다.

의의 및 주장 (Significance and Claims)
본 논문은 cross-attention을 S2T 시스템에서 독립적인 설명 가능한 AI(XAI) 도구나 모델 동작의 충실한 대리 지표로 취급해서는 안 된다고 결론짓습니다. CA는 정보가 담긴 단서를 제공하고 계산 비용이 적지만, 예측을 유도하는 요인들에 대한 부분적인 관점만을 제공합니다. 저자들은 cross-attention이 약 절반의 신호만을 포착하기 때문에 "절반의 설명(half explanation)"이라고 주장합니다. 결과적으로, 본 논문은 다운스트림 애플리케이션에서 cross-attention을 주의 깊게 해석할 것을 권고하며, 어텐션 점수를 공식적인 설명 방법의 대체제로 사용하는 대신, 어텐션 메커니즘을 기여도 신호와 더 잘 정렬시키기 위한 하이브리드 접근 방식이나 훈련 시 전략(예: 어텐션 정규화)을 탐색해야 한다고 제안합니다.