Causal Tracing of Audio-Text Fusion in Large Audio Language Models

1. 연구 배경 및 문제 제기 (Problem)

최근 대규모 오디오 언어 모델 (LALMs) 은 음성 인식, 캡션 생성, 오디오 기반 질문 응답 등 다양한 작업에서 뛰어난 성능을 보이고 있습니다. 이러한 모델들은 일반적으로 오디오 인코더와 대규모 언어 모델 (LLM) 백본을 결합하여 연속적인 오디오 스트림과 텍스트 입력을 공동으로 처리합니다.

그러나 다음과 같은 핵심적인 '블랙박스' 문제가 존재합니다:

• 불명확한 융합 메커니즘: 오디오 특징 (acoustic features) 이 텍스트 컨텍스트와 정확히 언제 (모델의 어느 층에서) 그리고 어디 (입력 시퀀스의 어떤 토큰 위치에서) 통합되는지에 대한 내부 메커니즘이 불명확합니다.
• 기존 연구의 한계: 현재 연구는 주로 아키텍처 설계나 전체적인 성능, 편향, 환각 (hallucination) 등의 거시적 평가에 집중하고 있으며, 다중 모달 융합의 동적 과정을 분석하는 데는 미흡합니다.

2. 방법론 (Methodology)

이 논문은 LALMs 의 내부 정보 흐름을 매핑하기 위해 자연어 처리 분야에서 성공적으로 사용된 인과적 추적 (Causal Tracing) 기법을 오디오 도메인에 적용했습니다.

2.1. 실험 설정 (3 단계 추론)

모델의 오디오 입력이 텍스트 생성에 미치는 인과적 영향을 분리하기 위해 세 가지 추론 실행을 수행합니다 (그림 1 참조):

1. Clean Run (청결 실행): 원본 오디오 ($A_{clean}$) 와 프롬프트 ($T$) 를 입력하여 목표 토큰 확률 $P_{clean}$을 계산합니다.
2. Corrupted Run (손상 실행): 오디오를 완전한 침묵 (Silence) 으로 대체 ($A_{corrupt}$) 하여 오디오 컨텍스트를 제거한 상태에서 확률 $P_{corrupted}$를 계산합니다. (침묵은 모델의 구조적 무결성을 해치지 않으면서 오디오 정보를 완전히 제거하는 이상적인 베이스라인입니다.)
3. Patched Run (패치 실행): 손상 실행 중 특정 레이어나 토큰 위치의 은닉 상태 (hidden state) 를 Clean Run 의 해당 상태 ($h_{clean}$) 로 교체하여 $P_{patched}$를 계산합니다.

2.2. 평가 지표: 회복률 (Recovery Rate, RR)

패치된 은닉 상태가 원래 예측을 얼마나 회복시키는지 측정합니다.
$$RR = \frac{P_{patched} - P_{corrupted}}{P_{clean} - P_{corrupted}}$$

• $RR \approx 1.0$: 해당 은닉 상태가 오디오 - 텍스트 융합에 결정적인 인과적 기여를 함.
• $RR \approx 0.0$: 해당 상태는 융합에 기여하지 않음.

2.3. 분석 차원

• 레이어별 추적 (Layer-wise Tracing): 모델의 깊이 (Depth) 를 따라 오디오 정보가 텍스트 표현에 통합되는 시점을 파악합니다.
• 토큰별 추적 (Token-wise Tracing): 입력 시퀀스 내 특정 토큰 위치 (프롬프트 시작, 객체 토큰, 마지막 토큰 등) 에서 오디오 컨텍스트가 어떻게 라우팅되는지 공간적 분포를 파악합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

DeSTA, Qwen, Voxtral 등 다양한 LALM 아키텍처를 대상으로 실험한 결과는 다음과 같습니다.

3.1. 다중 모달 통합의 깊이적 전략 (Layer-wise Results)

모델마다 오디오와 텍스트를 통합하는 전략이 뚜렷하게 다릅니다 (그림 2):

• DeSTA (DeSTA2, 2.5): 점진적 통합 (Progressive Integration) 전략을 보입니다. 모델의 깊이가 깊어질수록 회복률이 서서히 증가하며, 약 15 레이어 이후에 안정화됩니다.
• Qwen (Qwen, Qwen2): 급격한 후기 통합 (Abrupt Late-stage Fusion) 전략을 보입니다. 초기 레이어에서는 오디오 신호의 영향이 거의 0 이지만, 네트워크의 마지막 1/3 구간 (약 18~31 레이어) 에서 회복률이 급격히 상승합니다. 즉, 텍스트와 오디오를 독립적으로 처리하다가 LLM 백본의 가장 깊은 층에서 통합합니다.
• Voxtral: 초기 통합 (Early Fusion) 전략을 보입니다. DeSTA 나 Qwen 보다 훨씬 일찍 (중간 레이어) 최대 회복률에 도달합니다.

3.2. 오디오 - 텍스트 융합의 공간적 국소화 (Token-wise Results)

입력 시퀀스 내 오디오 컨텍스트가 어디서 활용되는지 분석한 결과 (그림 3):

• 마지막 토큰의 병목 현상: 모든 모델에서 생성 직전의 마지막 토큰이 가장 높은 회복률을 보였습니다. 이는 네트워크가 시퀀스 전체에 걸쳐 신호를 지속적으로 혼합하는 것이 아니라, 최종 답변을 예측하기 위해 정보의 병목 (Informational Bottleneck) 지점에서 오디오 컨텍스트를 결정적으로 검색한다는 것을 의미합니다.
• 객체 토큰에서의 주의 메커니즘: 중간 레이어에서 객체 토큰 (Object tokens, 예: 'male', 'female') 위치에서 2 차적인 인과적 활성화가 관찰되었습니다. 이는 특정 목표 속성을 명시적으로 처리할 때, 모델이 오디오 표현에서 관련 컨텍스트를 끌어오기 위해 주의 (Attention) 와 유사한 쿼리 메커니즘을 작동시킨다는 것을 시사합니다.

4. 의의 및 시사점 (Significance)

이 연구의 발견은 향후 LALM 설계 및 배포에 중요한 시사점을 제공합니다:

1. 모델 설계 최적화:
   • 후기 통합 (Late-stage fusion) 을 사용하는 모델 (Qwen 등) 의 경우, 초기 레이어를 순수 텍스트 처리기로 간주하여 연산 오버헤드와 추론 비용을 줄일 수 있는 최적화 기회가 있습니다.
   • 초기/점진적 통합 모델은 오디오와 텍스트 간의 세밀한 상호작용이 필요한 작업에 더 유리할 수 있습니다.
2. 할루시네이션 (Hallucination) 완화:
   • 객체 토큰에서의 인과적 활성화가 오디오 컨텍스트 검색의 트리거 역할을 합니다. 이 내부 쿼리 메커니즘이 작동하지 않을 때 모델은 오디오 대신 텍스트 사전 지식에 의존하여 추측 (할루시네이션) 을 할 가능성이 높습니다. 이를 모니터링하면 추론 중 할루시네이션을 감지하는 지표로 활용 가능합니다.
3. 프롬프트 엔지니어링:
   • 다중 모달 모델이 컨텍스트 정보를 어디에서 가져오는지 (마지막 토큰, 객체 토큰 등) 에 대한 공간적 통찰을 바탕으로 더 효과적인 프롬프트를 설계할 수 있습니다.

결론

본 논문은 LALMs 가 오디오와 텍스트를 어떻게 통합하는지에 대한 명확한 인과적 지도를 제시했습니다. 레이어별 및 토큰별 인과적 추적을 통해 모델 아키텍처에 따라 통합 시기와 위치가 다르며, 마지막 토큰이 정보 검색의 핵심 병목 지점임을 규명했습니다. 이는 모델의 투명성을 높이고 효율적인 아키텍처 설계를 위한 기초를 마련했습니다.