Inside the Latent Flow: Causal Deciphering of Attention Dynamics in Audio Separation Foundation Models

기술 요약: 잠재적 흐름 내부: 오디오 분리 파운데이션 모델의 어텐션 역학에 대한 인과적 해독

문제 정의
플로우 매칭 트랜스포머(flow-matching transformers)는 오디오 분리 분야에서 강력한 성능을 달 achievement 했으나, 이들의 내부 어텐션 역학은 여전히 불투명한 상태로 남아 있다. 현재의 설명 가능성(explainability) 관행은 컴퓨터 비전의 휴리스틱에 의존하며, 크로스 어텐션 맵이 오디오 생성에서 정밀한 시간적 앵커 역할을 수행한다고 가정한다. 그러나 최근의 분석은 이러한 가정이 오디오 아키텍처에는 오해의 소지가 있을 수 있음을 시사한다. 여기에는 결정적인 방법론적 격차가 존재한다. 즉, 수동적인 어텐션 분포 관찰만으로는 확산 모델(diffusion models) 내의 얽힌 비선형 상호작용을 분리해낼 수 없다. 결과적으로, 통합 과정 중 멀티모달 특징 주입 및 시공간적 라우팅을 제어하는 메커니즘은 제대로 이해되지 않고 있다.

방법론
저자들은 인과적 개입(causal-intervention) 원칙에서 파생된 결정론적 추론 시 프로빙 프레임워크를 제안한다. 이 접근 방식은 사전 학습된 가중치를 변경하지 않고 상미분 방정식(ODE) 궤적 동안 중간 표현(intermediate representations)을 조작한다. 이 방법론은 네 가지 핵심 요소로 구성된다:

1. 직교 프로빙(Orthogonal Probing): 이는 두 가지 텍스트 컨디셔닝 경로, 즉 가산 잔차 주입(additive residual injection)과 표준 크로스 어텐션을 분리한다. 저자들은 절제(ablation, 가중치를 0으로 만들거나 균일하게 강제함)를 수행하고, 물리적으로 직교하는 지표(음향적 측면의 SI-SNR, SAR; 의미론적 측면의 STOI, PESQ)를 통해 그 영향을 측정함으로써 이 두 경로의 역할을 분리한다.
2. 인과적 동결(Causal Freezing): 레이어들은 셀프 어텐션 행렬의 엔트로피 변화율에 따라 "안정적(stable)" 또는 "빠른(fast)" 레이어로 분류된다. 저자들은 특정 적분 단계에서 어텐션 행렬을 동결하여, 중단된 단계가 음향적 기여도에 미치는 영향을 정량화한다.
3. 게이트 하이재킹(Gate Hijacking): 네트워크의 시간적 분절(temporal segmentation)에 대한 기하학적 능력을 조사하기 위해, 저자들은 학습 가능한 게이팅 파라미터($\gamma$)를 기본값인 음수에서 양수로 강제 변경한다. 이를 통해 모델이 표준 작동 중에 능동적으로 억제되고 있는 잠재적 경계 분절 능력을 보유하고 있는지 테스트한다.
4. 레이어 선택적 어텐션 캐싱(Layer-Selective Attention Caching, LSAC): 인과적 발견을 엔지니어링 전략으로 전환하여, LSAC는 어텐션 행렬이 수렴하는 "안정적" 레이어에서 어텐션을 선택적으로 캐싱한다. 이는 비용이 많이 드는 쿼리-키(query-key) 곱셈은 건너뛰되, 밸류(value) 행렬은 재계산하는 방식이다.

주요 기여

• 메커니즘적 발견: 본 연구는 비대칭적 이중 경로 컨디셔닝 메커니즘을 확립한다. 가산 주입은 의미론적 정체성(거시적 조종)을 구동하는 반면, 크로스 어텐션은 음향적 구조(고주파 텍스처 및 선명도 렌더링)를 제어한다는 사실이 밝혀졌다. 이는 크로스 어텐션이 오디오 확산 모델에서 주요한 의미론적 그라운딩 메커니즘이라는 기존의 가설에 도전한다.
• 인과적 검증: 저자들은 비동기적인 "스캐폴드 및 조각(scaffold and sculpt)" 수렴 역학을 입증한다. "안정적" 레이어(예: L1, L6, L9)는 ODE 궤적 초기 단계에서 시간적 스캐폴드를 구축하는 반면, "빠른" 레이어는 마지막 단계까지 미세한 아티팩트를 지속적으로 해결한다.
• 현상 특성화: "사전 억제(prior suppression)" 현상이 식별되었다. 모델은 이산적인 시간적 경계를 분절할 수 있는 기하학적 능력을 갖추고 있으나(게이트 하이재킹 시 블록 대각 어텐션 패턴으로 증명됨), 표준 추론 시에는 연속적인 흐름의 안정성을 유지하기 위해 이 기능을 능동적으로 억제한다. 이 이산적 사전 확률(discrete prior)을 강제하면 분리 품질이 저하된다.
• 실용적 방법: 비동기적 수렴 통찰을 활용하여, 저자들은 LSAC라는 훈련이 필요 없는 가속화 방법을 제안한다. LSAC는 안정적인 레이어의 어텐션을 캐싱함으로써 밸류 행렬은 재계산하면서도 셀프 어텐션 계산량을 줄여, 품질 저하를 최소화하면서 약 25%의 연산량을 절감한다.

결과

• 컨디셔닝 역학: 가산 경로를 절제했을 때 가장 큰 의미론적 지표 저하(STOI $\Delta = -0.219$)가 발생한 반면, 크로스 어텐션을 0으로 만들었을 때는 막대한 음향적 저하(SAR $\Delta = -9.85$ dB)가 발생했다. 이는 두 경로의 뚜렷한 역할을 확인시켜 준다.
• 레이어 수렴: 안정적인 레이어를 단계 4만큼 일찍 동결해도 무시할 만한 저하(0.05 dB)가 발생했으나, 빠른 레이어를 단계 8에서 동결했을 때는 상당한 저하(0.66 dB)가 발생했다. 이는 고주파 과도 응답(transients)이 궤적 후반부에 해결됨을 확인해 준다.
• 억제 증거: 경계 분절을 강제하기 위해 게이트를 하이재킹했을 때 블록 비율(Block Ratio)은 66% 증가했으나 SI-SNR은 14.6 dB 급락했다. 셔플된 대조군(shuffled control group)은 이러한 효과를 보이지 않았는데, 이는 억제가 연속적인 흐름을 선호하기 위해 학습된 전략임을 확인시켜 준다.
• 가속 성능: LSAC는 단순한 단계 축소(naive step reduction)에 대해 엄격한 파레토 우위(Pareto dominance)를 달성했다. Noisy 티어에서 LSAC는 동일한 계산량 절감 대비 단순 절단 방식보다 6.7배 높은 품질 유지력을 보였다. 3B 파라미터 모델에서 LSAC-Balanced는 기존 캐싱 방법(DeepCache-Skip2)보다 37배 높은 품질 우위를 나타냈다.

의의 및 주장
본 논문은 생성 모델링과 오디오 파운데이션 모델의 기계론적 해석 가능성 사이의 간극을 메운다고 주장한다. 인과적 개입을 통해, 저자들은 어텐션이 반드시 설명(explanation)을 의미하는 것은 아니며, 오디오 확산 모델이 의미론과 음향을 위한 별개의 비동기적 메커니즘을 통해 작동한다는 직접적인 증거를 제시한다.

본 연구의 의의는 다음과 같은 이중적 기여에 있다:

1. 이론적 측면: 어텐션이 의미론적 앵커가 아닌 국소적 음향 변조기로 작동함을 밝힘으로써 오디오 확산 모델의 이해를 재정의하며, 모델이 생성적 일관성을 확보하기 위해 이산적 분절 능력을 능동적으로 억제한다는 점을 드러낸다.
2. 실용적 측면: 이러한 인과적 통찰을 활용한 확장 가능한 훈련 불필요 가속 전략인 LSAC를 도입한다. 이 방법은 다양한 음향 복잡도(깨끗한 음성, 노이즈, 환경음)에 걸쳐 분리 충실도를 유지하며, 3B 파라미터 규모의 대형 모델에서도 효과적으로 확장되어 단순 단계 축소의 강력한 대안을 제공한다.

저자들은 본 연구가 SAM 오디오 제품군에 국한되어 있으며, 이러한 발견의 다른 컨디셔닝 체계로의 전이 가능성은 여전히 열려 있는 과제라고 언급했다. 향-대-잡음비(SNR)의 실시간 추정에 기반한 동적 캐싱 임계값 탐색에 대한 후속 연구를 제안했다.