기술 요약: 지시문은 어떻게 음성을 형성하는가? 스타일 캡션 기반 텍스트 음성 합성(TTS)을 위한 교차 주의 집중 기여도 분석

문제 정의

현대적인 텍스트 음성 합성(TTS) 시스템은 고정된 화자 임베딩에서 자연어 조건부 방식으로 진화하였으며, 자유로운 형식의 스타일 캡션(예: "차분하고 낮은 목소리로 천천히 말하는")을 통해 음성 특성을 제어합니다. 이러한 패러다임은 표현력을 제공하지만, 근본적인 해석 가능성의 간극이 존재합니다. 즉, 스타일 캡션의 개별 단어들이 합성된 오디오에 어떻게 영향을 미치는가? 하는 점입니다.

이미지 생성 분야에서는 확산 주의 집중 기여도 지도(DAAM)를 통해 프롬프트 토큰을 공간적 영역에 성공적으로 매핑한 반면, 음성은 고유한 과제를 안고 있습니다. 음성은 본질적으로 시간적(temporal)인 특성을 가지므로, 공간적 픽셀이 아닌 스펙트로그램 시간 프레임에 토큰을 매핑하기 위한 주의 집중(attention)이 필요합니다. 또한, 전역적 속성(스타일, 감정)과 지역적 속성(음소 정체성, 지속 시간) 사이의 구별은 음성 특유의 해석 가능성 문제를 야기합니다. 본 연구 이전에는 음성 확산 모델의 교차 주의 집중을 분석하기 위한 동등한 프레임워크가 존재하지 않았습니다.

방법론

저자들은 DAAM 프레임워크를 음성 도메인에 맞게 변형하여, 플로 매칭(flow matching) 기반의 비자기회귀(non-autoregressive) TTS 모델인 CapSpeech-TTS에 적용했습니다.

모델 아키텍처

CapSpeech 파이프라인은 다음과 같이 구성됩니다:

1. 인코더(Encoders): T5 인코더는 스타일 캡션을 문맥적 임베딩($E_c$)으로 처리하며, CLAP 인코더는 전역 스타일 태그 임베딩을 제공합니다.
2. 생성 핵심(Generative Core): 25개의 레이어($L=25$)를 가진 플로 매칭 확산 트랜스포머(DiT)입니다. 이 모델은 24개의 ODE 단계($S=24$)에 걸쳐 가우시안 노이즈로부터 멜-스펙트로그램 잠재 변수를 반복적으로 정제합니다.
3. 메커니즘: 모든 레이어와 ODE 단계에서 DiT는 오디오 쿼리(query)가 캡션 키(key)를 참조하는 다중 헤드 교차 주의 집중(multi-head cross-attention)을 계산합니다. 이것이 스타일 조건화의 핵심 지점입니다.
4. 보코더(Vocoder): HiFi-GAN 보코더가 정제된 잠재 변수를 최종 파형으로 변환합니다.

기여도 분석 메커니즘

캡션이 생성에 어떻게 영향을 미치는지 분석하기 위해 저자들은 다음을 수행했습니다:

• 주의 집중 가로채기: 모든 레이어 $l$과 ODE 단계 $s$에서 교차 주의 집중 행렬($A^{(l,s)}_h$)을 포착하기 위해 포워드 훅(forward hooks)을 등록했습니다.
• 집계: 헤드 간의 주의 집중을 평균화한 후, 모든 25개 레이어와 24개 ODE 단계를 통합하여 각 캡션 토큰 $j$에 대한 토큰별 시간적 히트맵($M_j$)을 생성했습니다.
• 토큰 분류: 캡션 토큰을 세 가지 범주로 분류했습니다:
  • 스타일(Style): 품질이나 감정을 묘사하는 형용사 (예: "차분한", "큰").
  • 내용(Content): 화자를 설명하는 명사 (예: "목소리", "남성").
  • 기능(Function): 관사, 전치사, 구두점.
• 지표: 시간적 분산, 피크 대 평균 비율(PMR), 시간적 엔트로피, 그리고 음향 특징(F0 및 RMS 에너지)과의 피어슨 상관계수 등의 지표를 정의했습니다.

데이터셋

본 연구는 120개의 스타일 캡션과 30개의 다양한 텍스트 전사(transcript)의 3,600가지 조합을 분석하였으며, 3,520건의 성공적인 생성을 도출했습니다. 이를 통해 54,880개의 토큰 인스턴스와 210만 개 이상의 주의 집중 행렬을 확보했습니다.

주요 기여

1. TTS 분야 최초의 교차 주의 집중 기여도 분석: 본 연구는 플로 매칭 TTS 모델의 모든 트랜스포머 레이어와 ODE 단계에 걸친 최초의 토큰별 시간적 히트맵을 제공합니다.
2. 전역 vs 지역 조건화 분석: 스타일 토큰이 내용 또는 기능 토ке보다 현저히 낮은 시간적 분산을 보임을 입증하여, 스타일 토큰이 전역적 조절자 역할을 한다는 것을 확인했습니다.
3. 음향적 근거 제시: 스타일 토큰의 주의 집중이 의미론적으로 일관된 방식으로 측정 가능한 음향 특징(F0 및 에너지)과 상관관계가 있음을 보여주었습니다 (예: "큰"은 에너지와 상관관계가 있음).
4. 계층적 역학 규명: 스타일 조건화가 초기 ODE 단계와 깊은 트랜스포머 레이어에서 정점에 달하며, 주의 집중 엔트로피가 스타일 중요성이 가장 높은 시점인 레이어 17에서 최솟값에 도달함을 밝혔습니다.

결과

1. 전역 vs 지역 조건화

• 시간적 분산: 스타일 토큰은 가장 낮은 시간적 분산($\bar{\sigma}^2 = 2.1 \times 10^{-5}$)을 보였으며, 이는 내용($7.0 \times 10^{-5}$) 및 기능($19.2 \times 10^{-5}$) 토큰보다 현저히 낮았습니다. 이는 스타일 토큰이 발화 전체에 걸쳐 주의를 균일하게 분산시킨다는 것을 나타냅니다.
• 피크 대 평균 비율(PMR): 낮은 분산에도 불구하고, 스타일 토킨은 가장 높은 PMR(1.74)을 기록했습니다. 이는 스타일 토큰이 시간에 따라 균일하게 퍼진 독특한 피크를 가진 압축적이고 특징적인 주의 집중 시그니처를 생성함을 시사합니다.
• 단어별 계층 구조: 전역적 운율을 묘사하는 단어(예: "쾌활한", "낮은")는 가장 확산된 주의 집중을 보인 반면, 특정 음향적 상관관계를 가진 단어(예: "큰", "비음 섞인")는 더 높은 분산을 보여, 그 효과가 가장 강한 영역에 부분적으로 국지화됨을 나타냈습니다.

2. 음향 특징 상관관계

• 상관관계 강도: 스타일 토큰은 F0($\bar{r} = +0.21$) 및 에너지($\bar{r} = +0.28$)와 중간 정도의 양의 상관관계를 보였습니다. 내용 토큰은 피치와 에너지에 대한 범주적 제약으로 인해 더 강한 상관관계를 보였습니다.
• 의미론적 일관성: 특정 단어들이 음향적 정의와 일치했습니다. "큰(Loud)"은 에너지와 강한 상관관계($r = +0.64$)를 보였고, "불안한(nervous)"과 "극적인(dramatic)"은 F0보다 에너지와 더 높은 상관관계를 보였습니다. 반대로 "자신감 있는(confident)"은 F0와 더 높은 상관관계를 보였는데, 이는 자신감 있는 말투에서 피치가 높아지는 특성과 일치합니다.

3. 레이어 및 단계 역학

• 레이어 역학: 스타일 중요도는 네트워크를 통과하며 단조롭게 증가하여 레이어 17에서 정점에 달했습니다. 후기-대-전기 중요도 비율은 1.28이었습니다. 내용 토큰은 레이어 22에서 정점에 도달했는데, 이는 네트워크가 스타일 조절을 먼저 해결한 후 화자의 정체성을 정교화함을 시사합니다. 기능 토큰은 레이어 전반에 걸쳐 평탄한 중요도를 보였습니다.
• 단계 역학: 스타일 중요도는 ODE 단계 0에서 정점을 찍고 마지막 단계까지 5.2배 감소했습니다. 이는 전역적인 음향적 골격이 확산 과정의 초기 단계에서 구축됨을 나타냅end. 반면, 기능 토큰은 후기 단계에서 중요도가 증가하여 미세한 순차적 구조에 초점을 맞추었습니다.
• 엔트로피: 주의 집중 엔트로피는 레이어 18(스타일 중요성 정점 인접 레이어)에서 최솟값에 도달했으며, 이는 가장 스타일 결정적인 단계에서 네트워크의 선택성이 극대화됨을 의미합니다.

의의 및 주장

본 논문은 교차 주의 집중이 자기회귀(autoregressive) TTS에서의 시간적 정렬 역할과는 근본적으로 다른, 전역적 조절 메커니즘으로서 기능한다는 것에 대한 최초의 정량적 증거를 제공한다고 주장합니다.

본 연구는 다음을 확립했습니다:

• 스타일 지시문은 계층적으로 처리됩니다: 초기 ODE 단계와 깊은 트랜스포머 레이어가 전역적 스타일 조건화에 결정적입니다.
• 네트워크는 "조대(coarse)-에서-미세(fine)"로 이어지는 역학을 달성하며, 전역적 구조를 먼저 구축한 후 나중에 음향적 세부 사항을 정교화합니다.
• 자연어 지시문은 단순한 전역 태그가 아니라, 특정 단어가 특정 음향 특징(F0, 에너지)을 유도하는 의미론적으로 일관된 패턴을 통해 음향적 실체에 기능적으로 근거하고 있습니다.

이 연구는 생성형 음성 모델과 해석 가능성 사이의 간극을 메우며, 표현력이 풍부한 TTS 시스템의 실패 모드를 이해하고 제어 능력을 향상시키기 위한 진단 도구를 제공합니다.

참고: 저자들은 분석이 하나의 모델(CapSpeech)과 합성된 프롬프트로 제한된다는 한계를 인정했습니다. 향-후 연구에서는 다른 아키텍처, 자연스러운 사용자 프롬프트, 그리고 주의 집중 편집을 통한 인과적 개입으로 확장할 것을 제안했습니다.