技术摘要：指令如何塑造语音？基于交叉注意力归因的风格描述文本转语音研究

问题陈述

现代文本转语音（TTS）系统已从固定的说话人嵌入演变为自然语言调节，即通过自由形式的风格描述（例如“沉稳、低沉且语速缓慢的声音”）来控制声音特性。虽然这种范式提供了丰富的表现力，但仍存在一个根本性的可解释性鸿沟：风格描述中的单个词汇是如何影响合成音频的？

与图像生成中通过扩散注意力归因图（DAAM）成功将提示词标记映射到空间区域不同，语音面临着独特的挑战。语音本质上是时间性的，需要通过注意力机制将标记（tokens）映射到频谱的时间帧而非空间像素。此外，全局属性（风格、情感）与局部属性（音素身份、时长）之间的区别，造成了语音领域特有的可解释性挑战。在此项工作之前，尚不存在用于分析语音扩散模型中交叉注意力的等效框架。

方法论

作者将 DAAM 框架适配到语音领域，并将其应用于 CapSpeech-TTS——一种基于流匹配（flow matching）的非自回归 TTS 模型。

模型架构

CapSpeech 流水线由以下部分组成：

1. 编码器： 一个 T5 编码器将风格描述处理为上下文嵌入（$E_c$），同时一个 CLAP 编码器提供全局风格标签嵌入。
2. 生成核心： 一个拥有 25 层（$L=25$）的流匹配扩散 Transformer（DiT）。它通过 24 个 ODE 步数（$S=24$）迭代地将高斯噪声细化为梅尔频谱潜变量。
3. 机制： 在每一层和每一个 ODE 步数中，DiT 都会计算多头交叉注意力，其中音频查询（queries）向描述键（keys）进行注意力计算。这是风格调节的核心所在。
4. 声码器： 一个 HiFi-GAN 声码器将细化后的潜变量转换为最终的波形。

归因机制

为了分析描述如何影响生成过程，作者采取了以下措施：

• 拦截注意力： 通过注册前向钩子（forward hooks）来捕获每一层 $l$ 和每一个 ODE 步数 $s$ 的交叉注意力矩阵（$A^{(l,s)}_h$）。
• 聚合： 对注意力进行多头平均，然后在所有 25 层和 24 个 ODE 步数中进行聚合，从而为每个描述标记 $j$ 创建一个单标记时间热图（$M_j$）。
• 标记分类： 将描述标记分为三类：
  • 风格（Style）： 描述质量或情感的形容词（如“沉稳”、“大声”）。
  • 内容（Content）： 描述说话人的名词（如“声音”、“男性”）。
  • 功能（Function）： 冠词、介词、标点符号。
• 指标： 定义了包括时间方差、峰值均值比（PMR）、时间熵以及与声学特征（F0 和 RMS 能量）的皮尔逊相关系数在内的指标。

数据集

本研究分析了 120 个风格描述与 30 个多样化文本转录组合的 3,600 种情况，共计 3,520 次成功生成。这产生了 54,880 个标记实例和超过 210 万个注意力矩阵。

核心贡献

1. 首个 TTS 交叉注意力归因研究： 该研究提供了针对流匹配 TTS 模型中所有 Transformer 层和 ODE 步数的首个单标记时间热图。
2. 全局与局部调节分析： 证明了风格标记的显著较低的时间方差（相比于内容或功能标记），证实了它们作为全局调节器的作用。
3. 声学落地（Acoustic Grounding）： 表明风格标记的注意力与可测量的声学特征（F0 和能量）具有相关性，且符合语义逻辑（例如，“大声”与能量相关）。
4. 层级动态特性： 揭示了风格调节在早期 ODE 步数和深层 Transformer 层中达到顶峰，而注意力熵在第 17 层达到最小值，这与风格重要性的峰值相吻合。

结果

1. 全局与局部调节

• 时间方差： 风格标记显示出最低的时间方差（$\bar{\sigma}^2 = 2.1 \times 10^{-5}$），显著低于内容标记（$7.0 \times 10^{-5}$）和功能标记（$19.2 \times 10^{-5}$）。这表明风格标记在整个话语中均匀分布注意力。
• 峰值均值比 (PMR)： 尽管方差较低，但风格标记拥有最高的 PMR (1.74)，这表明它们产生了紧凑且具有特征性的注意力签名，其特征峰值在时间上均匀分布。
• 逐词层级： 描述全局韵律的词汇（如“愉悦”、“低沉”）表现出最弥散的注意力，而具有特定声学相关性的词汇（如“大声”、“鼻音”）则表现出更高的方差，表明其效应在特定区域具有局部性。

2. 声学特征相关性

• 相关强度： 风格标记与 F0（$\bar{r} = +0.21$）和能量（$\bar{r} = +0.28$）呈现中度正相关。由于类别约束对音高和能量的影响，内容标记显示出更强的相关性。
• 语义一致性： 特定单词与其声学定义相符。“大声”与能量强相关（$r = +0.64$），“紧张”和“戏剧化”与能量的相关性高于 F0。相反，“自信”与 F0 的相关性更高，这符合自信语音中音高上升的特征。

3. 层与步数动态

• 层动态： 风格重要性随网络深度单调增加，在第 17 层达到顶峰。晚期与早期重要性之比为 1.28。内容标记在较晚阶段（第 22 层）达到顶峰，这表明网络先解决风格调节，再细化说话人身份。功能标记在各层的重要性表现平稳。
• 步数动态： 风格重要性在 ODE 步数 0 处达到顶峰，并随最后一步衰减了 5.2 倍。这表明全局声学骨架是在扩散过程的早期阶段建立的。相比之下，功能标记的重要性在后期步骤中增加，将重心转向精细的序列结构。
• 熵： 注意力熵在第 18 层（紧邻风格重要性峰值）达到最小值，表明在最关键的风格阶段，网络的选择性达到最大。

意义与主张

本文声称提供了首个定量证据，证明流匹配 TTS 中的交叉注意力是一种全局调节机制，这与自回归 TTS 中承担的时间对齐角色有着本质区别。

研究确立了以下结论：

• 风格指令是分层处理的：早期的 ODE 步数和深层的 Transformer 层对于全局风格调节至关重要。
• 网络实现了“由粗到精”的动态过程：先建立全局结构，随后细化声学细节。
• 自然语言指令不仅是全局标签，而且在功能上植根于声学现实，特定的词汇能以符合语义逻辑的方式驱动特定的声学特征（F0、能量）。

这项工作填补了生成式语音模型与可解释性之间的空白，为理解表达性 TTS 系统中的失效模式及提高其可控性提供了诊断工具。

注：作者承认存在局限性，指出分析仅限于单一模型（CapSpeech）和合成提示词。建议未来工作扩展到其他架构、自然用户提示词以及通过注意力编辑进行的因果干预。