Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models

以下是论文《调查微调语言模型中反馈词与填充词的表征》的详细技术总结。

1. 问题陈述

现代基于 Transformer 的大语言模型（LLM）通常在文本语料库上进行训练，其中反馈词（如"uh-huh"、"yeah"）和填充词（如"uh"、"um"）常被视为噪声并在预处理阶段被移除。因此，这些模型缺乏表征或生成这些关键语言元素的能力。

• 差距所在：反馈词和填充词并非语义上的“漂白”；它们承载着丰富的语用功能（例如：维持话轮、表示同意、信号认知负荷以及管理对话流程）。
• 后果：当前的语言模型生成的文本缺乏自然人类对话的流畅性和社交线索，无法充当称职的对话代理。
• 研究目标：调查微调策略是否能使语言模型学习并改进反馈词和填充词的语义表征，从而将通用语言模型转化为更类人的对话代理。

2. 方法论

数据选择

本研究利用了三个包含保留反馈词和填充词的标注对话语料库：

• 英语：Switchboard（Godfrey & Holliman, 1993）和 MapTask（Anderson et al., 1991）。
• 日语：BTSJ 1000 人日语自然对话语料库（Usami, 2023）。
• 重点：选取了每种语言中频率最高的前 15 个反馈词/填充词进行分析（例如英语中的 uh, yeah, uh-huh；日语中的 un, hai, a）。

评估模型

使用了四种基于 Transformer 的模型，涵盖从小型到大型架构：

• BERT（英语和日语版本）。
• GPT-2（英语和日语版本）。
• LLaMA-3 8B（多语言）。
• Qwen-3 8B（多语言）。

微调策略

采用三种不同的下游任务来教导模型理解这些语言单元的语境：

1. 掩码（MASK）：受 BERT 预训练启发。特定的反馈词/填充词被掩码（80% 替换为 [MASK]，10% 随机令牌，10% 保持不变），模型利用双向语境训练以预测原始令牌。
2. 下一个令牌预测（NTP）：标准的自回归任务，模型根据 preceding 语境预测下一个令牌（该令牌可以是填充词/反馈词，也可以是内容词）。
3. 话轮转换预测（TTP）：利用 TurnGPT 框架，模型预测在特定令牌后发生话轮转换的概率。该任务利用了反馈词与话轮管理之间的强相关性。

注：对于 MASK 和 NTP，来自两位说话者的话语被合并为单个序列，并带有说话者 ID（<s1>, <s2>）以保留语境。

语境设置

为了分析语境的作用，在三种条件下提取了嵌入向量：

• 无语境：仅包含反馈词/填充词的话语。
• 单语境：目标话语加上紧邻的前后话语。
• 全语境：对话中的所有 preceding 话语（仅适用于 LLaMA-3 和 Qwen-3，受限于语境窗口）。

评估指标

• 表征质量（无监督）：
  • 聚类分析：对 15 个目标词的嵌入向量应用 K-means 聚类。
  • 轮廓系数（SC）：用于衡量聚类质量（分数越高表示不同反馈词类型之间的分离度越好）。
  • 混淆矩阵：可视化嵌入向量之间的距离以展示区分度。
• 生成质量（监督/生成式）：
  • 模型被要求继续对话。
  • 指标：生成的反馈词/填充词的频率和多样性、频率加权困惑度（PPL）、与真实值对比的 BERTScore（F1）和 BLEU 分数。

3. 主要贡献

1. 表征学习的实证证据：本研究提供了首个系统性证据，证明微调显著改善了语言模型中反馈词和填充词的内部表征，使其从“随机”或“漂白”的向量转变为 distinct、功能分组的表征。
2. 策略的比较分析：比较了 MASK、NTP 和 TTP 策略，发现虽然所有策略都能改善表征，但NTP通常产生最高的轮廓系数，尽管MASK在日语 BERT 上表现异常出色。
3. 语境影响分析：论文揭示了语境大小与表征质量之间微妙的关系。虽然某些语境有帮助，但过量的语境（全语境）有时会将功能词压缩到有限的语义区域，从而“稀释”其特定表征，导致在某些情况下轮廓系数降低。
4. 模型架构洞察：研究表明，较大的模型（LLaMA-3、Qwen-3）通常能实现更好的聚类，但较小的模型（BERT）也能通过合适的微调任务（MASK）有效地学习这些表征。

4. 结果

• 轮廓系数：在所有模型和语言中，微调一致地提高了平均轮廓系数。
  • 示例：对于 LLaMA-3（英语），平均 SC 从预训练时的约 0.45 增加到 NTP 微调后的约 0.59。
  • 这表明微调后的模型在区分不同的语用功能（例如表示犹豫的"uh"与表示同意的"yeah"）方面，比预训练模型表现好得多。
• 聚类行为：
  • 预训练模型显示出高度重叠（低 SC）和随机聚类。
  • 微调后的模型在 t-SNE 可视化中显示出更清晰的边界，在 K-means 分析中显示出更 distinct 的簇。
• 生成性能：
  • 与预训练基线相比，微调后的模型生成了频率更高且多样性更大的反馈词/填充词。
  • 生成反馈词上的困惑度显著下降（例如，英语 LLaMA-3 的 PPL 从 197.67 降至 5.30），表明模型学会了这些令牌在语境中的统计可能性。
  • 相似度：BERTScore 和 BLEU 分数有所提高，表明生成的对话更接近人类真实值。
• 定性发现：微调后的模型展示了利用填充词信号认知负荷（例如在困难词汇前使用"um"）和利用反馈词进行确认（例如使用"uh-huh"确认理解）的能力，模仿了人类对话流程。

5. 意义与启示

• 超越“噪声”：本文挑战了将反馈词和填充词视为需清理的噪声的 NLP 惯例。它证明了它们是可学习、可表征的语言单元，具有独特的语义和语用角色。
• 对话式 AI：研究结果为构建更自然、专注且具备社会意识的对话代理提供了一条路径。通过在对话数据上进行微调，语言模型可以学会管理话轮转换并提供适当的反馈，这对人机交互至关重要。
• 代表性不足的令牌：这作为一个案例研究，展示了语言模型如何学习表征在通用预训练语料库中罕见或表征不足的令牌，前提是它们通过微调接触到丰富的语境数据。
• 未来方向：作者强调需要探索语音模型中的声音信号（韵律、音高），以及高级微调技术（如手术式微调）的潜力，以在不损害通用语言能力的前提下进一步优化这些表征。

总之，该研究表明，微调是将通用语言模型转化为能够产生类人、语用丰富的对话的对话代理的关键机制，其核心在于有效学习反馈词和填充词的表征。