Taming CATS: Controllable Automatic Text Simplification through Instruction Fine-Tuning with Control Tokens

这是一篇关于**可控自动文本简化（Controllable Automatic Text Simplification, CATS）**的学术论文总结。该研究提出了一种基于指令微调（Instruction Fine-Tuning, IFT）和离散控制令牌（Discrete Control Tokens）的框架，旨在让开源大语言模型（LLM）能够根据用户指定的可读性等级和压缩率生成简化的文本。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：自动文本简化（ATS）旨在降低文本的语言复杂度以服务于不同受众。随着大语言模型（LLM）的发展，人们希望系统能根据用户指定的复杂度水平（如特定的可读性分数或长度）动态调整输出，而不仅仅是生成静态的简化版本。
• 现有问题：
  • 可控性被低估：现有的可控性研究常被视为解码问题（如提示工程或推理配置），而忽视了数据和评估指标对可控性的根本限制。
  • 数据局限性：现有数据集在关键属性（如压缩率）上的变化范围很小，导致模型难以学习细粒度的控制能力。
  • 评估偏差：传统的简化质量指标（如 SARI、BLEU）主要关注语义保留和流畅度，无法有效衡量模型是否真正达到了用户指定的目标属性（如特定的 FKGL 分数）。
  • 数据划分风险：直接使用数据集的原生划分或随机划分可能导致训练集和测试集在控制属性分布上存在不匹配，从而误导评估结果。

2. 方法论 (Methodology)

作者提出了一个领域无关的 CATS 框架，核心要素如下：

• 控制令牌（Control Tokens）：
  • 使用离散的控制令牌格式 <METRIC=VALUE>（例如 <FKGL=4.0> 或 <WORD_COMPRESSION=0.5>）嵌入到指令提示中。
  • 模型通过指令微调学习将特定的控制令牌值与生成的文本特征（如词汇复杂度、句子长度）建立条件关系。
• 控制属性：
  • 可读性指标：Flesch-Kincaid Grade Level (FKGL), Automated Readability Index (ARI), Dale-Chall。
  • 压缩率：字符压缩率（Character Compression）和词压缩率（Word Compression）。
• 模型与数据：
  • 模型：测试了三个开源模型家族（Llama, Mistral, Qwen），参数量从 1B 到 14B。
  • 数据集：涵盖四个领域（医学 Med-EASi、公共行政 SimPA、新闻 Newsela、百科 WikiLarge）。
• 数据预处理与实验设计：
  • 分层采样（Stratified Sampling）：为了消除分布不匹配，作者使用 Kolmogorov-Smirnov (KS) 检验，基于 FKGL 等指标对数据进行分层采样，确保训练/验证/测试集的分布一致性。
  • 单调性过滤（Mono-Datasets）：尝试过滤掉那些简化后复杂度反而增加或不变的样本，以观察对训练信号的影响。
  • 提示构建：使用动态提示策略，将源文本及其属性值、目标控制令牌值以及解释性说明整合到提示中。

3. 主要发现与结果 (Key Results)

• 数据信号决定可控性：
  • 可读性控制：模型能够较好地学习目标可读性等级（如 FKGL），前提是训练数据中包含足够的属性变化信号。
  • 压缩控制：在句子级对齐的数据集（如 SimPA, WikiLarge）中，压缩控制效果较差。原因是这些数据集的“复杂 - 简单”对之间长度变化极小（压缩率接近 1.0），缺乏足够的训练信号。
• 模型规模并非唯一因素：
  • 较小的模型（1B-3B）在指令微调后，其表现可以与大模型竞争。
  • 性能提升并非随模型规模单调递增，而是高度依赖于数据集、控制属性和评估指标的组合。
  • Qwen 系列表现出最稳定的跨数据集和跨指标性能。
• 评估指标的局限性：
  • 传统指标（SARI, LENS）与目标控制误差（MAE）之间没有强相关性，甚至有时呈负相关。
  • 基于误差的指标（Error-based Metrics）：如目标值与预测值之间的平均绝对误差（MAE），是衡量可控性的关键，传统指标无法替代。
• 数据划分的重要性：
  • 实验证明，使用原生数据集划分或简单的随机划分会导致训练和评估集之间的分布不匹配（Distributional Mismatch），从而显著影响模型性能评估。基于 FKGL 的分层采样能有效缓解这一问题。
• 过度清洗的风险：
  • 过滤掉所有非单调简化样本（即只保留简化后复杂度降低的样本）可能会减少训练数据的多样性，导致模型性能下降，尤其是在小数据集上。

4. 主要贡献 (Key Contributions)

1. 提出 CATS 框架：展示了一种轻量级、灵活的指令微调方法，利用离散控制令牌将开源 LLM 转化为可控制的简化系统。
2. 数据与评估的重新审视：
   • 揭示了现有数据集在压缩控制信号上的匮乏。
   • 证明了数据划分策略（分层采样）对实验结果的重大影响，呼吁在可控文本生成研究中报告并验证数据分布。
   • 论证了传统简化指标不足以衡量可控性，必须引入基于目标对齐的误差指标。
3. 广泛的实证研究：在 4 个领域、5 种控制属性、3 个模型家族（共 12 种模型配置）上进行了大规模实验，提供了关于模型规模、数据质量和评估方法之间关系的详细洞察。

5. 意义与启示 (Significance)

• 范式转变：该研究指出，构建有效的可控文本简化系统，数据质量（信号丰富度）和评估设计的重要性不亚于模型架构的选择。
• 实践指导：
  • 对于希望实现特定可读性控制的开发者，应优先选择包含丰富属性变化的数据集，并采用分层采样策略。
  • 对于压缩控制任务，现有的句子级数据集可能不足，需要专门构建包含多样化长度变化的数据集。
  • 在评估可控生成系统时，不能仅依赖 SARI 或 BLEU，必须结合目标属性误差（MAE）进行综合评估。
• 未来方向：未来的研究应致力于构建更高质量、属性分布更均衡的平行语料库，并开发更能反映人类对“可控性”感知的评估指标。

总结：这篇论文不仅提供了一种技术解决方案（基于控制令牌的 IFT），更重要的是对可控文本生成领域的数据基础和评估范式进行了深刻的批判性分析，指出了当前研究中的盲点，并为未来的 CATS 系统开发提供了坚实的方法论指导。