💬 NLP

CANDLE: Character-level Arabic Noise Deduplication using Lightweight Encoder

本文介绍了 CANDLE，这是一个利用连接时序分类（CTC）进行字符级阿拉伯语噪声去重、无需依赖手工规则的轻量级系统，它实现了高准确率，并支持通过模型蒸馏来提高效率，同时降低了下游分词器的成本。

原作者： Faris Alasmary, Taif Nono, Orjuwan Zaafarani, Kholood Al Tabash, Ahmad Ghannam, Anas Salamah, Shouq Sadah, Lahouari Ghouti

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Faris Alasmary, Taif Nono, Orjuwan Zaafarani, Kholood Al Tabash, Ahmad Ghannam, Anas Salamah, Shouq Sadah, Lahouari Ghouti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在读一条来自朋友的短信，他们看起来超级兴奋。他们可能会打出：“我太开心了哦哦哦！”或者“好耶耶耶！”在数字世界中，这被称为“字符拉长”（character elongation）。这是一种表达情感的方式，但对于试图理解文本的计算机来说，它看起来就像是一个混乱的拼写错误。

现在，想象一下在阿拉伯语中进行这种操作。这会变得非常棘手：因为阿拉伯语有一个特殊的特性——有时，重复一个字母只是噪音（比如“哦哦哦”），但有时，重复一个字母实际上是单词正确拼写的一部分，并且会改变含义。

例如，增加一个额外的字母可能会把表示“王国”的词变成表示“女王”的词。如果计算机盲目地删除所有多余的字母，它可能会误把“王国”说成“女王”，从而完全改变故事的内容。

CANDLE 正式登场。

这篇论文介绍了一个名为 CANDLE（基于轻量级编码器的阿拉伯语字符级噪声去重工具）的新工具。你可以把 CANDLE 想象成一个非常聪明、微型的阿拉伯语文本编辑器。它的任务是观察一个单词并做出判断：“这个多出来的字母只是一个为了吸引注意力的朋友在呐喊（噪音），还是这个单词身份中至关重要的一部分？”

以下是 CANDLE 的工作原理，通过简单的概念进行拆解：

1. “神奇对齐”技巧 (CTC)

大多数计算机系统尝试通过猜测规则来修复文本（例如“如果你看到三个 'a'，就删除两个”）。但 CANDLE 不使用规则手册。相反，它使用了一种叫做 CTC（连接时序分类） 的技术。

把 CTC 想象成一位舞蹈教练，试图匹配两段不同版本的同一首歌。

歌曲 A（输入）： 带有额外字母的混乱文本（例如 "aaaa"）。
歌曲 B（目标）： 干净、正确的文本（例如 "a"）。

该模型学习如何将“混乱的歌曲”与“干净的歌曲”进行“对齐”。它能分辨出哪些音符（字母）是真实的旋律，而哪些只是歌手在拉长音符。论文声称，这是首次将这种特定的“舞蹈教练”技术用于修复阿拉伯语中的重复字母。

2. “老师与学生”技巧 (Distillation)

最智能版本的 CANDLE 是一个 6 层的“老师”模型。它非常准确，但运行起来有点沉重，不适合在手机或快速服务器上运行。

为了让它更快，研究人员创建了一个 2 层“学生” 模型。

类比： 想象一位大师级厨师（老师）正在教一位初级厨师（学生）。学生不需要从零开始，大师级厨师会给他们完全相同的工具，并向他们展示最终的成品。学生学习烹饪的速度极快，且能消耗更少的能量，同时能学到几乎与大师相当的水平。
结果： “学生”模型比老师小 3 倍（层数更浅），但仍保留了老师 95% 以上的准确度。

3. 结果：效果如何？

研究人员在三种不同类型的文本上测试了 CANDLE：

纯净新闻： 不应有错误的文本。CANDLE 在这里没有破坏任何东西。
棘手的歧义： 句子中的含义会随一个字母的变化而改变。CANDLE 比之前的“猜测型”方法在保持原意方面成功率高出 77%。
真实社交媒体： 混乱的、现实世界的阿拉伯语文本。CANDLE 清理得非常干净，几乎没有错误，而旧方法则会搞得一团糟。

4. 隐藏的红利：节省成本

论文还强调了一个实际的副作用。当计算机阅读文本时，它们会将单词分解成被称为“Token”（标记）的小块。

问题： 带有额外字母的混乱文本会产生更多的 Token。更多的 Token 意味着计算机需要做更多的工作，这会耗费更多的金钱并花费更多时间。
CANDLE 的解决方法： 通过先清理文本，CANDLE 减少了所需的 Token 数量。论文发现，这减少了高达 12.8% 的“多产性”（即 Token 的数量）。
比喻： 这就像打包行李。如果你把衣服弄得皱巴巴、乱七八糟（嘈杂的文本），你需要一个巨大的行李箱。如果你把它们折叠整齐（CANDLE），你就能装进一个更小的包里，从而节省空间和运输成本。

CANDLE 不能做的事（局限性）

论文诚实地说明了 CANDLE 目前还无法做到的事情：

没有数字或符号： 它只理解纯阿拉伯语字母。如果你写“我买了 3 本书”，CANDLE 可能会对数字“3”感到困惑。它需要一个助手先将数字转换为文字。
“三字母规则”： CANDLE 假设如果一个字母连续出现三次或更多次，它一定是噪音。虽然在 99% 的情况下这是正确的，但在一些非常罕见的古典阿拉伯语单词中，字母确实会合法地重复三次。CANDLE 可能会意外地“修复”这些罕见单词，导致错误。

总结

CANDLE 是一个轻量级、无规则的 AI，用于清理混乱的阿拉伯语文本。它使用一种聪明的“对齐”技术，来区分一个朋友是在大喊“好耶耶耶！”，还是一个单词本身确实需要两个字母来完成正确的拼写。它既快速又准确，甚至通过使文本更加紧凑，帮助节省了计算机处理的成本。

技术摘要：CANDLE – 基于轻量级编码器的字符级阿拉伯语噪声去重

问题定义

本文探讨了阿拉伯语文本中字符级噪声去重的挑战，特别针对非正式社交媒体写作中常见的无效连续字符重复问题。虽然作者在表达强调或情感时经常会重复字符（例如拉长“sooooo”或其阿拉伯语等价形式），但这些重复也可能是语言学上有效且对词义至关重要的。

核心难点在于区分噪声拉长（应当被减少）与有效的形态重复（必须被保留）。例如，在阿拉伯语中，“王国”（al-mamlaka）一词包含一个有效的双字母 'm'，而“女王”（al-malika）则没有。一个简单的还原系统如果会将所有重复都折叠，就会错误地改变有效单词的含义。此外，虽然阿拉伯语中的有效重复很少超过两个连续字符，但理论最大值为五个，因此需要一个能够处理上下文相关决策而非依赖僵化规则的系统。

方法论

作者提出了 CANDLE，这是一个将字符去重建模为序列对齐问题而非分类任务的轻量级系统。

1. 核心公式：CTC 对齐

与以往依赖手工规则、词典或形态分析器的做法不同，CANDLE 利用了联结主义时间分类 (Connectionist Temporal Classification, CTC)。

输入转换： 输入文本首先通过 reduce_to_2() 操作进行处理，该操作确保每个字符恰好出现两次。这创建了一个一致的输入结构，其序列长度大约是原始长度的两倍。
对齐任务： 模型学习将这个加倍后的输入序列与目标“干净”序列（其中保留了有效的重复，并折叠了噪声重复）进行对齐。
优势： 这种公式满足了 CTC 的假设，即输入序列长度 ( $M$ ) 大于输出序列长度 ( $N$ )，使得模型能够直接从数据中学习对齐，而无需显式的边界标签。

2. 模型架构与训练

基础架构： 系统使用预训练的基于字符的 BERT 架构进行初始化（6 层 Transformer 层， $d_{model}=512$ ，16 个注意力头）。
训练策略：
- 分类基准线： 测试了一种基准方法，即在执行 reduce_to_1() 操作后，模型将每个字符分类为“重复”或“不重复”。该方法存在类别不平衡以及在歧义案例中表现不佳的问题。
- CTC 训练： CTC 模型采用渐进式解冻策略进行训练。最初仅训练输出层；随后依次解冻最后两层、三层，最后解冻所有 Transformer 层，以确保在更难的对齐任务上实现收敛。
模型蒸馏： 为了降低推理开销，一个 6 层的“教师”模型被蒸馏到了一个 2 层的“学生”模型中。学生模型使用教师模型的第 1 层和最后一层进行初始化，并结合软目标（来自教师模型的 KL 散度）和硬目标（地面真值 CTC 损失）进行训练。

3. 数据集

系统在三个不同的基准测试集上进行了评估：

NewsText： 来自 Sabq 新闻社的干净语料库，用于衡量模型在正式书写文本上的错误（在此类文本中，模型理想情况下不应做出任何更改）。
AmbigText： 一个经过人工策划的、包含 273 个句子的歧义案例数据集，其中还原后的形式可能映射到多个有效的单词（例如，“祖父” vs “更新”）。
WildSAText： 一个来自沙特论坛的、包含 142,280 个句子的真实世界数据集，代表了嘈杂、非正式且带有方言色彩的阿拉伯语。

关键结果

基于 CTC 的方法在所有指标和数据集上都显著优于基于分类的基准线。

在干净文本上的表现 (NewsText)： CTC 模型实现了 5.37% 的句子错误率 (SER)，而分类基准线的 SER 为 63.79%。至关重要的是，两个模型在没有重复项的句子上的错误率均为 0%，证实了它们不会改变已经干净的文本。
在歧义文本上的表现 (AmbigText)： CTC 模型实现了 23.08% 的 SER，远优于分类基准线 (69.96%)。这证明了对齐公式在利用上下文解决歧义方面的卓越能力。
在真实世界文本上的表现 (WildSAText)： CTC 模型的整体 SER 为 9.93%，而基准线为 53.93%。
蒸馏效率： 2 层蒸馏模型保持了高性能，其 SER 分别为 6.31% (NewsText)、25.27% (AmbigText) 和 12.43% (WildSAText)。这代表了在性能损失极小的情况下实现了 3 倍的模型深度缩减。

下游影响：分词器肥й度 (Tokenizer Fertility)

除了准确性之外，论文还强调了一个实际的下游收益：降低分词器肥й度。通过在进入大语言模型 (LLM) 之前对文本进行归一化，表示文本所需的 token 数量会减少。

在多种不同的阿拉伯语 LLM 分词器（包括 JAIS、Gemma、Llama 和 Qwen）中，相对于原始输入，归一化使肥й度得分降低了 4.8% 至 12.8%。
这种减少直接转化为更低的推理成本和更高效的上下文窗口利用。

重要性与贡献

本文声称有以下贡献：

CTC 的创新应用： 这是已知首次将联结主义时间分类 (CTC) 应用于特定字符级去重任务，将归一化框架化为一个序列对齐问题。
资源效率： 该系统无需手工规则、词典或形态分析器，仅依赖于轻量级编码器运行。
实际部署： 通过模型蒸馏，作者展示了高性能模型可以被压缩为 2 层学生模型，使其适用于生产环境。
成本降低： 该工作建立了文本归一化与通过提高分词效率来降低 LLM 推理成本之间的直接联系。

局限性

作者承认存在两个主要的局限性：

纯阿拉伯语输入： 系统假设输入仅包含阿拉伯字母。它不支持变音符号、数字或特殊字符，这些内容必须由专门的预处理阶段处理，以避免扭曲句子结构。
有界重复： 系统假设有效的重复不会超过两个连续字符。因此，虽然罕见，但包含三个或更多连续相同字符的有效阿拉伯语单词可能会被错误地折叠。