💻 computer science

DTRNet: Dual Text-Radical Decoding for Handwritten Chinese Text Recognition with Faked Character Detection

该论文提出了 DTRNet，一种双重“文本-偏旁”解码框架，通过将行级转录与偏旁级结构验证解耦，在 K-12 教育场景下有效检测伪造的手写汉字，以确保高效率和可解释性的证据。

原作者： Runrui Li, Lin Zhu, Hua Huang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Runrui Li, Lin Zhu, Hua Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在批改一叠手写作文的老师。你深知规则：每一个字都必须是真实的、字典认可的字符。但有时，学生可能会卡壳，漏掉了一笔，或者把两个部件搞混了，从而创造出一个“假”字符——它看起来很像真的，但实际上并不存在。这就像是画了一只长着狗尾巴的猫；它看起来像个动物，但它不是猫。在计算机的世界里，教机器识读手写体是一个巨大的挑战。通常，这些计算机被训练成“乐于助人的编辑”。如果它们看到一个潦草的涂鸦，它们会尝试猜测学生“原本想写”的是什么，并将其“修正”为最接近的真实词汇。这对于阅读小说非常有用，但对于批改试卷来说却很糟糕，因为计算机无意中掩盖了学生的错误，把一个假字符变成了真字符。科学家们面临的大问题是：我们如何构建一台既能读懂句子，又能精准识别出假字符，而不是试图去“修正”它的计算机？

这正是 DTRNet 背后的研究人员正在解决的问题。他们开发了一个专门为 K-12 教育设计的系统，因为在这些场景下，识别这些“假”字符至关重要，以确保反馈的诚实性。DTRNet 不仅仅根据周围的句子（上下文）来猜测一个词应该是什麽，它更像是一个拥有两套不同眼睛的侦探。其中一套眼睛负责阅读句子以理解语流，而另一套眼睛则会放大观察每个字符的微小构建模块，以检查其结构是否合法。如果一个字符是用错误的“积木”搭建的，系统就会将其标记为假字符，即使上下文让它看起来像是真实的。

问题所在：当计算机过于“热心”时

在光学字符识别（OCR）领域，计算机已经变得非常擅长阅读文本。它们使用所谓的“上下文”来提供帮助。如果计算机看到一个模糊的字母，看起来像是“b”或“d”，它会观察周围的词。如果句子是“I love to _at”，计算机就知道大概是“eat”，而不是“bat”或“rat”。这在正常阅读中表现出色。

然而，在课堂教学中，这种“热心”变成了一个漏洞。当学生写下一个假字符时——比如他们把“希望”（hope）的上半部分和“希望”的下半部分组合在一起，造出了一个新的、不存在的符号——计算机的上下文引擎会说：“哦，这个看起来符合句子的逻辑，那我就把它当作那个真实的词吧。” 计算机实际上抹去了学生的错误。现有的试图寻找这些错误的方法通常会失败，原因有两个：要么太慢（需要逐个检查每个字符），要么依赖简单的启发式算法（仅仅根据计算机的“信心”程度进行猜测，这往往会导致漏掉假字符）。

解决方案：双脑系统

作者提出了 DTRNet（双重文本-部首解码网络），这就像是给计算机配备了两个大脑，它们协同工作但分工明确。

1. 文本大脑（故事讲述者）
这部分系统执行常规 OCR 的功能：它阅读整行文本并尝试转录句子。它利用上下文来理顺故事的脉络。它高效且快速，就像人类快速阅读书籍一样。

2. 部首大脑（建筑师）
这是全新的、特殊的部分。汉字是由被称为“部首”的小型组件构成的（例如水部或手部）。这些部件可以按照特定的模式排列，这种模式由一种称为**形构描述序列（IDS）**的代码来描述。你可以把 IDS 想象成一套构建乐高结构的说明书。例如，一个字符可以被描述为“一个方框在树上面”。

部首大脑忽略句子的含义。相反，它单独观察每个字符，并尝试根据它所看到的景象来构建其“乐高说明书”。它会自问：“这个形状是否真的遵循了汉字构建的规则？”

巧妙之处：检查蓝图

这里是系统展现聪明之处的地方。部首大脑会为每个字符生成这些乐高说明书（IDS）。然后，它会将这些说明书与一本包含所有合法真实汉字的巨型“规则书”（词典）进行比对。

如果指令与真实字符匹配： 太棒了！系统接受它。
如果指令在规则书中找不到任何匹配项： 系统知道这是一个假字符。它不会尝试猜测学生原本想写什么，而是会用一个 “X” 来标记该字符，表示：“你写了一个不存在的东西。”

这是一个巨大的转变。它不再说“我觉得你想写‘希望’”，而是说“你写了一个不存在的东西”。

安全网：IGCA

研究人员还添加了一个名为 IDS 引导置信度调整（IGCA） 的功能。想象一下，由于手写体很乱，文本大脑对某个词有些拿不准。通常情况下，它可能会直接猜测最可能的词。但有了 IGCA，文本大脑会询问部首大脑：“嘿，这个词的结构看起来对吗？” 如果部填充大脑回答：“不对，这个结构很奇怪，” 文本大脑就会受到提醒，变得更加谨慎，并可能决定将其标记为错误，而不是强行做一个错误的猜测。这有助于系统避免“过度纠正”的陷阱，即修复了那些不该被修复的错误。

研究发现

团队在包含这些棘手假字符的真实学生手写数据集上测试了 DTRNet。他们将其与其他顶尖的 OCR 工具甚至大规模 AI 语言模型进行了对比。

结果非常明确：

更好的检测能力： DTRNet 在识别假字符方面表现得更好。虽然其他系统经常漏掉它们或将其错误地“修正”，但 DTRNet 能以约 39.10% 的准确率（以 F1 分数衡量）正确识别它们，这显著高于次优方法。
依然是优秀的阅读器： 至关重要的是，DTRNet 并没有丧失阅读正常文本的能力。它仍然能以极高的准确率（86.81%）识别正确的句子，证明了加入这种“结构检查”并不会降低速度或使其在阅读真实词汇时表现变差。
“置信度”陷阱： 研究人员表明，仅仅告诉其他计算机“降低置信度”并将低置信度的词标记为错误是行不通的。那些系统要么漏掉了太多假字符，要么把太多真实的词标记成了错误。DTRNet 通过检查实际“结构”的方法要可靠得多。

为什么这很重要

这篇论文表明，对于教育而言，我们需要能够“诚实面对所见”的计算机，而不仅仅是“乐于猜测”的计算机。通过将“阅读故事”的任务与“检查构建模块”的任务分离，DTRNet 提供了一种能够尊重学生实际书写内容（即便写错了）的评改方式。它不仅能告诉学生单词错了，还能展示出“为什么”错，因为字符本身的构建方式本身就是错误的。

虽然该系统目前还不完美（在处理极度潦草的手写体方面仍有提升空间），但它证明了观察字符的结构“蓝图”是捕捉其他智能系统容易遗漏的错误的一种强大方法。这是迈向能够成为公正、准确的评改 AI 的一步，旨在帮助学生从错误中学习，而不是掩盖错误。

技术摘要：用于手写汉字伪造字符检测的 DTRNet

1. 问题定义

本文针对 K-12 教育场景中手写汉字识别（HCTR）的一个关键空白提出了研究：现有系统无法区分正常字符与伪造字符。伪造字符是由于学生书写错误、记忆缺失或部首混淆而产生的不存在的字形。它们在视觉上与有效字符相似，但在标准字典中没有对应的条目。

现有的 HCTR 模型过度依赖上下文语言先验，往往会对这些伪造字符进行过度纠正，将其转化为看似合理的正常字符。这掩盖了原始的书写错误，损害了自动评分和反馈的可靠性。现有的检测方法存在互补性的局限：

字符级方法（例如手写汉字纠错）提供了可解释的结构证据，但效率较低，因为它们需要进行孤立的字符分割。
行级方法虽然高效，但依赖置信度分数进行过滤，导致漏检，且缺乏明确的结构证据来区分伪造字符与普通的识别错误。

核心挑战在于如何在保持行级效率的同时，保留独立于上下文推断的字符结构证据。

2. 方法论：DTRNet

作者提出了 DTRNet，这是一个双路文本-部首解码框架，旨在将上下文感知的文本识别与字符级的结构验证解耦。

架构概述

DTRNet 利用 SVTR 编码器作为视觉骨干网络，以提取包含细粒度字符内结构和行级上下文的特征图。这些特征被输入到两个并行的解耦分支中：

文本分支（上下文感知转录）：
- 执行标准的行级转录以识别正常文本。
- 利用带有**交叉覆盖注意力（Cross-Coverage Attention, CCA）**的 Transformer 解码器来建模历史对齐，防止对同一字符区域的重复关注，从而提高转录准确性。
部首分支（结构验证）：
- 独立于语言上下文运行，以提供结构证据。
- 字符定位： 使用可学习的查询（queries）和**查询有效性头（Query Validity Head）**来识别有效的字符位置，而不依赖于文本解码状态。
- IDS 转录： 将每个字符特征转录为构件描述序列（Ideographic Description Sequence, IDS）。与自回归解码不同，该分支使用 **CTC（联结主义时间分类）**进行逐帧预测，以确保对潜在异常结构的忠实转录。
- 合法性约束： **合法性约束模块（Legality Constraints Module, LCM）**在生成 IDS 过程中跟踪子节点的“需求状态”。它在训练和推理期间都强制执行语法规则（例如，确保根节点具有正确数量的子节点），以确保预测的 IDS 序列在结构上是合法的。

推理与集成

伪造字符检测： 在推理过程中，预测的 IDS 序列会与预定义的字符-IDS 词典进行匹配。如果一个字符的预测 IDS 在结构上非法或不匹配词典中的任何条目，则将其标记为伪造字符（用符号 $X$ 表示）。
IDS 引导的置信度调整（IGCA）： 为了优化文本分支的预测，结构证据会被反馈回来。如果部首分支识别出与词典匹配，则为该字符的文本分支 logits 添加精确奖励（exact bonus）。如果匹配接近但不完全一致，则根据归一化编辑距离应用软奖励（soft bonus）。该机制通过校准上下文驱动的预测来防止过度纠正。

训练目标

模型通过一个包含以下内容的联合损失函数进行端到端训练：

用于文本分支的交叉熵损失。
用于部首分支的 CTC 损失。
用于查询有效性头的二分类损失。
用于 IDS 预测的合法性惩罚。

3. 核心贡献

双路文本-部首框架： 提出了 DTRNet，它显式地将上下文感知识别与结构验证解耦，实现了具有可解释证据的行级伪造字符检测。
合法性感知 IDS 解码： 设计了一种在解码过程中强制执行 IDS 语法约束的机制，提高了结构验证的可靠性。
IGCA 机制： 引入了 IDS 引导的置信度调整，利用结构证据来校准文本预测，平衡了识别准确性与检测鲁棒性。
基准重建： 将 Visual-C3 数据集重构为通用的零样本学习（GZSL）基准，用于行级伪造字符检测，确保训练数据仅包含正常字符，而测试集包含未见的伪造字符。

4. 实验结果

作者在重构的 Visual-C3 基准和公开的 BCTR 基准上对 DTRNet 进行了评估。

伪造字符检测： DTRNet 显著优于代表性的行级基线模型（如 CRNN、NRTR、SVTR、CPPD）。在 test_faked 子集上，DTRNet 的 F1 分数达到 39.10%，召回率为 34.53%，远高于经常无法检测到伪造字符的基线模型（例如 SVTRv2 的召回率仅为 0.15%）。
文本识别： DTRNet 在正常文本（test_correct）上保持了强大的识别性能，达到了 86.81% 的准确率和 96.76% 的 1-NED，优于大多数基线模型。
与 MLLM 和 OCR 工具的比较： DTRNet 优于通用 OCR 工具（如 PPOCRv5、RapidOCR）和多模态大语言模型（如 GPT-5.4、Qwen-VL）。虽然 MLLM 的召回率略高于 OCR 工具，但它们仍倾向于因语义先验而将伪造字符归一化。DTRNet 的显式结构验证在检测与识别之间提供了更优的权衡。
泛化能力： 在涵盖场景、网页、文档和手写领域的 BCTR 基准上，DTRNet 取得了最高的平均准确率（82.15%），展示了跨领域的鲁棒性。
消融实验： 实验证实，部首分支对于检测至关重要（将 F1 从 ~1.7% 提升至 ~39%），合法性约束提高了 IDS 的可靠性，且 IGCA 在不损害检测性能的前提下增强了识别准确性。

5. 意义与主张

本文声称 DTRNet 解决了现有 HCTR 系统的一个根本局限：即对抑制视觉异常检测的上下文先验的依赖。通过将显式的字符结构建模引入行级框架，DTRNet 实现了：

可解释性： 它提供了部首级的结构证据（IDS）来解释为什么一个字符被标记为伪造，而不是依赖于不透明的置信度分数。
效率： 它保持了行级处理的效率，避免了字符分割的计算开销。
鲁棒性： 通过针对词典进行零样本结构验证，它有效地处理了伪造字符的开集性质。

作者总结道，尽管对于高度模糊的情况检测精度仍有提升空间，但 DTRNet 为将结构验证集成到文本识别中建立了一个新的范式，为教育评估和自动评分提供了更可靠的解决方案。