🤖 AI

Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

本文提出了一种新颖的基于语义的对比学习预训练策略，该策略利用多模态视觉与上下文语义来增强用于表意文字识别的深度视觉表示，从而有效解决了由不平衡且稀有的字符数据集所导致的性能限制问题。

原作者： Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别世界上每一个字符，从你名字里的字母到刻在石碑上的古老符号。这就是计算机视觉的世界——人工智能的一个分支，在这里，机器学习如何“看”并理解图像。长期以来，这些机器人非常擅长识别像猫或汽车这样简单的物体，但在处理语素文字（logographic characters）时却显得力不从心——这类书写系统中的一个符号代表一个完整的词或概念，例如汉字或日文汉字。问题不仅在于这些字符有成千上万个，还在于有些字符每天都在使用（如“的”或“水”），而另一些则极其罕见，可能千年才出现一次。这就像是在学习一门语言，其中有一百万个“苹果”的副本，却只有一个“斑马”的副本。机器人会感到困惑，过度关注常见的词汇，从而遗忘了那些罕见的词汇。为了解决这个问题，科学家们使用了一种叫做对比学习（contrastive learning）的技术，这就像是一场“找不同”的游戏。机器人会被展示两张图片，并被问到：“它们是同一个吗？”如果是，它会在大脑中将它们拉近；如果不是，则将它们推开。但问题在于：机器人通常将每一对“不同”的组合视为同样不同，这在面对某些差异细微而另一些差异明显的场景时并不奏效。

这篇论文介绍了一种聪明的新方法，通过给机器人一个参考依据——上下文（context），来教它更好地理解稀有和常见的字符。作者们是一支来自英国和中国大学的研究团队，他们意识到，仅仅观察字符的形状是不够的。在人类语言中，我们理解单词不仅是通过它们的外观，还通过它们所处的环境。例如，“果园”会让你想到树木和水果，而“花园”会让你想到鲜花和路径。尽管它们是不同的词，但在语义上是接近的。研究人员注意到，语素文字也是如此运作的：一个看起来像鱼的字符通常意味着“鱼”，且具有相似含义的字符往往拥有相似的视觉部分。他们提出了一种名为基于语义的对比学习（Semantic-based Contrastive Learning）的方法。他们不再只是告诉机器人，“这两个不同，把它们推开”，而是利用一个语言模型（一个超级聪明的文本预测器）来告诉机器人它们到底有多么不同。如果两个字符在语义上接近（如“果园”和“花园”），机器人会被告知保持它们在一定程度上的接近，即使它们看起来不同。如果它们完全无关，则将其推得更远。这创造了一个关系的“软”地图，而非一个僵化的黑白列表。

该团队在多个数据集上测试了这一想法，包括手写汉字、日本历史文献以及现实世界的街头标牌。他们发现，由于其新方法在数据杂乱且不平衡的情况下表现尤为出色，其性能显著优于现有的最先进技术。例如，在一个存在严重失衡的 HWDB1.1 数据集上（其中最常见的类别样本量是最稀有类别的 100 倍），他们的方法在使用标准 ResNet18 骨干网络时达到了 83.46% 的准确率，击败了此前表现最好的对比学习方法 SimCLR（仅达到 56.68%）。即使在更平衡的 K-Kanji 数据集上，他们的方法也达到了 95.30%，以明显的优势超越了次优方法。研究人员还进行了“消融实验”（即通过关闭系统部分组件来进行实验），以证明视觉学习和上下文参考都是必要的；仅使用其中之一都会导致得分降低。他们还发现，仅仅尝试匹配单词之间的精确距离（一种称为 MSE 的方法）效果并不如匹配关系“模式”（分布级对齐）好。通过将字符之间的关系视为一个灵活的、等级分明的光谱，而非一条固定的规则，机器人能够以更高的信心识别出即使是最罕见、最晦涩的字符。这表明，通过借鉴人类理解上下文的方式，我们可以为阅读世界上最复杂的书写系统构建更聪明、更均衡的人工智能。

技术摘要：基于语义对比学习的表意文字视觉预训练

问题陈述

基于深度学习的字符视觉任务（如文本识别和图像去噪）通常只有在经过大规模、平衡的数据集训练时才能达到最优性能。然而，表意文字（如汉字、日文汉字、古埃及象形文字）的现实世界数据集普遍存在严重的类别不平衡问题。这种不平衡源于字符使用频率的显著差异，以及通过考古发现不断涌现的新字符或稀有字符。

现有的识别方法多植根于图像分类，难以应对这些长尾分布。虽然对比学习（如 SimCLR）已被用于缓解类别不平衡问题，但目前的方法依赖于二元正/负样本对的构建。这些方法将所有负样本视为同样不相似（固定距离），未能区分“硬”负样本（视觉或语义上相似但不同的字符）与“平凡”负样本。因此，学习效率降低，且低频字符的表示也未能得到充分优化。此外，现有方法主要关注像素级特征，忽略了表意文字系统中蕴含的丰富上下文语义。

方法论

作者提出了一种全新的预训练策略，通过整合视觉语义与上下文语义来增强深层视觉表示，专门针对不平衡的表意文字数据集。其核心创新在于一个基于语义的对比学习框架，该框架使用来自语言模型的软语义监督取代了二元标签。

1. 双重语义表示

该框架构建了两个不同的语义空间：

视觉语义 ( $V_s$ )： 使用视觉编码器（如 ResNet）从字符图像中提取。编码器处理增强后的字符图像，生成代表视觉特征的嵌入向量。
上下文语义 ( $C_s$ )： 从字符标签中提取，利用预训练语言模型（如 BERT）。该模型并非将文本嵌入视为绝对目标，而是利用语言模型捕捉字符间相对语义关系的能力。

2. 分布级对比目标

该方法并非直接回归成对的相似度得分（因为这可能对尺度和非等距分布较为敏感），而是对齐两种模态的语义邻域分布。

软标签生成： 对于每个锚点字符，通过温度缩放的 Softmax 函数，将上下文语义与其他字符的相似度转换为条件概率分布 ( $P_C$ )。该分布代表了邻居的相对语义相关性。
视觉分布对齐： 同样地，从视觉嵌入中计算出视觉语义分布 ( $P_V$ )。
损失函数： 主要目标是最小化上下文分布 ( $P_C$ ) 与视觉分布 ( $P_V$ ) 之间的交叉熵（等价于 KL 散度）。这迫使视觉嵌入空间保留由语言模型定义的相对语义顺序，从而有效地将上下文语义作为软标签使用。

3. 感知难度的焦点重加权

为了解决长尾数据集中易得的、平凡的样本对主导损失的问题，作者引入了一种受 Focal Loss 启发的焦点重加权策略。

损失根据视觉模型当前的预测置信度进行重加权。
已对齐良好的（易）样本对会被降低权重，而未对齐的、具有信息量的“硬”样本对则会被强化。
这种自适应机制确保模型将学习能力集中在困难的语义关系上，这对于区分外观相似或罕见的字符至关重要。

4. 联合优化

预训练阶段联合优化上下文语义损失（分布对齐）和标准的分类损失（交叉熵），从而将学习到的表示锚定到特定的识别任务上。

核心贡献

新颖的预训练策略： 本文提出了一种通过集成基于语义的对比学习来增强不平衡字符类别深层表示的方法。它超越了二元对比学习，转而利用连续的语义相关性。
分布级对齐框架： 提出了一个在分布层面对齐视觉语义与上下文语义的框架。通过建模相对语义关系而非绝对距离，它能够为表意文字实现更有效的表示学习。
实证验证： 在四个具有不同不平衡程度的多元数据集（HWDB1.1、ICDAR2013、CTW 和 K-Kanji）上进行了广泛实验，证明了该方法优于现有的预训练和长尾分类技术。

实验结果

所提方法在涵盖手写中文、场景文本和历史日文汉字的四个数据集上进行了评估，并测试了各种不平衡因子（IF = 10, 50, 100）。

与预训练方法的比较： 所提方法（Ours $_{FR}$ ）一致优于已有的对比学习基准（SimCLR, MoCo, BYOL, SwAV, SimSiam）和多模态模型（VL-BERT, CLIP）。例如，在高度不平衡的 HWDB-LT100 数据集上，使用 ResNet18 作为骨干网络时，所提方法达到了 83.46% 的准确率，显著超过了 SimCLR (56.68%) 和 MoCo (58.96%)。
与长尾方法的比较： 该方法也优于专门的长尾图像分类方法（CMO, OTmix, NCL++, ProCo），这表明集成上下文语义比仅依赖视觉样本分布的方法具有更强的鲁棒性。
下游任务提升： 当作为各种 SOTA OCR 模型（包括 CNN 如 VGG16 和 Transformer 如 ViT）的预训练步骤时，该方法在所有测试架构中均带来了持续的准确率提升。例如，将该预训练应用于 CTW 数据集上的 DenseNet 时，准确率提升了 2.07%。
消融实验：
- 损失组件： 仅使用上下文损失的表现显著优于仅使用分类损失，而两者的结合效果最好。
- 对齐策略： 所提的分布级对齐（KL 散度）显著优于点对点 MSE 回归方法，证实了学习关系结构比回归绝对相似度值在非等距、长尾空间中更有效。

意义

本文认为其主要意义在于解决了表意文字识别中关键的数据不平衡瓶颈。通过利用视觉结构与上下文含义之间的一致性，所提方法提供了一种即使在特定字符训练样本稀缺的情况下也能学习鲁棒表示的机制。作者断言，对于涉及历史文献、场景字符和低资源语言的实际应用，该方法提供了一种更具扩展性和鲁棒性的解决方案，因为在这些场景下传统的平衡训练是无法实现的。这项工作证明了将外部语义知识（通过语言模型）作为软监督，可以有效地引导视觉表示学习，从而减少对大规模、平衡视觉数据集的依赖。