💻 计算机科学

STR-DC: Spatio-Temporal Reliability Learning for Robust Deep Clustering of Japanese Handwritten Characters

该论文提出了 STR-DC，这是一个通过将校准后的语义置信度与跨轮次时间特征稳定性相结合，以过滤不可靠伪标签，从而增强日语手写字符识别鲁棒性的深度聚类框架，并在多个基准测试上实现了最先进的性能。

原作者： Yang Liu, Ziyang Li

发布于 2026-10-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Liu, Ziyang Li

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个图书馆，里面收集了数百万份手写笔记，但没有人知道它们写的是什么。每个人的书写风格迥异：有的字迹工整，有的潦草，甚至有些笔画极其微弱，几乎难以辨认。为了让这批收藏变得有用，必须有人根据它们所代表的字符进行分类。如果依靠人工完成这项任务，将是一项极其艰巨的工作，需要专家查看每一张图像并决定它属于哪一组。在计算机科学领域，研究人员已经开发出让机器自动进行这种分类的方法，这一过程被称为聚类。这些机器通过学习来识别模式，并在没有预先告知正确答案的情况下将相似的图像归为一类。然而，这是一件棘手的事情。当机器对一个困难或模糊的图像做出分组猜测时，它可能会对错误的答案表现得非常自信。如果机器随后利用这个错误的猜测来教导自己，它就会强化自身的错误，从而形成一个导致最终分组不准确的错误循环。

在处理日语手写字符时，挑战变得更加复杂。许多此类字符具有相似的形状或局部笔画特征，而且单个字符根据书写者的不同可能会呈现出完全不同的形态。一条微弱的线或缺失的一个笔画，都可能使两个不同的字符在计算机眼中看起来完全一样。最近的研究尝试通过教导机器更加谨慎地对待其自身猜测的程度（一个被称为“置信度校准”的概念）来解决这个问题。这有助于机器意识到自己在何时是不确定的，但这并不是一个完美的解决方案。机器仍然可能对一个看起来像另一个字符的字符表现出过度的自信，或者它可能会在一个错误的组别中停滞不前，因为该图像足够稳定，以至于看起来具有一致性，即便其含义是错误的。

为了解决这些遗留的问题，研究人员杨柳和李子阳开发了一个名为 STR-DC 的新系统。STR-DC 不依赖于单一时刻的判断，而是观察机器学习过程的历史记录。研究人员意识到，一个可靠的答案不仅在当前看起来是正确的，而且随着机器随时间的学习，也应该保持一致。他们构建了一个框架，对尝试分类的每一张图像进行两项检查。首先，它会问：机器是否有强有力的证据表明这张图像属于某个特定的字符组？这是语义检查。其次，它会问：机器对这张图像的理解是否随着训练过程保持稳定？这是时间检查。通过要求图像必须同时通过这两项测试，该系统过滤掉了那些可能会误导简单方法的棘手案例。

研究人员在三个大型日语手写字符数据集（称为 K49、ETL8-Hira75 和 ETL9-Hira71）上测试了这种方法。这些数据集包含数千张具有不同难度水平的图像，包括不完整的笔画和不同的书写风格。当他们将新系统与现有方法进行对比运行时，结果显而易见。在包含 49 个不同字符类别的 K49 数据集上，他们的方法达到了 57.68% 的准确率。这比之前表现最好的方法（得分为 52.16%）有了显著提升。在 ETL8-Hira75 数据集上的进步更为惊人，他们的系统达到了 78.46% 的准确率，而次优方法仅为 68.96%。在第三个数据集 ETL9-Hira71 上，他们实现了 82.11% 的准确率。这些数字表明，即使在视觉差异细微的情况下，新系统也能更好地对手写形式进行分组。

为了理解为什么这种方法有效，研究人员仔细观察了系统拒绝的部分。他们发现，那些稳定性较低的图像——即机器的内部表示在训练步骤之间发生显著变化的图像——往往就是被分类错误的图像。这些不稳定的图像通常是那些导致混乱的模糊、微弱或具有歧义性的图像。通过剔除这些不稳定的候选对象，并仅使用那些稳定且自信的对象来教导机器，该系统避免了从自身错误中学习的陷阱。研究人员还检查了这一思路是否适用于通用图像，而不仅仅是手写体。他们在包含日常物体和动物的标准图像集上测试了该系统，其表现同样优于其他领先的方法，这表明检查置信度和稳定性的逻辑对于许多类型的视觉数据都是有用的。

这项研究表明，对于机器如何从无标签数据中进行有效学习，它们需要一种能够验证自身随时间变化的可靠性的方法，而不仅仅是基于单一快照。该新方法并不声称解决了手写识别中的所有问题，研究人员指出，它仍然需要一些人工调优，并且会增加一些额外的训练工作量。然而，通过结合对机器“有多确定”以及对机器“理解有多稳定”的检查，他们创造了一种更稳健的方式来组织这些困难的集合。这种方法为整理庞大的手写文档档案提供了一条更清晰的路径，将混乱的图像堆变成可以被研究和理解的有组织的资源。

技术摘要：用于鲁棒日语手写字符深度聚类的 STR-DC

问题陈述
本文解决了针对日语手写字符的无监督深度聚类挑战。虽然聚类可以组织未标记的集合以便后续进行标注和检索，但日语手写体呈现出特定的困难：视觉相似的类别、多样化的书写风格、不完整的笔画以及退化的图像质量。在标准的深度聚类流水线中，早期对相似字符形状的混淆往往会导致错误的伪标签。这些错误会在自我训练过程中被强化，从而导致确认偏差（confirmation bias）和错误的聚类边界。现有的方法（如校准深度聚类 CDC）通过引入置信度校准来减轻过度自信的问题；然而，它们仅依赖于当前的预测快照。因此，具有不完整笔画或共享局部结构的样本仍可能获得具有欺骗性的高概率，导致虽有信心但错误的分配。相反，仅依赖时间稳定性（例如 LFSS）的方法可能会保留那些在不同 epoch 之间保持稳定、但在语义上较弱或被错误分配到一致错误簇中的样本。

方法论：STR-DC 框架
作者提出了 STR-DC（时空可靠性引导的深度聚类），这是一个旨在通过结合校准后的语义置信度（空间可靠性）与跨 epoch 特征稳定性（时间可靠性）来选择可靠伪标签的框架。该框架通过以下机制运行：

架构： STR-DC 利用由共享特征提取器构建的包含聚类头和校准头的双头架构。它采用弱（ $W$ ）增强和强（ $A$ ）增强数据。弱视图用于可靠性估计和伪标签生成，而强视图用于优化聚类头。
空间语义可靠性（校准置信度）：
- 校准头为弱增强视图估计更可靠的置信度分数。
- 应用类别的校准选择策略：对于每个预测的簇，样本按其校准概率进行排序，并动态选择前 $N$ 个样本以形成语义置信候选集（ $S_{sem}$ ）。
- 这一步确保了所选样本在当前预测空间内对预测的字符簇具有强有力的证据。
时间可靠性（特征稳定性）：
- 为了验证这些候选者的有效性，STR-DC 测量了特征表示在不同训练 epoch 之间的稳定性。
- 对于每个样本，计算其当前弱视图特征表示（ $z_i^{w,(t)}$ ）与其前一个 epoch 的前序特征（ $z_i^{w,(t-1)}$ ）之间的余弦相似度。
- 使用基于百分位数的自适应阈值来过滤掉具有低时间稳定性（高特征漂移）的样本，从而生成稳定性掩码（ $m_i^{stab}$ ）。
时空可靠性融合：
- 核心创新在于严格的合取（conjunctive）融合规则：只有当样本同时满足校准后的语义置信度标准和时间稳定性标准时，才会被保留用于自我训练（ $m_i^{rel} = m_i^{sem} \land m_i^{stab}$ ）。
- 这种交集确保了模型学习的是不仅在语义上合理且在动态上稳定的样本，从而有效地过滤掉了高置信度的假阳性样本以及稳定但语义较弱的样本。
优化： 聚类头使用仅在最终可靠集合（ $S_{rel}$ ）上计算的可靠聚类损失（ $L_{rel}$ ）进行优化，而校准头则使用校准目标（ $L_{cali}$ ）进行训练，以保持准确的置信度估计。

核心贡献

新颖框架： 引入了 STR-DC，它明确解决了在日语手写字符聚类中仅使用校准置信度或仅使用特征稳定性进行伪标签选择的局限性。
互补的可靠性信号： 本文证明了校准后的语义置信度和跨 epoch 特征稳定性提供了互补的证据。前者识别类别层面的证据，而后者验证表示的一致性。
严格的融合机制： 提出了严格的“与（AND）”融合规则，仅保留满足两个标准的样本，从而减少了自我训练过程中模糊字符分配的影响。
泛化性： 研究表明，该方法可以从日语字符推广到通用的图像聚类基准测试，这表明其可靠性机制在不同的视觉领域中都是鲁棒的。

实验结果
作者在三个日语手写字符数据集（K49, ETL8-Hira75, ETL9-Hira71）和四个通用图像基准数据集（CIFAR-10, CIFAR-20, ImageNet-10, ImageNet-Dogs）上评估了 STR-DC。

日语手写字符： STR-DC 在所有指标（ACC, NMI, ARI）上均达到了最先进的性能（SOTA）。
- 在 K49 上，它实现了 57.68% ACC，超过校准置信度基准（CDC）5.52%。
- 在 ETL8-Hira75 上，它实现了 78.46% ACC，比 CDC 提高了 9.50%。
- 在 ETL9-Hira71 上，它实现了 82.11% ACC，超过 CDC 1.83%。
通用图像基准： STR-DC 在 CIFAR 和 ImageNet 子集上始终优于最先进的方法（包括 ProPos, CoNR, DMICC, BYOL, MoCo-v2, LFSS），尤其是在 ImageNet-10 等细粒度数据集上取得了显著提升（97.2% ACC）。
消融实验： 结果证实了仅靠其中一个组件是不够的。“仅校准置信度”变体表现良好，但逊于完整模型，而“仅特征稳定性”变体的表现明显较差，特别是在 ETL8-Hera75 上（31.00% ACC 对比完整模型的 78.46%），这验证了语义先验的必要性。
可视化： t-SNE 和分布分析显示，被正确聚类的样本通常表现出更高的跨 epoch 特征稳定性，而低稳定性样本通常出现在簇边界或稀疏区域附近。

意义与主张
本文声称，STR-DC 通过减轻自我训练中固有的确认偏差风险，为日语手写字符的无监督聚类提供了一种更鲁棒的方法。通过要求语义证据和时间一致性，该方法能更有效地组织未标记的字符集合，便于后续的检查和标注。作者谦虚地指出，虽然该方法很有效，但它依赖于相邻 epoch 之间的短期特征稳定性，并且需要对稳定性阈值进行经验性选择。他们建议未来的工作可以探索更具自适应性的时间建模以及针对大规模数据集的高效内存更新。这项工作被定位为迈向组织未标记日语手写字符集合的一步，而非解决所有手写识别任务的完整方案。

技术摘要：用于鲁棒日语手写字符深度聚类的 STR-DC

类似论文