💻 computer science

Spike-HTR: Spiking Neural Transformer for Handwritten Text Recognition

Spike-HTR 是一种用于手写文本识别的混合脉冲神经网络，它通过采用用于粗到细时间编码的 InkCoder 以及用于压缩以空白为主的序列的 CTC 引导长度缩减器，解决了静态图像与脉冲动力学之间的计算失配问题，在仅需两个时间步长且无需外部语言模型的情况下实现了高精度。

原作者： Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人阅读你凌乱的手写体。通常情况下，这个机器人就像一位超级严谨的图书管理员，会检查页面上的每一寸空间，甚至包括词与词之间的空白处。它会耗费大量的能量和时间盯着白纸看，只为了确保自己没有错过任何一个小点。这就是大多数现代计算机视觉的工作方式：无论墨迹是否存在，它们都会同时处理整个图像。

但有一种被称为脉冲神经网络（SNN）的不同类型的“计算机大脑”。不要把 SNN 想象成图书管理员，而要把它想象成一个神经系统。它并不以稳定的流形式进行“思考”；它只在发生有趣的事情时才会发出微小的电火花，即“脉冲”。如果没有墨迹，就没有火花。这使得 SNN 极其高效，就像一个只有在你指向某个物体时才会开启的手电筒。然而，这里有一个难点：手写体是一张静态图片（一个冻结的瞬间），但 SNN 是为随时间变化而设计的，就像一部电影。试图将一张静止的照片喂给一个基于时间的脑子，就像试图在电影放映机上播放一张静态照片一样；大脑会感到困惑，因为它不动，所以它要么浪费能量重复播放同一张图像，要么因为试图猜测何时发射而变得焦躁不安。

这正是 Spike-HTR 背后的研究人员试图解决的难题。他们想要构建一个既能使用这种高效的、发射火花的脑子，又不会损失准确性的手写识别器。他们的主要发现是，通过非常聪明地控制机器人“何时”以及“何处”观察，可以实现这一目标。他们发现，通过仔细控制两件事——机器人观察图像花费了多少个“时刻”，以及它实际处理了页面的哪些部分——他们可以让机器人的阅读水平几乎达到那些沉重且耗能的模型水平，但其运行足迹要轻得多。

论文指出，秘密不仅在于大脑本身，还在于你如何向它喂入信息。团队创建了一个名为 InkCoder 的新系统。想象一下你在电话中向朋友描述一幅画。你不是说“这里有一整幅画”并重复五遍，而是先说：“好的，想象左边有一个大红块，”然后说，“现在，放大看，那个红块里面有一条锐利的线条。”这正是 InkCoder 所做的。它将一张静态的手写图像转化为一段简短的、分为两步的“电影”来喂给脉冲大脑。第一步展示宏观轮廓（大色块），第二步则放大细节（锐利的边缘）。这样一来，大脑就不会浪费时间重复播放同一张静态图像；它利用每一个时刻来完善理解，从粗略的草图过渡到清晰的图像。

但他们还有第二个绝招。手写体在单词之间经常有很长的空白区域。研究人员注意到，他们的“深度混合器”（连接各个点以形成单词的部分）在处理这些空白间隙时浪费了能量。因此，他们添加了一个 CTC 引导的长度缩减器（CTC-guided length reducer）。你可以把它想象成一位在正式深度阅读之前先扫描页面的聪明编辑。如果编辑看到一段长长的空白间隙，他会说：“我们不需要详细阅读这一部分；让我们跳过它。”然而，他们非常小心，不会跳过两个相似字母之间的微小间隙（比如两个 'i' 之间的空间）。这个工具将长段的空白压缩成极小的空间，只保留实际有墨迹的地方或机器人不确定的地方。

结果非常令人鼓舞。当他们在三个不同的手写数据集（包括英语、意大利语和古德语手稿）上测试该系统时，模型的表现非常出色。仅通过 2 个时间步（T=2），它在英语上达到了 5.4% 的错误率，在意大利语上达到了 2.5%，在德语上达到了 3.9%。这些数字与许多大型传统模型相比具有竞争力，但关键区别在于效率。论文显示，该系统是“稀疏”的，这意味着它总体的火花发射非常少。大部分活动发生在处理图像较大的早期层级中，随着信息的处理，火花变得更加集中。

作者谨慎地指出，这目前还不是解决所有问题的万灵药。他们发现，增加更多的时间步（例如从 2 增加到 4）并没有带来太大的帮助；系统似乎遇到了一个瓶颈，即增加额外的时间并不会让它变得更聪明，只会让它在单词边界的处理上变得更精确。他们还指出，虽然“脉冲”部分非常高效，但系统的早期部分仍然使用一些传统的、非脉冲的数学运算，以确保图像清晰。这是一个权衡：他们保持了早期层级的“稠密性”以保护手写体中脆弱的细节，这意味着该系统目前还不是 100% 基于脉冲的。

简而言之，Spike-HTR 表明，要构建高效的手写识别器，我们不应仅仅构建更好的大脑，我们还需要构建更好的信息喂入方式。通过将一张静态照片转化为一段简短的、不断完善的故事（InkCoder），并剔除无聊的空白空间（长度缩减器），我们可以让这些高效的、发射火花的计算机阅读我们的凌乱笔记，而不会烧坏电网。这是迈向智能设备能够实时阅读我们的手写体，且仅消耗当前计算机所需能量的一小步。

技术摘要：Spike-HTR：用于手写文本识别的脉冲神经网络 Transformer

1. 问题陈述

手写文本识别（HTR）面临着一个根本性的计算失衡问题：

空间冗余： 手写图像中的大多数像素都是背景，然而标准的识别器（CNN、Transformer）会对整个画布进行密集运算。
序列冗余： 当 2D 特征沿宽度轴折叠为 1D 序列时，许多位置对应于空白区域或边缘。在联结主义时间分类（CTC）框架中，这些位置通常被分配为空白标签，然而标准的深度序列混合器仍然为这些由空白主导的跨度分配相等的计算预算。

这为**脉冲神经网络（SNN）**造成了特定的不匹配。SNN 依赖于随时间展开的基于事件且稀疏的计算。然而，离线 HTR 的输入是静态图像。常见的变通方法（重复图像或随机泊松采样）要么是信息冗余的，要么会引入噪声，从而干扰细微的笔画，使得短时程脉冲推理失效。

2. 方法论：Spike-HTR

作者提出了 Spike-HTR，一种混合脉冲识别器，它通过显式管理两个计算预算来与手写证据的稀疏特性保持一致：

时间预算 ( $T$ )： 脉冲时间步的数量。
序列预算 ( $\ell_b$ )： 在长度缩减后，由深度 1D 混合器处理的宽度轴位置数量。

2.1. InkCoder：确定性的由粗到精的时间入口

为了解决从静态到时间的瓶颈，论文引入了 InkCoder，一个确定性的输入模块，将单张静态图像转换为短序列的空间门控 $\{g_t\}_{t=1}^T$ 。

机制： InkCoder 从灰度图像中构建两个互补的证据流：
1. 强度流（Intensity Stream）： 估计稳定的笔画质量，对光照和粗细变化具有鲁棒性。
2. 边缘流（Edge Stream）： 恢复细微笔画和连接拓扑，通过跨模态一致性进行过滤（仅在强度指示有墨迹的地方信任边缘）以及空间相干性（抑制孤立的纹理噪声）。
时间融合： 这些流通过步长相关的凸组合进行融合。早期时间步（ $t=1$ ）强调稳定的强度流以捕捉宽阔的笔画区域。后期时间步则逐步增加边缘流的权重，以锐化边界细节。
门控： 融合后的证据通过基于密度的斑点抑制进行稳定，并通过计划性的软阈值处理转换为空间门控。这些门控调节注入脉冲编码器的驱动力，确保时间步用于结构化细化而非冗余重放。

2.2. 脉冲编码器

骨干网络利用轻量级的非脉冲 Stem 提取共享的空间特征图，随后由多步脉冲 2D 编码器进行处理。

架构： 一个带有步长为 2 的过渡的三阶段层次结构。
保护机制： 为了对抗脉冲神经元固有的低通积分现象，模型采用了：
- 膜电位快捷路径（Membrane Shortcuts）： 将模拟预激活添加到脉冲输出中，以保留精细的笔画拓扑。
- 双分辨率融合： 来自第二阶段的高分辨率细节通过内容调控门注入第三阶段。
池化： 最终的 2D 图通过高度池化折叠为 1D Token 序列，导致标称长度 $L_0 \approx W/4$ 。

2.3. CTC 引导的长度缩减器

在深度 1D 混合器之前，一个 CTC 引导的长度缩减器 将序列从 $L_0$ 压缩至 $\ell_b$ 。

预览机制： 使用共享的 CTC 头在融合后的脉冲特征上计算一个带停止梯度的预览。该过程会估计每个位置的空白后验概率（ $p_{blank}$ ）和不确定性（ $u$ ）。
保留与合并策略（Keep-and-Merge Strategy）：
- 保留（Keep）： 保留低空白概率（可能是字符）或高不确定性的位置。
- 合并（Merge）： 将长段疑似空白的位置通过空白感知加权池化压缩为短跨度（最大尺寸为 $k$ ）。
- 约束： 强制执行最小保留比例（ $\gamma$ ），以确保能够区分重复字符的可行性。
范围： 该组件是 SNN 无关的，也可以应用于 ANN-CTC 识别器。

2.4. 1D 序列混合器与时间融合

缩短后的序列由包含线性注意力、QK 式混合和大核脉冲卷积的堆叠混合 1D 块进行处理。最后，通过学习到的凸组合融合 $T$ 个脉冲步，生成最终的 CTC Logits。

3. 核心贡献

双预算公式化： 论文将静态图像脉冲 HTR 构架为一个将有限的时间（ $T$ ）和序列（ $\ell_b$ ）预算分配给稀疏证据的问题。
InkCoder： 一种新颖的输入模块，能将静态手写内容转化为有意义的、短促的、由粗到精的时间流，实现了有效的低时间步（ $T=2$ ）脉冲推理，避免了随机噪声或冗余。
CTC 引导的缩减器： 一种保序的长度缩减机制，它压缩了以空白为主的序列，同时保留了关键字符和不确定位置，降低了深度混合器的计算负载。
Spike-HTR 模型： 一个从头开始训练的脉冲 Transformer（无外部预训练或合成数据），在极少的时间步下实现了具有竞争力的准确率。

4. 实验结果

模型在三个基准数据集上进行了评估：IAM（英语）、LAM（意大利语）和 READ2016（德语）。所有模型均从头开始训练，未使用外部语言模型或词典，并使用贪婪 CTC 解码。

准确率： 在 $T=2$ $T = 2$ 时，Spike-HTR 实现了以下字符错误率（CER）：
- IAM: 5.4% (测试集)
- LAM: 2.5% (测试集)
- READ2016: 3.9% (测试集)
时间缩放： 当 $T$ 超过 2 时，收益递减。虽然 CER 在 $T=2$ 时趋于饱和，但单词错误率（WER）在 $T=4$ 之前有轻微提升，这表明额外的时刻有助于细化单词边界而非字符替换。
消融实验：
- InkCoder： 用重复、泊松编码或 TTFS 替换 InkCoder 会导致性能显著下降（例如，使用重复法使 IAM CER 从 3.5% 上升至 4.3%）。
- 缩减器： “保留与合并”策略在几乎不损失准确率的情况下，将混合序列长度减少了约 32%。
- ANN 对照组： 一个同构的 ANN（将脉冲神经元替换为 GELU）表现略逊一筹（IAM 验证集上为 3.558% vs 3.489% CER），这表明在严格的预算限制下，脉冲动力学具有微小优势。
活动诊断： 模型表现出全局稀疏活动。虽然 1D 混合器的脉冲频率较高，但由于激活图较大，2D 编码器占据了总脉冲量的主要部分。

5. 意义与主张

论文声称，Spike-HTR 证明了离线 HTR 的脉冲化不仅是一个骨干设计挑战，更是一个预算分配问题。

效率： 通过控制 $T$ 和 $\ell_b$ ，模型使计算与笔画证据的实际密度相对齐。长度缩减器为基于 CTC 的识别器提供了一种通用的机制，而 InkCoder 则专门解决了 SNN 的静态到时间入口问题。
硬件相关性： 作者指出，在当前的密集型加速器上，主要的直接益处是减少了深度混合器的序列长度。然而，稀疏的脉冲发放剖面（通过脉冲份额和发放率量化）表明，该模型保留了未来神经形态部署所需的事件驱动稀疏性，即数据移动和活动是主要的能量约束。
局限性说明： 作者承认了局限性，包括混合性质的早期视觉通路（密集 Stem + 模拟快捷路径）限制了“原生脉冲”执行，以及对特定先验（强度/边缘相干性）的依赖可能在面对极端退化或非拉丁语系时表现不佳。他们强调，目前的效率提升目前最好被视为算法层面的诊断，而非在标准 GPU 上的即时墙钟速度提升。