RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

本文针对地铁复杂环境下的公里标识别难题，提出了一种基于预训练 OCR 基础模型的多模态适应方法，并构建了首个大规模同步 RGB-事件相机数据集 EvMetro5K，显著提升了在光照变化、高速运动及恶劣天气下的感知鲁棒性。

要点

这篇论文讲述了一个关于**如何让地铁在“看不见”的时候也能精准“认路”**的故事。

想象一下，地铁司机（或者自动驾驶系统）需要时刻盯着隧道墙壁上的“公里标”（就像高速公路上的里程碑），以此知道自己跑到了哪里。但在地铁里，情况往往很糟糕：隧道里黑漆漆的、列车跑得飞快导致画面模糊、或者阳光突然照进来把摄像头“闪瞎”。这时候，普通的摄像头（就像我们人眼）就彻底“瞎”了，根本看不清上面的数字。

为了解决这个问题，作者们想出了一个绝妙的“双保险”方案。

1. 给地铁装上了“超级眼睛”

普通的摄像头只能看到“静止的画面”，但在光线差或速度太快时，画面就会糊掉或变黑。
作者给地铁装了一种特殊的事件相机（Event Camera）。

• 比喻：如果把普通摄像头比作照相机（拍一张完整的照片），那么事件相机就像是一个极度敏感的“动静捕捉器”。它不拍完整的画面，只记录“哪里变了”、“哪里亮了”或“哪里暗了”。
• 优势：哪怕在伸手不见五指的黑夜，或者列车像子弹一样飞驰时，只要墙壁上的数字有明暗变化，这个“动静捕捉器”就能敏锐地捕捉到，完全不受光线和速度的影响。

2. 打造了一个“超级训练场”：EvMetro5K

以前，大家只有普通照片，没有这种“动静捕捉”的数据，所以没法训练 AI 学会用这种新眼睛。

• 做法：作者们真的跑了几十个小时的地铁，同时用普通相机和事件相机记录下了 5000 多组数据。
• 成果：他们建立了一个叫 EvMetro5K 的数据库。这就像是为 AI 准备了一本“超级教材”，里面既有普通照片，也有“动静捕捉”的图像，专门用来教 AI 如何在恶劣环境下认字。

3. 核心魔法：超图提示（HyperGraph Prompt）

这是论文最厉害的地方。他们不是简单地把两张图拼在一起，而是发明了一种**“超级大脑”（基于预训练的大模型），并给这个大脑装上了一个“超图提示”**机制。

• 比喻：
  • 普通融合：就像把“普通照片”和“动静图”像三明治一样叠在一起，让 AI 自己猜。
  • 超图提示（HGP-KMR）：这就像给 AI 配了一位**“全能向导”**。
    • 当普通照片（RGB）因为太黑或太糊看不清时，AI 会立刻向“向导”求助。
    • 这个向导利用“超图”技术，把“动静图”里那些清晰的结构信息（比如数字的轮廓），像**“魔法提示”**一样，一层一层地注入到普通照片的识别过程中。
    • 这就好比你在黑暗中看不清路，向导直接在你耳边告诉你：“左边那个模糊的影子其实是数字'3'的尾巴”，瞬间让你看清了真相。

4. 效果如何？

• 普通方法：在黑暗或高速下，普通 AI 认字准确率大概只有 84% 左右，经常认错。
• 作者的方法：用了这套“双眼 + 向导”系统，准确率直接飙升到 95.1%！
• 性价比：虽然用了复杂的技术，但模型并没有变得特别庞大笨重，依然很轻便，适合装在地铁上实时运行。

总结

简单来说，这篇论文就是：

1. 发现问题：地铁环境太恶劣，普通摄像头看不清路标。
2. 引入新工具：用了能抗干扰的“事件相机”。
3. 创造教材：收集了真实数据，建了个新数据库。
4. 发明新算法：设计了一种聪明的“超图提示”方法，让 AI 学会把“动静图”的清晰信息，完美地“借”给普通照片，从而在黑暗和高速中也能精准认出公里数。

这就好比给地铁的自动驾驶系统装上了一副**“夜视 + 防抖 + 智能增强”**的超级眼镜，让它无论多黑、多快，都能稳稳地知道“我现在在哪里”。

技术摘要

以下是基于论文《RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models》的详细技术总结：

1. 研究背景与问题 (Problem)

• 应用场景：地铁列车在 GNSS 拒止环境下的精确定位。
• 核心任务：公里标识别（Kilometer Marker Recognition, KMR）。这是实现列车自主定位的关键。
• 面临挑战：
  • 复杂环境：地铁运行环境多变，包括隧道内低光照、地面段强光过曝、高速运动导致的运动模糊以及恶劣天气。
  • 传统局限：仅依赖传统 RGB 相机的视觉感知系统在极端条件下（如低光、高速）表现不佳，难以提取清晰的公里标细节，导致识别准确率下降。
  • 现有方案不足：虽然基于大模型（Foundation Models）的预训练方法在常规场景表现良好，但在极端光照和运动条件下仍缺乏鲁棒性；且现有的多模态融合研究较少针对地铁里程识别这一特定场景。

2. 方法论 (Methodology)

论文提出了一种名为 HGP-KMR 的鲁棒基线方法，基于预训练的 OCR 基础模型（PARSeq），通过多模态适应实现公里标识别。

• 数据输入与预处理：

  • 输入：同步的 RGB 图像流和事件相机（Event Camera）流。
  • 事件重建：利用事件到灰度图像重建算法（Events-to-Grayscale），将异步事件流转换为灰度图像，以保留高速运动下的结构细节。
  • 预处理：对 RGB 和重建的灰度图进行预裁剪（Pre-cropping），聚焦于包含里程数字的区域，并统一调整分辨率（如 32×128）。

• 网络架构：

  • 骨干网络 (Backbone)：基于 Vision Transformer (ViT)。RGB 帧和事件重建图分别被嵌入为 Token 序列。
  • 超图提示模块 (Hypergraph Prompt)：这是核心创新点。
    • 特征融合：将 RGB 特征与事件特征在通道维度拼接，构建统一的多模态特征表示。
    • 超图构建：基于欧氏距离的 K-近邻（K-NN）算法构建超图结构，捕捉 RGB 与事件模态之间的高阶交互关系。
    • 超图卷积 (HGCN)：使用两层超图卷积神经网络聚合特征，生成增强的多模态图特征。
    • 提示策略 (Prompting)：采用逐层残差添加策略，将超图聚合的多模态特征作为“提示（Prompt）”，注入到 RGB 骨干网络的每一个 ViT 层中。这使得 RGB 特征提取过程能够持续利用事件模态提供的互补信息，从而在噪声或退化条件下增强鲁棒性。
  • 解码器 (Decoder)：使用基于预层归一化（Pre-LayerNorm）的 Transformer 解码器，结合排列（Permutation）策略和注意力掩码，进行序列生成和字符识别。

3. 关键贡献 (Key Contributions)

1. 首个大规模 RGB-Event 地铁里程数据集 (EvMetro5K)：
   • 构建了包含 5,599 对同步 RGB-事件重建灰度图像的数据集（4,479 训练，1,120 测试）。
   • 数据来源真实地铁场景，涵盖不同天气、时间段、光照条件及车速。
   • 填补了该领域缺乏大规模多模态基准数据的空白。
2. 提出 HGP-KMR 框架：
   • 首次将 RGB-Event 融合应用于地铁里程识别。
   • 设计了基于预训练基础模型的多模态超图提示机制，有效捕捉高阶跨模态关系，显著提升了在极端环境下的识别能力。
3. 全面的基准测试与验证：
   • 在 EvMetro5K、WordArt* 和 IC15* 等多个数据集上进行了广泛实验，证明了方法的有效性和泛化性。
   • 开源了数据集和源代码。

4. 实验结果 (Results)

• EvMetro5K 数据集表现：
  • HGP-KMR 方法达到了 95.1% 的识别准确率。
  • 相比最强的基线模型 PARSeq (91.7%)，准确率提升了 3.4%。
  • 相比其他 SOTA 方法（如 MGP-STR, CDistNet 等），均取得了显著优势。
• 通用场景泛化性 (WordArt & IC15)**：
  • 在 WordArt* 数据集上，基于 CDistNet 的改进模型达到 91.5% 准确率，比 MGP-STR 提升 11%。
  • 在 IC15* 数据集上，准确率达到 92.9%，证明了方法在不同场景文本识别中的鲁棒性。
• 消融实验 (Ablation Study)：
  • 模态分析：单模态（RGB 或 Event）准确率约 84%，融合后提升至 95.1%，证明多模态互补性。
  • 图网络分析：超图卷积 (HGCN) 优于 GraphSAGE 和 GATConv。
  • 融合策略：提出的“超图提示（HyperGraph Prompt）”策略优于简单的特征相加或拼接，且推理速度保持在 89 FPS，效率较高。
  • 参数量：模型仅增加 0.8M 参数（总参数量 24.2M），却带来了显著的性能提升，参数效率极高。

5. 意义与价值 (Significance)

• 技术突破：成功解决了地铁复杂环境下（低光、高速、过曝）公里标识别的难题，证明了事件相机与 RGB 融合在工业视觉感知中的巨大潜力。
• 基础设施：发布的 EvMetro5K 数据集为未来基于多模态的轨道交通感知研究提供了重要的基准，推动了该领域的标准化发展。
• 方法论创新：提出的“超图提示”机制为多模态大模型在特定垂直领域的适配提供了新思路，即通过构建高阶关系图来引导预训练骨干网络，而非简单的特征拼接。
• 应用前景：该方法可直接应用于地铁列车的自主运行系统，提高定位精度和运行安全性，具有极高的工程应用价值。

总结：该论文通过构建首个大规模 RGB-Event 地铁里程数据集，并提出一种基于超图提示的多模态融合框架，显著提升了复杂环境下公里标识别的准确率，为智能轨道交通的视觉感知系统提供了强有力的技术支撑。