💻 computer science

FS-I2P:A Hierarchical Focus-Sweep Registration Network with Dynamically Allocated Depth

本文提出了FS-I2P，这是一种基于状态空间模型（SSM）框架的层次化配准网络，该网络集成了聚焦-扫描交互模块与动态层分配策略，以克服注意力漂移和尺度模糊问题，从而在图像到点云配准任务中实现了最先进的性能。

原作者： Zhixin Cheng, Yujia Chen, Xujing Tao, Bohao Liao, Xiaotian Yin, Baoqun Yin, Tianzhu Zhang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhixin Cheng, Yujia Chen, Xujing Tao, Bohao Liao, Xiaotian Yin, Baoqun Yin, Tianzhu Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试拼凑一个巨大的拼图，但有一个棘手之处：拼图的一半是一张平面的二维照片，而另一半则是悬浮的三维尘埃粒子云。你的目标是弄清楚如何旋转和移动这些三维尘埃，使其与照片完美匹配。这就是“图像到点云配准”问题，由于两侧看起来截然不同，这个问题 notoriously 困难。

本文介绍了一种名为FS-I2P（Focus–Sweep 图像到点云）的新型人工智能系统，它通过模仿人类侦探破案的方式来解决这一难题。

以下是其工作原理的简要分解：

1. 问题：“尺度”困惑

当你同时观察一张照片和一个房间的三维点云时，情况会变得令人困惑。照片中的一把椅子可能看起来很大，但在三维点云中，根据摄像头的位置不同，它可能看起来很小。此外，如果房间里有许多外观相似的椅子（重复纹理），计算机会迷失方向，试图将错误的椅子匹配到错误的位置。这被称为“尺度模糊性”。

2. 解决方案：“侦探的常规流程”

作者意识到，人类不会随机地盯着拼图看。我们有一套特定的流程：

步骤 1：“聚焦”（全局概览）： 首先，我们快速扫视一眼以获取整体氛围。我们会问：“这是厨房还是卧室？物体有多大？”我们获得一个粗略的尺度概念。
步骤 2：“扫描”（特写细节）： 一旦有了大致概念，我们就放大查看。我们观察具体的角落、边缘和细节，逐一将它们与三维点云进行比对，以确认匹配。

FS-I2P 网络正是这样做的。它在两种模式之间交替：

聚焦模式： 它快速扫描整个场景，将三维点云的整体大小和形状与二维图像对齐。这就像退后一步去观察森林。
扫描模式： 随后，它放大查看图像的小“块”或区域。它反复将这些小块与三维点进行比对，像侦探检查指纹一样不断细化匹配结果。

3. 秘诀：“智能大脑”（Mamba）

为了高效地执行这种“聚焦”和“扫描”流程，本文使用了一种特殊的人工智能架构，称为Mamba（一种状态空间模型）。

为什么是 Mamba？ 想象传统人工智能（Transformer）就像一个试图一次性读完书中每一个字来理解含义的学生。它虽然强大，但速度慢，而且如果书太长，它容易感到困惑。
Mamba 则像一个按顺序读书的学生，在阅读过程中记住最重要的部分。它可以像扫描一样线性地处理图像和三维点，在关注当前细节的同时保持对全局的记忆。这使得“扫描”过程更快，且不易被噪声干扰而迷失。

4. “动态深度”策略：知道何时停止

人工智能中常见的问题是：“我们应该重复多少次这种聚焦 - 扫描流程？”

旧方法： 人工智能被迫无论情况如何都恰好重复 5 次。有时 5 次太少（拼图未解决），有时又太多（人工智能开始产生错误的匹配幻觉）。
FS-I2P 方法： 该系统采用“强化学习”策略。想象一个正在参加考试的学生。如果他们确信自己有了正确答案，就会停止学习；如果不确定，就会继续复习。
- 人工智能会自问：“我现在有一个好的匹配了吗？”
- 如果是，它就停止。
- 如果否，它就再进行一次聚焦和扫描。
- 这使得系统能够适应：简单的拼图快速解决；困难的拼图则获得额外关注。

5. 结果

作者在两个标准数据集（包含三维房间和照片的集合）上测试了该系统。

准确性： 它找到的照片与三维点云之间的正确匹配比任何先前的方法都多。
效率： 由于它使用"Mamba"架构并在完成后停止，因此比那些依赖繁重、重复计算的老方法更快，且占用更少的计算机内存。

总之： FS-I2P 是一种将二维照片与三维模型更智能、更快速地结合的方法。它像人类侦探一样工作：快速扫视以获取尺度，放大检查细节，利用内存高效的“大脑”处理数据，并确切知道何时解决了拼图，从而不浪费时间。

技术摘要：FS-I2P

问题陈述

图像到点云配准（I2P）旨在估计将 3D 点云与同一场景的 2D 图像对齐的刚性变换。该任务对于 3D 重建、SLAM 和视觉定位等应用至关重要。然而，由于以下原因，该任务面临重大挑战：

视角变化与跨模态差异：密集、网格结构的图像与稀疏、无序的点云之间的根本差异造成了领域鸿沟。
尺度模糊性：传感器视角和内在差异的变化往往导致尺度模糊，引起错误的对应关系，特别是在具有重复纹理的场景中。
现有方法的局限性：
- 先检测后匹配 方法难以在不同模态间获得可重复的关键点和一致的描述子。
- 无检测 方法（例如 2D3D-MATR）利用多尺度特征和 Transformer，但常遭受跨层的注意力漂移和层内不一致性。交叉注意力层的深度堆叠会放大早期的注意力偏差（即“马太效应”），增加对齐噪声并阻碍精确配准。
- 现有方法通常依赖固定数量的交互层，这对于复杂场景可能不足，而对于简单场景则可能冗余，缺乏对几何约束的适应性。

方法论

作者提出了 FS-I2P（具有动态分配深度的分层聚焦 - 扫描配准网络），这是一个受人类观察与识别认知过程启发的框架。

1. 分层聚焦 - 扫描交互模块

该模块基于 Mamba（状态空间模型）架构构建，模拟了人类感知的两阶段过程：

聚焦（全局粗略对齐）：该操作快速扫描点云和图像以建立粗略对应关系。它利用范数自适应，基于点云的全局尺度调制多级图像特征。具体而言，从点序列中池化的全局向量生成尺度、偏置和移位因子，以自适应图像特征，使其为细粒度交互做好准备。
扫描（局部细粒度细化）：该操作执行区域级细化。它采用**“分区 - 扫描 - 恢复”**机制：
- 分区：将图像序列分割为不重叠的局部窗口。
- 扫描：系统交替检查每个图像区域和点云序列。通过在每个图像区域内重复点令牌，SSM 机制在通过其序列记忆保持全局上下文的同时，专注于查询目标。
- 恢复：将统一的多模态序列分离回独立的图像和点云特征。
分层 Top-K 选择：交互后，来自多个尺度的特征被拼接。计算统一图像特征与不同尺度点云特征之间的余弦相似度。最终得分图通过逐元素最大化生成，并选择前 k 个补丁级匹配对。

2. 动态层分配策略 (DLAS)

鉴于最优交互层数量是一个随场景复杂度变化的离散、不可微决策，作者引入了一种基于强化学习 (RL) 的策略。

机制：一个轻量级策略网络根据当前匹配状态（源自图像和点令牌的状态向量）预测聚焦 - 扫描迭代次数 ( $n$ )。
优化：策略使用 REINFORCE 算法进行训练。奖励定义为与匹配损失 ( $L_i$ ) 成反比，鼓励模型在找到足够匹配时停止迭代，或在匹配模糊时继续迭代。
目标：这使得模型能够自适应地确定交互深度，模仿人类行为，即观察持续进行直到目标达成，而不是遵循固定的深度。

3. 训练与推理

损失函数：总损失结合了匹配损失（粗匹配和细匹配均使用 Circle Loss）和强化学习损失。
姿态估计：粗略匹配对被细化为密集对应关系，最终刚性变换使用 PnP + RANSAC 进行估计。

主要贡献

聚焦 - 扫描范式：一种受人类认知启发的新颖交互模块，在局部尺度对齐（聚焦）和局部区域细化（扫描）之间交替，利用 Mamba 进行高效的序列建模。
动态层分配：一种强化学习策略，根据场景难度自适应选择交互层数量，提高了鲁棒性并减少了不必要的计算。
最先进性能：该方法解决了尺度模糊和注意力漂移问题，在标准基准测试中取得了优异结果。

实验结果

在 RGB-D Scenes V2 和 7-Scenes 两个基准测试上进行了广泛实验。

定量性能：
- 在 RGB-D Scenes V2 上，FS-I2P 实现了 42.9% 的平均内点率 (IR)，优于之前的最佳方法（Flow-I2P 为 40.1%），并显著超越了 2D3D-MATR（32.4%）。
- 平均配准召回率 (RR) 达到 72.9%，比 2D3D-MATR 提高了 16.5 个百分点。
- 在 7-Scenes 上，该方法保持了有竞争力的特征匹配召回率 (FMR)（92.4%），并实现了 82.7% 的平均 RR。
- 当与 DINOv2 图像编码器结合使用时，FS-I2P 在 RGB-D Scenes V2 上的 RR 进一步提升至 86.3%，在 7-Scenes 上达到 84.6%。
效率：FS-I2P 展示了性能与效率之间的有利权衡。与基于 Transformer 的替代方案（8346 MB）相比，它需要更少的推理步骤和更少的内存（6415 MB），同时收敛更快（21 个 epoch 对比 Transformer 的 25 个）。
消融研究：
- 移除聚焦或扫描模块会降低性能，证实了全局上下文和局部细化的必要性。
- 动态层分配策略 (DLAS) 相比固定深度配置提供了显著增益，证明不同场景受益于不同的交互深度。
- 在 KITTI 数据集（户外场景）上的实验表明 FS-I2P 具有良好的泛化能力，在比较的方法中取得了最佳的 RTE（1.57m）和 RRE（2.36°）。

意义与主张

论文声称，FS-I2P 通过有效缓解尺度模糊和注意力漂移，确立了图像到点云配准的新最先进水平。其意义在于：

认知启发：超越标准的深度堆叠，采用受生物学启发的“聚焦 - 扫描”工作流程，更好地整合结构和纹理信息。
自适应深度：通过使用强化学习根据场景复杂度动态分配计算资源，解决了固定交互深度的问题。
架构效率：证明了状态空间模型（Mamba）在此特定跨模态配准任务中优于 Transformer，提供了线性时间复杂度，并更好地处理序列依赖关系，避免了与深度 Transformer 堆叠相关的二次复杂度或注意力漂移。

作者得出结论，他们的方法为在具有重复纹理和大视角变化的挑战性环境中对齐 2D 图像和 3D 点云提供了一种鲁棒、准确且高效的解决方案。