💻 computer science

Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators

该论文提出了一种基于纯自然视觉特征的机器人视觉伺服框架，通过利用图像修复技术生成带标注的无标记训练数据并实时修复遮挡，结合无迹卡尔曼滤波实现了对机械臂在部分遮挡下的高鲁棒性模型无关控制。

原作者： Sreejani Chatterjee, Venkatesh Mullur, Abhinav Gandhi, Berk Calli

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Sreejani Chatterjee, Venkatesh Mullur, Abhinav Gandhi, Berk Calli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让机器人“学会看自己”的新技术，让机器人能在没有额外标记、没有复杂数学模型，甚至被东西挡住一部分视线时，依然能精准地控制自己的动作。

为了让你更容易理解，我们可以把这篇论文的核心思想想象成教一个蒙着眼睛的盲人跳舞，但他手里有一面神奇的“魔法镜子”。

以下是用通俗语言和比喻对这篇论文的详细解读：

1. 核心问题：机器人太“依赖”标记了

以前的机器人控制方法，就像是在机器人的关节上贴满荧光贴纸（ArUco 标记）。

痛点：如果贴纸被挡住了（比如机器人自己挡住了自己，或者旁边有人走过），或者光线不好看不清贴纸，机器人就“瞎”了，控制就会失败。
现实困难：给机器人贴贴纸很麻烦，而且有些机器人（比如软体机器人）根本没法贴。此外，以前的方法还需要极其精确的相机校准和机器人数学模型，就像要求舞者必须背下每一块肌肉的受力公式才能跳舞，这太难了。

2. 解决方案：让机器人“看”自己的自然特征

作者团队想出了一个绝妙的主意：不贴贴纸，直接利用机器人身体原本的样子（比如关节的弯曲处、手臂的轮廓）作为“关键点”来控制。

但这有个大难题：怎么让电脑知道机器人身体上哪些点是“关节”呢？如果没有贴纸，电脑就认不出来了。

第一步：制造“假数据”来教电脑（训练阶段）

这就好比教小孩认路，但小孩还没见过路。

贴贴纸：先在机器人身上贴上荧光贴纸，拍很多照片。这时候，电脑知道贴纸中心就是“关键点”。
魔法橡皮擦（图像修复/Inpainting）：这是论文的第一个魔法。作者训练了一个 AI 模型（叫 LaMa），它像Photoshop 里的“内容识别填充”功能一样，能把照片里的贴纸“擦掉”，并自动把擦掉的地方补全成机器人原本的样子。
生成教材：现在，电脑手里有了两张图：一张是“擦掉贴纸后的自然机器人图”，另一张是“贴纸原本位置的坐标”。
教学：用这些“自然图 + 坐标”去训练一个 AI 侦探（Keypoint R-CNN）。这个侦探学会了：“哦，原来机器人手臂弯曲的那个阴影处，就是关键点，不需要贴纸也能认出来！”

第二步：应对“被挡住”的情况（运行时阶段）

在真实世界里，机器人干活时总会被东西挡住（比如手被杯子挡住，或者被桌子挡住）。

新魔法（无掩膜修复）：作者又训练了第二个 AI 模型（基于 GAN 生成对抗网络）。这个模型更厉害，它不需要你告诉它“哪里被挡住了”，它能自己猜出被挡住的部分应该长什么样，并把画面“修复”完整。
- 比喻：就像你透过满是雾气的窗户看外面，这个 AI 能帮你把雾气擦掉，还原出窗外清晰的景色。
平滑处理（UKF 滤波器）：有时候 AI 修复得不够完美，或者关键点检测偶尔会“手抖”（位置跳变）。作者加了一个**“平滑滤镜”（无迹卡尔曼滤波 UKF）**。
- 比喻：这就像给机器人的动作加了一个“减震器”。如果 AI 突然说“手在左边”，下一秒又说“手在右边”，这个滤波器会判断：“这不可能，手是连续移动的”，于是它会自动把位置修正到合理的轨迹上，防止机器人动作抽搐。

3. 最终效果：像人一样灵活控制

有了这套系统，机器人控制流程变成了：

看：摄像头拍下机器人（可能被挡住了一部分）。
修：AI 把被挡住的部分“脑补”出来，还原成完整的机器人。
找：AI 侦探在还原后的图上找到关键点（关节位置）。
稳：平滑滤镜把位置数据修得更稳。
动：机器人根据这些自然特征，自动调整动作，直到到达目标位置。

4. 实验成果：它有多强？

作者用真实的 Franka Panda 机器人做了很多实验：

完全可见：机器人动作非常流畅，和以前贴贴纸的方法一样好。
部分遮挡：即使有人或物体挡住机器人一半，它依然能完成任务，只是动作稍微慢一点点，或者稍微有点抖动，但绝对能成功。
3D 运动：以前只用一个摄像头很难控制机器人在三维空间（前后移动）的动作，因为容易搞混深度。但这次他们用了全身多个关键点，成功实现了单目 3D 控制，不需要深度相机，也不需要知道机器人的数学模型。
真实任务：他们让机器人完成了叠杯子的任务，即使手臂被杯子挡住，它也能稳稳地叠好。

5. 局限性与未来

当然，魔法也不是万能的：

如果遮挡物颜色和机器人太像（比如白手挡在白机器人上），AI 可能会“脑补”错，把机器人修歪了。
如果完全挡住末端：AI 可能会猜出两个不同的姿势，导致机器人困惑。

未来的方向：作者计划不再尝试“修复整张图片”，而是直接让 AI 学习“关键点之间的空间关系”，就像教机器人理解“手肘和手腕的相对位置”，这样即使画面很乱，也能猜对位置。

总结

这篇论文就像给机器人装上了一双**“透视眼”和“直觉”**。
它不再依赖贴在身上的“身份证”（标记），也不再依赖复杂的“说明书”（数学模型）。即使被遮挡，它也能靠 AI 的“想象力”（图像修复）和“经验”（平滑滤波）来推断自己的位置，从而在混乱、动态的真实环境中，像人类一样灵活、稳健地工作。这对于让机器人进入家庭、医院等复杂环境具有巨大的意义。

这是一份关于论文《Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators》（利用图像修复技术进行机器人机械臂的视觉控制关键点检测）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：传统的基于视觉的机器人控制（Visual Servoing）通常依赖附着在机械臂上的外部标记（如 ArUco 码、AprilTags）或精确的机器人运动学模型及相机标定。
- 标记的局限性：标记容易被遮挡（自遮挡或环境物体遮挡）、受光照影响、产生运动模糊，且在许多实际应用场景中（如软体机器人、低成本硬件或需要美观的场合）安装标记是不切实际或不可行的。
- 模型的依赖性：现有的无标记（Markerless）方法往往依赖精确的相机标定和机器人运动学模型来生成训练数据，这使得它们难以应用于难以建模的机器人（如软体机器人、欠驱动系统）或硬件成本受限的系统。
- 遮挡问题：在动态或无结构环境中，机械臂的关键部位常被遮挡，导致基于图像特征的控制失效。
研究目标：开发一种**纯视觉、无标记、模型无关（Model-free）**的视觉伺服框架。该方法利用机器人本体的自然特征（Natural Features）进行关键点检测，无需外部标记，无需精确的机器人/相机模型，并能有效处理部分遮挡。

2. 方法论 (Methodology)

该论文提出了一套完整的自动化数据收集与实时控制流水线，主要包含以下核心模块：

A. 基于图像修复的数据收集与标注 (Data Collection via Inpainting)

思路：利用图像修复（Inpainting）技术消除训练数据中的标记，从而生成“无标记”但带有精确标注的图像。
流程：
1. 在机器人身体上临时安装 ArUco 标记。
2. 采集机器人不同构型的图像，并检测标记中心作为关键点（Keypoints）的真值（Ground Truth）。
3. 使用改进的 LaMa (Large Mask Inpainting) 模型（基于 GAN），根据标记位置生成的掩膜（Mask），将标记从图像中“擦除”并修复被遮挡的机器人本体区域。
4. 生成“无标记图像 + 关键点坐标”的配对数据集。
优势：完全消除了对相机标定和机器人运动学模型的依赖，因为标注直接来自标记中心，而图像修复后的自然特征用于训练检测器。

B. 关键点检测模型 (Keypoint Detection)

模型架构：基于 Keypoint R-CNN (ResNet50 FPN) 进行微调。
训练：使用上述生成的无标记数据集进行训练，使其能够直接从机器人的自然外观（纹理、边缘、关节形状）中检测关键点。
应用：在运行时，该模型直接输出机器人身体上的关键点坐标，作为视觉伺服的特征点。

C. 运行时遮挡处理：无掩膜图像修复 (Runtime Occlusion Handling)

挑战：训练阶段可以生成掩膜，但运行时无法预先知道遮挡物的位置。
解决方案：引入一个无掩膜（Mask-free）的图像修复模型。
- 架构：基于 Attention U-Net 作为生成器，结合 WGAN-GP (Wasserstein GAN with Gradient Penalty) 作为判别器。
- 机制：该模型无需显式的遮挡掩膜输入，能够直接识别图像中的遮挡区域并重建被遮挡的机器人部分。
- 流程：当环境出现遮挡时，原始图像先经过该修复模型，生成去遮挡的图像，再输入到关键点检测模型中。

D. 时序滤波与鲁棒性增强 (Temporal Filtering with UKF)

问题：即使有修复模型，极端遮挡或重建误差仍可能导致关键点检测丢失或漂移。
解决方案：集成 无迹卡尔曼滤波 (Unscented Kalman Filter, UKF)。
- 状态估计：维护每个关键点的 6 维状态向量（位置 $x, y$ ，速度 $v_x, v_y$ ，加速度 $a_x, a_y$ ）。
- 作用：
  1. 平滑轨迹：减少检测噪声。
  2. 预测缺失：当关键点因遮挡无法检测时，利用运动模型预测其位置，保持控制回路的连续性。
  3. 异常剔除：通过距离阈值判断检测值是否可信，若偏差过大则使用预测值。
- 选择理由：相比标准 KF 和 EKF，UKF 无需计算雅可比矩阵，更适合处理视觉伺服中非线性的运动动态和模型无关的特性。

E. 自适应视觉伺服控制 (Adaptive Visual Servoing)

控制策略：基于图像空间误差的自适应控制（IBVS）。
雅可比估计：不依赖机器人运动学模型，而是通过在线的最小二乘法（Least Squares），利用最近 $N$ 帧的关节速度变化与图像特征变化，实时估计手眼雅可比矩阵（Interaction Matrix）。
控制律：利用估计的雅可比矩阵将图像特征误差转化为关节速度指令。

3. 主要贡献 (Key Contributions)

无标记、模型无关的框架：首次提出了一种完全依赖自然特征、无需外部标记、无需相机标定、无需机器人运动学模型的视觉伺服方案。
创新的数据生成流水线：利用图像修复技术（Inpainting）自动将“带标记”数据转换为“无标记”训练数据，解决了自然特征标注难的问题。
实时遮挡处理机制：提出了基于 Attention U-Net 和 WGAN-GP 的无掩膜图像修复模型，能够在运行时实时重建被遮挡的机器人部分，无需预定义遮挡掩膜。
3D 运动控制突破：在单目相机（Eye-to-Hand 配置）下，仅使用 2D 图像关键点实现了**出平面（Out-of-plane/3D）**的运动控制，无需深度传感器、立体视觉或显式模型。
鲁棒性增强：结合 UKF 有效解决了遮挡导致的检测丢失和噪声问题，保证了控制回路的连续性。

4. 实验结果 (Results)

实验在 Franka Emika Panda 机械臂上进行，使用了 Intel RealSense D435i 相机。

关键点检测精度：
- 全可见情况：在 10 像素误差范围内检测率达到 100%，平均定位误差小于 2 像素（2D 和 3D 设置均表现优异）。
- 部分遮挡情况：引入 UKF 后，检测准确率显著提升。例如在严重遮挡实验中，仅靠修复模型的准确率约为 77%，结合 UKF 后提升至 84%。
控制性能：
- 2D 平面运动：控制 2 个和 3 个平面关节时，系统上升时间和稳定时间与依赖精确模型的传统方法相当，且超调量控制在合理范围（<5%）。
- 3D 运动：成功实现了 4 个自由度（3 平面 +1 空间）的出平面运动控制，系统能够稳定收敛。
- 遮挡鲁棒性：
  - 小遮挡：控制性能仅有轻微下降。
  - 大遮挡：虽然轨迹噪声增加、超调量增大，但系统仍能成功收敛到目标位置，证明了极强的鲁棒性。
真实场景演示：在部分遮挡环境下成功完成了“堆叠杯子”的任务，验证了系统在动态任务中的有效性。
失败案例分析：
- 当遮挡物颜色与机器人极度相似或极亮时，修复模型可能产生错误重建，导致关键点定位错误（UKF 无法完全纠正）。
- 单目深度模糊（Pose Ambiguity）：在特定 3D 构型下可能出现深度方向歧义，但通过增加关键点数量和分布范围（从 3 个增加到 8 个）有效缓解了该问题。

5. 意义与展望 (Significance)

理论意义：打破了传统视觉伺服对精确模型和外部标记的依赖，为软体机器人、低成本机器人及复杂环境下的控制提供了新的范式。
实际应用：该方法使得机器人能够在未标定、无标记且存在动态遮挡的“非结构化”环境中自主作业，极大地扩展了视觉伺服的应用场景。
未来工作：
- 改进修复模型，使其在颜色相似或高反光遮挡下更鲁棒。
- 从“图像修复”转向直接基于空间上下文的关键点预测（如使用图神经网络）。
- 将框架扩展至软体和连续体机器人。

总结：该论文通过巧妙结合图像修复技术、深度学习关键点检测和自适应滤波控制，成功构建了一个高度鲁棒、无需模型和标记的机器人视觉控制系统，特别是在处理遮挡和 3D 运动控制方面取得了突破性进展。