💻 computer science

AI-Enabled Image-Based Hybrid Vision/Force Control of Tendon-Driven Aerial Continuum Manipulators

本文提出了一种基于 $SE(3)$ 恒应变建模的 AI 赋能级联混合视觉/力控框架，通过结合快速固定时间滑模控制、径向基函数神经网络以及基于图神经网络的线特征提取技术，实现了索驱空中连续体机械臂在未知环境下的自主物理交互与鲁棒操作。

原作者： Shayan Sepahvand, Farrokh Janabi-Sharifi, Farhad Aghili

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shayan Sepahvand, Farrokh Janabi-Sharifi, Farhad Aghili

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让无人机（像直升机或四旋翼飞行器）变得更聪明、更灵活、更安全的新技术。

想象一下，普通的无人机就像一只只会飞的苍蝇，它只能在空中盘旋，一旦碰到东西就会撞坏或者被弹开。而这篇文章研究的是一种长了“软手臂”的无人机，就像一只长了长鼻子的大象，或者像章鱼一样，它的身体是柔软、可弯曲的。

这篇论文的核心就是教这只“机械大象”如何一边飞，一边用它的软鼻子去轻轻触摸、按压甚至操作物体，而且还要看得准、摸得稳。

为了让大家更容易理解，我们可以用以下几个生动的比喻来拆解这项技术：

1. 主角：像“橡皮泥”一样的机械臂

传统的机械臂（比如工厂里的）是硬邦邦的，像铁棍一样，动一下关节就转一个角度。但这篇论文里的机械臂是连续变形的（Continuum Manipulator），它像一根吸管或者面条。

难点：因为它是软的，你推它一下，它整个身体都会弯曲，很难算出它到底弯成了什么形状。而且，当它碰到墙壁时，空气流动（风）也会让它乱晃。
解决方案：研究人员给这根“面条”装上了AI 大脑，让它能实时感知自己弯到了哪里，不管风怎么吹，它都能稳住。

2. 眼睛和手：像“盲人摸象”与“鹰眼”的结合

要让无人机去摸东西，它需要两样东西：眼睛（看位置）和手（感受力度）。

视觉（眼睛）：以前的方法是用点（比如识别一个红点）来定位，但这就像在雾里看花，容易看错。这篇论文用了一种高级的 AI 视觉（图神经网络），它不看点，而是看线条（比如桌子的边缘、墙角的线）。
- 比喻：这就好比你在黑暗中摸索，摸到一个点可能不知道在哪，但如果你摸到了一条长长的直线（比如桌沿），你就能立刻知道桌子的位置和方向。这种“看线条”的方法更抗干扰，哪怕被挡住了一部分，也能认出来。
触觉（手）：无人机末端装了一个力传感器，就像人的指尖。它不仅要“看”到物体，还要“感觉”到推了多大力。
- 比喻：就像你用手按一个气球，你不能按太猛（会破），也不能太轻（没感觉）。这个系统能精准控制，保持一个恒定的、轻轻的推力。

3. 大脑：像“老司机”加“即时教练”

这是这篇论文最厉害的地方。面对复杂的空气动力学和软体变形，传统的控制方法（像开普通汽车）反应太慢或太死板。

混合控制（Vision/Force Control）：系统同时处理“眼睛看到的图像误差”和“手感觉到的力误差”。
AI 实时学习（RBFNN）：系统里装了一个神经网络，它就像一个随叫随到的教练。
- 比喻：当无人机遇到从未见过的风，或者摄像头画面模糊了，传统的程序会懵圈。但这个"AI 教练”会在线学习（不需要提前训练好），立刻告诉系统：“嘿，现在风有点大，图像有点抖，我们得调整一下策略！”它能瞬间适应这些不确定性。
快速稳定（固定时间滑模控制）：这就像给系统装了一个超级刹车。不管误差多大，它保证在固定的时间内（比如几秒钟内）把误差消除，而不是无限期地慢慢修正。

4. 实际效果：像“外科医生”一样精准

研究人员做了很多实验：

模拟测试：在电脑里模拟各种刁钻的情况，比如从很远的地方开始，或者一开始就歪得很厉害。结果证明，这个系统比传统的硬臂无人机控制方法更准、更稳。
真实实验：
- 在地面上，它成功用“软鼻子”去推一个物体，保持恒定的压力，即使物体表面不平，它也能适应。
- 在天上（空中测试），即使有无人机螺旋桨产生的乱流（下洗气流）干扰，它依然能稳稳地完成任务。
- 它甚至能在不同的场景下（比如从看一个三角形标志变成看一堆杂乱的线条）自动切换，不需要重新设置。

总结：这项技术有什么用？

想象一下未来的应用场景：

灾难救援：无人机飞进倒塌的废墟，用软臂轻轻推开瓦砾，寻找幸存者，而不会像硬臂那样把废墟砸得更乱。
高空维护：无人机飞到高压线或风力发电机叶片旁，用软臂轻轻擦拭或检查，既不会撞坏设备，也不会被风吹跑。
医疗辅助：在狭窄的空间里进行精细操作。

一句话概括：
这篇论文发明了一套由 AI 驱动的“智能软手”系统，让无人机不仅能飞，还能像经验丰富的工匠一样，在复杂、有风、看不清的环境下，稳稳地、轻轻地去触摸和操作物体，既看得准（用线条识别），又摸得稳（用 AI 实时修正）。

这是一份关于论文《AI-Enabled Image-Based Hybrid Vision/Force Control of Tendon-Driven Aerial Continuum Manipulators》（基于 AI 的图像混合视觉/力控制用于腱驱动空中连续体机械臂）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
空中操作（Aerial Manipulation）在远程、高空或危险环境中至关重要。传统的刚性臂空中机械臂（RA-AMs）虽然应用广泛，但在复杂拥挤环境中缺乏适应性。连续体机器人（CRs）因其固有的柔顺性，在接触交互中更安全、适应性更强。腱驱动空中连续体机械臂（TD-ACMs）结合了多旋翼飞行器的机动性和连续体机器人的柔顺性。

核心挑战：
TD-ACMs 的控制比刚性臂更具挑战性，主要面临以下问题：

建模困难： 连续体臂的分布曲率和应变导致计算复杂的偏微分方程（PDEs），且难以在时域内精确捕捉双向运动学和动力学耦合。
状态感知不确定： 臂的形状和运动强依赖于接触力和空气动力效应（如涡流脱落），无法像刚性臂那样通过关节编码器直接获取状态，导致状态估计困难。
控制架构冲突： 软体臂的变形时间尺度与飞行器姿态动力学相似，使得传统的分层控制方案（先控制姿态再控制臂）失效。
交互控制难题： 现有的空中交互控制多基于刚性臂设计，假设点特征和刚性运动学，无法直接应用于 TD-ACMs。此外，在基础设施附近，GPS/SLAM 等外部定位源往往不可靠。

目标：
设计一种鲁棒的混合视觉/力控制框架，使 TD-ACM 能够在静态环境中进行自主物理交互，同时稳定图像特征误差并控制接触力，且无需离线训练即可在线学习不确定性。

2. 方法论 (Methodology)

本文提出了一种基于 AI 的级联混合视觉/力控制框架，主要包含以下核心模块：

A. 建模 (Modeling)

SE(3) 空间下的恒应变模型： 采用恒应变（Constant-Strain）建模方法，在特殊欧几里得群 SE(3) 中构建耦合的运动学和动力学模型。
优势： 相比基于 SO(3) 的分段恒曲率（PCC）模型，该方法在力交互任务中更准确；相比计算量巨大的 Cosserat 杆模型，该方法在精度和计算效率之间取得了平衡，适合实时控制。

B. 视觉伺服 (Visual Servoing)

基于线特征的图像基视觉伺服 (IBVS)： 摒弃传统的点特征，采用线特征（Line Features）。线特征在人造环境中更丰富，且对视角变化、部分遮挡和光照变化更具鲁棒性。
AI 特征提取： 使用基于图神经网络 (GNN) 的深度特征提取技术（Gluestick 框架）。
- 利用 SuperPoints 兴趣角点和描述子匹配，同时整合端点和线段信息。
- 通过离线训练的 GNN 提取特征，避免了启发式几何提取器的不确定性，并能处理非结构化环境。
虚拟相机投影： 为解决多旋翼飞行器的欠驱动问题（无法直接控制滚转和俯仰），构建虚拟相机框架，消除不可控的自由度。

C. 控制策略 (Control Strategy)

级联快速固定时间滑模控制 (CFTSMC)： 设计了一个级联控制器，确保图像特征误差和力跟踪误差在固定时间内收敛（即收敛时间有上界，与初始条件无关）。
RBFNN 不确定性估计： 引入径向基函数神经网络 (RBFNN) 来在线估计和补偿系统中的不确定性，包括：
- 图像特征提取误差。
- 相互作用矩阵的不确定性。
- 力传感器测量误差及空气动力干扰。
- 无需离线训练，具备在线学习能力。
混合控制律： 结合视觉误差（ $e_s$ ）和力误差（ $e_f$ ），通过自适应律更新神经网络权重，利用滑模项处理剩余扰动，实现鲁棒控制。

3. 主要贡献 (Key Contributions)

首创 TD-ACM 混合视觉/力控制策略： 提出了首个针对腱驱动空中连续体机械臂的混合位置/力控制方案，解决了连续体臂在接触交互中的定位和力控难题。
鲁棒高效的视觉伺服方案：
- 首次将线特征与基于 GNN 的深度特征提取结合用于空中交互。
- 利用 RBFNN 估计特征误差，显著提高了对模型不确定性和环境变化的鲁棒性。
- 摆脱了对人工标记（如 AprilTag）的依赖，可在非结构化环境中工作。
SE(3) 下的精确建模： 在 SE(3) 群中建立了耦合运动学和动力学模型，有效平衡了力交互任务的精度与实时计算需求。
广泛的验证与对比：
- 进行了大量的软件在环（SIL）和硬件在环（HIL）实验。
- 与传统的刚性臂控制方法（PI/PD 和级联积分滑模控制 CISMC）进行了对比，证明了在跟踪性能、误差标准差（STD）和均方根误差（RMSE）上的显著优势。

4. 实验结果 (Results)

研究通过仿真和实验（包括地面接触测试和空中推压测试）验证了方法的有效性：

仿真结果：
- 在多种初始条件下，系统能稳定跟踪方形和"8"字形轨迹，并维持恒定的接触力（如 2.5N 和 0.5N）。
- 对比分析： 与 PD 控制器相比，提出的方法将视觉跟踪的 RMSE 降低了约 50%（从 0.12 降至 0.06），STD 降低了 28%。与 CISMC 相比，所有指标（RMSE, STD, ITAE, IAE）均有超过 50% 的性能提升。
实验结果（地面与空中）：
- 接触测试： 在 120 秒的测试中，系统成功建立了接触并维持了微小的法向力（< 2N），展示了与可变形物体安全交互的能力。
- 特征提取： 使用 GNN 提取线特征时，图像误差在 20 秒内收敛至 0.01 以下，且指令速度平稳。
- 鲁棒性： 在存在空气动力干扰（如下洗流）的空中测试中，尽管误差信号有波动，但系统仍能快速收敛（视觉误差<5s，力误差<7s），证明了控制器的鲁棒性。
- 场景适应性： 在不同特征密度的场景下，系统均能稳定工作，特征密度越高，收敛越快。

5. 意义与展望 (Significance)

理论意义： 解决了连续体机器人在空中操作中的建模、状态估计和鲁棒控制难题，特别是将 AI（GNN 和 RBFNN）与经典控制理论（滑模控制）结合，为处理高不确定性非线性系统提供了新范式。
应用价值： 该框架使得 TD-ACM 能够安全、精确地在复杂、非结构化环境中执行物理交互任务（如清洁、检查、维修），特别是在 GPS 拒止或信号不稳定的区域。
未来工作： 计划将此框架扩展至多臂协同操作（Multi-arm cooperative manipulation）和形状调节，并研究无模型约束感知策略以进一步提升鲁棒性。

总结： 该论文提出了一种创新的、基于 AI 增强的混合控制架构，成功克服了腱驱动空中连续体机械臂在动态环境中进行物理交互时的建模复杂性和不确定性挑战，实现了高精度、高鲁棒性的视觉 - 力协同控制。