Learn Structure, Adapt on the Fly: Multi-Scale Residual Learning and Online Adaptation for Aerial Manipulators

1. 研究背景与问题定义 (Problem)

核心对象：自主空中机械臂（Aerial Manipulators, AAMs），即由多旋翼无人机与机械臂组成的耦合系统。

主要挑战：
AAM 是一个强耦合、非线性的系统，其动力学特性具有显著的非平稳性和多尺度残差动态：

• 构型依赖的惯性变化：机械臂运动或抓取/释放负载时，系统质心和惯性矩阵发生剧烈变化。
• 非线性耦合：无人机与机械臂之间的相互作用力。
• 气动效应：旋翼下洗流（downwash）和机械臂引起的流场干扰。
• 现有方法的局限性：
  • 传统解析模型：难以精确建模构型依赖的惯性耦合，导致残差补偿不足。
  • 静态数据驱动模型（如离线 DNN、高斯过程）：假设动力学是平稳的，在负载变化或构型改变时性能急剧下降，且无法处理分布偏移。
  • 现有学习架构：未能显式解耦“变量间的耦合”与“多尺度时间效应”，混淆了瞬时惯性动态（快）与长期气动/负载演化（慢）。

目标：构建一个能够实时建模并补偿残差动态的预测 - 自适应框架，以应对未见的负载变化和构型调整，同时保持实时性。

---

2. 方法论 (Methodology)

作者提出了一种预测 - 自适应框架，包含两个核心组件：因子化动力学 Transformer (FDT) 和 潜在残差适配器 (LRA)。

A. 离线残差学习：因子化动力学 Transformer (FDT)

FDT 旨在从大规模轨迹数据中学习残差动力学 $r$，其核心创新在于结构对齐：

1. 变量作为 Token（空间 Tokenization）：
   • 不同于传统 Transformer 将时间步作为 Token，FDT 将物理变量（如位置、速度、控制输入的分量）视为独立的 Token。
   • 这种设计引入了归纳偏置，强制模型关注变量间的耦合（Cross-variable coupling），而非单纯的时间序列依赖。
2. 双流架构（Dual-Stream Architecture）：
   • 短视界流（Short-Horizon）：利用自注意力机制（Self-Attention）捕捉瞬时跨变量依赖（如科里奥利力、瞬时惯性耦合），窗口较短（$T_s$）。
   • 长视界流（Long-Horizon）：利用交叉注意力（Cross-Attention）从长序列中提取慢速变化的特征（如气动尾流、负载引起的惯性重分布），窗口较长（$T_\ell$）。
3. 全局 Token 聚合：
   • 引入可学习的“全局 Token"，通过注意力机制将短视界和长视界的信息压缩为一个统一的潜在向量（Latent Vector），代表当前的动态体制（Dynamic Regime）。
4. 多步预测：
   • 解码器输出多步残差预测 $\hat{r}_{t+j|t}$，以减少 rollout 过程中的误差累积。

B. 在线潜在残差适应：潜在残差适配器 (LRA)

为了应对部署时的分布偏移（如未见过的负载），FDT 的参数被冻结，仅在线更新一个轻量级的线性修正层：

1. 线性修正假设：
   • 假设分布偏移导致的残差偏差在潜在空间（Latent Space）中是线性的：$r_t = \hat{r}^{base}_t + W^T g'_t + \epsilon_t$。
   • 其中 $g'_t$ 是 FDT 输出的全局 Token，$W$ 是待学习的适应矩阵。
2. 递归最小二乘法 (RLS)：
   • 使用 RLS 算法在线更新 $W$。相比梯度下降，RLS 计算效率高，收敛快，且无需反向传播整个网络。
3. 自适应协方差重置：
   • 针对 RLS 在剧烈动态变化下可能出现的“协方差坍缩”（导致适应变慢）问题，设计了重置机制。当预测误差超过阈值时，重置协方差矩阵，恢复估计器的可塑性，从而快速适应突变（如突然的负载变化）。

C. 残差补偿自适应控制

将适应后的残差预测 $\hat{r}^{adapted}$ 直接集成到自适应控制律中：

• 控制律包含前馈补偿项（基于 $\hat{r}^{adapted}$）和自适应增益项（用于处理有界残差估计误差）。
• 该控制器无需系统模型的完全知识，仅需一个标称模型 $\bar{M}$，即可实现高精度的闭环跟踪。

---

3. 主要贡献 (Key Contributions)

1. 结构对齐的残差建模 (Structure-Aligned Residual Modeling)：
   • 提出了 FDT，首次将物理变量作为 Token，显式分离了短视界惯性耦合与长视界气动记忆，解决了传统 Transformer 混淆时空尺度的问题。
2. 潜在空间的线性在线识别 (Latent Linear Online Identification)：
   • 提出了 LRA，将在线适应限制在潜在空间的线性修正上。通过 RLS 实现快速更新，既保留了离线训练的非线性表达能力，又避免了全网络重训练的高计算开销。
3. 残差补偿的自适应控制集成：
   • 将学习到的残差直接用于闭环控制，证明了该方法在无需精确系统模型的情况下，能适应复杂的构型和负载变化，且计算负担低。

---

4. 实验结果 (Results)

实验在真实的四旋翼 +2 自由度机械臂平台上进行，测试了未见过的负载（0g, 200g, 400g, 500g）和不同轨迹（S 形升降、8 字飞行）。

• 预测精度 (Open-Loop Prediction)：
  • 在残差预测任务中，FDT + LRA 的均方根误差 (RMSE) 为 0.21，$R^2$ 达到 0.972。
  • 显著优于基线方法：SysID (0.207), GP (0.493), LSTM (0.576), 标准 Transformer (0.623), Neural-Fly (0.761)。
  • 推理时间仅为 3.02 ms，满足实时控制需求（50Hz 控制频率）。
• 轨迹跟踪与抗扰 (Trajectory Tracking)：
  • 在负载突变和复杂机动下，FDT+LRA 表现出更快的扰动抑制能力和更高的跟踪精度。
  • 相比 L1 自适应控制和元学习方法，该方法在未见负载下的泛化能力更强。
• 消融实验 (Ablation Studies)：
  • 移除长视界记忆或短视界编码会导致性能大幅下降，证明了多尺度因子化的必要性。
  • 移除全局 Token 导致性能显著降低，证明了跨变量聚合的重要性。
  • 关闭在线 LRA 会导致鲁棒性下降，验证了在线适应对应对分布偏移的关键作用。

---

5. 意义与结论 (Significance & Conclusion)

• 理论意义：该工作揭示了空中机械臂残差动力学的多尺度结构特性，并提出了一种与物理机制（变量耦合、时间尺度分离）对齐的深度学习架构。
• 工程价值：
  • 实时性：通过冻结骨干网络仅更新线性层，实现了毫秒级的推理速度，解决了深度学习在高频控制中的延迟瓶颈。
  • 鲁棒性：能够处理未见的负载和剧烈的构型变化，无需重新训练模型。
  • 可解释性：结构化的设计（变量 Token、长短视界分离）比黑盒模型更具物理可解释性。
• 未来展望：目前的线性适应假设在极端突变下可能失效，未来将结合不确定性感知建模和瞬态体制变化检测，进一步提升极端工况下的适应能力。

总结：这篇论文提出了一种结合结构化深度学习（FDT）与高效在线参数识别（LRA）的新范式，成功解决了空中机械臂在复杂动态环境下的建模与自适应控制难题，为高动态、高不确定性的机器人系统控制提供了新的解决方案。