Second-Order MPC-Based Distributed Q-Learning

本文提出了一种用于模型预测控制的二阶分布式Q学习框架，该框架利用局部信息和邻居通信，相较于现有的一阶方法实现了显著更快的收敛速度和更高的学习率。

要点

想象一群朋友试图学习如何协同驾驶一列车队。他们希望尽可能平稳、安全地抵达目的地，但面临三大难题：

1. 他们不知道确切的交通规则（车辆的物理特性未知）。
2. 他们无法同时与所有人交谈（隐私和带宽限制意味着他们只能向身边的人低语）。
3. 他们需要快速学习，同时避免碰撞。

本文提出了一种新的“学习规则”，帮助这些朋友比以往更快地提升驾驶技能。以下用简单的类比进行拆解。

旧方法：“慢行者”（一阶学习）

此前，朋友们使用一种称为一阶学习的方法。想象他们在黑暗中沿山坡下行，试图找到最低点（即最佳驾驶策略）。

• 工作原理：每走一步，他们都会感受脚下的坡度。如果地面朝下倾斜，他们就朝那个方向迈出一小步。
• 问题：由于他们仅能感知即时的坡度，因此必须采取微小而谨慎的步伐。如果迈出大步，可能会绊倒或坠下悬崖（导致不稳定）。这使得学习过程非常缓慢。这就像试图通过只盯着自己的脚来学习复杂的舞蹈。

新方法：“带地图的 GPS"（二阶学习）

作者（Samuel Mallick 及其同事）引入了二阶学习。

• 类比：不再仅仅感受坡度，想象朋友们现在拥有一张显示山坡曲率的地图。他们不仅知道哪边是下坡，还知道山坡有多陡、是否弯曲。
• 优势：凭借这些额外信息，他们可以迈出更大、更自信的步伐而不会跌倒。他们能预见到陡峭的陡坡并立即调整路径。这使得他们能够更快地到达底部（即最优驾驶策略）。

挑战：“低语网络”

这里是棘手之处：在现实世界场景（如交通控制或电网）中，无法依赖一位中央指挥官来告知所有人该做什么。每个“智能体”（车辆、机器人或发电站）仅掌握自身数据，且只能与直接邻居交流。

• 旧分布式方法：朋友们可以互相低语以就“坡度”达成一致，但若无中央指挥官，他们很难就“曲率”（二阶信息）达成共识。
• 本文的解决方案：作者利用共识算法想出了一个巧妙的数学技巧。
  • 想象朋友们来回传递纸条。他们并非传递整张地图，而是传递一些具体数字；当所有人将这些数字相加时，便能重构出他们所需的“曲率”信息。
  • 通过这种方式，每位朋友都能仅利用本地数据和来自邻居的低语，计算出属于自己的“大步”。他们无需向整个群体分享自己的隐私秘密（如确切位置或成本函数）。

结果：“竞赛”

研究人员在计算机模拟中测试了该方法，涉及三个智能体（如三辆依次排列的汽车），它们试图在避开障碍物的同时驶向目标点。

• 竞赛设置：他们比较了三支队伍：
  1. D-FO：旧的“慢行者”方法（一阶、分布式）。
  2. C-SO：“超级大脑”方法，由一台中央计算机掌握全部信息并使用“地图”（二阶、集中式）。
  3. D-SO：新方法，朋友们利用“低语网络”来使用“地图”（二阶、分布式）。
• 结果：
  • 旧方法（D-FO） 非常缓慢，几乎学不到任何东西。
  • 新方法（D-SO） 的学习速度几乎与超级大脑（C-SO） 一样快。
  • 关键在于，新方法无需中央指挥官即可实现这一成果。它是完全分布式的。

总结

简而言之，本文教导一组独立智能体如何更快地学习复杂控制任务（如驾驶或能源管理）。它们通过将学习方式从“感受坡度”升级为“读取曲率”来实现这一目标，同时仅与邻居分享足以使该方法生效的适量信息，并在此过程中保持私有数据的私密性。

核心要点：你不需要中央领导者来快速学习；你只需要一种更好的方式，让邻居们共享正确的数学信息。

技术摘要

技术摘要：基于二阶模型预测控制（MPC）的分布式 Q 学习

问题设定
本工作旨在解决大规模多智能体系统中最优控制策略的学习挑战，其中智能体仅拥有局部信息，且仅能与邻居进行通信（邻居对邻居，即 N2N）。该系统被建模为具有线性动态的协作多智能体马尔可夫决策过程（MDP），其中真实的转移动态未知。目标是在遵守隐私约束（即禁止智能体之间共享局部成本函数或动态）的前提下，最小化定义为局部成本平均值的全球折扣成本函数。

虽然基于模型预测控制（MPC）的强化学习（RL）已成功利用 MPC 方案作为价值函数和策略的可解释函数逼近器，但现有的多智能体分布式方法仅限于一阶梯度更新。一阶方法通常需要较小的学习率以确保稳定性，并可能遭受收敛缓慢或难以逃离鞍点的问题。本文认为，如果更新能够被分解为分布式格式，引入二阶信息可以显著提高收敛速度，并允许使用更高的学习率而不破坏学习过程的稳定性。

方法论
本文提出了对 Mallick 等人（2024）先前提出的基于 MPC 的分布式 Q 学习框架的二阶扩展。核心方法论涉及用二阶更新规则（类似于牛顿步）替代标准的一阶梯度下降，该规则被分解为仅依赖局部信息和 N2N 通信的局部更新。

1. MPC 作为函数逼近器：Q 函数通过结构化的凸分布式 MPC 方案进行逼近。MPC 成本、模型和约束的参数 $\theta$ 被学习以最小化时序差分（TD）误差。
2. 二阶更新公式：定义全局二阶更新为 $\theta \leftarrow \theta - \alpha d$，其中 $d$ 求解线性系统 $(H + \Lambda)d = q$。此处，$H$ 代表近似海森矩阵（由梯度的外积和 Q 函数的二阶导数构建），$q$ 是梯度向量，$\Lambda$ 是正则化项。
3. 基于共识的分布式分解：主要的技术挑战在于海森矩阵 $H$ 包含跨耦合项，阻碍了智能体之间的简单分离。作者证明，通过利用**全局平均共识（GAC）**算法，可以将全局更新解耦：
   • 递归情况（$T=1$）：利用 Sherman-Morrison 公式，将更新分解为局部项。局部更新所需的全局梯度标量范数通过共识计算得出。
   • 完整二阶情况（$T>1$）：对于 $T$ 个转换的批次，作者利用 Woodbury 矩阵恒等式。他们定义了一个矩阵 $C$，其中包含形式为 $g_{\tau}^\top \tilde{K} g_{\tau'}$ 的项，其中 $\tilde{K}$ 是由局部二阶信息导出的块对角矩阵。由于 $C$ 是局部可计算项的总和，其条目可以通过 GAC 提供给所有智能体。
   • 局部更新规则：智能体 $i$ 的局部更新规则为 $\theta_i \leftarrow \theta_i + \alpha \tilde{K}_i G_i (\delta - (I + C)^{-1}C\delta)$。这使得每个智能体能够仅使用其局部参数、局部二阶导数以及矩阵 $C$ 和 TD 误差向量 $\delta$ 的共识值来计算其更新。

主要贡献

• 二阶扩展：本文将基于 MPC 的分布式 Q 学习从一阶更新扩展到二阶更新，理论上实现了更快的收敛速度和更高的学习率。
• 分布式解耦：它提供了严格的推导，展示了如何利用共识算法将全局二阶更新分解为局部更新。这避免了需要中央单元来计算完整海森矩阵逆的问题。
• 可扩展性：每个智能体的计算负担涉及对大小为 $n_{\theta_i} \times n_{\theta_i}$ 和 $T \times T$ 的矩阵求逆，这与智能体总数 $M$ 无关。相比之下，集中式方法需要对大小为 $(\sum n_{\theta_i}) \times (\sum n_{\theta_i})$ 的矩阵求逆，其扩展性随网络规模增长而表现不佳。
• 通信效率：虽然由于矩阵 $C$ 的共识导致通信负载按 $O(T^2)$ 缩放，但它仍然与网络规模 $M$ 无关。

结果
所提出的方法（D-SO）在具有状态耦合和未知动态的三智能体线性系统仿真中进行了评估。智能体必须将其状态调节至原点，同时避免违反约束。

• 性能比较：将 D-SO 方法与分布式一阶方法（D-FO）和集中式二阶方法（C-SO）进行了比较。
• 收敛性：仿真结果表明，在学习速度和全局 TD 误差及阶段成本的收敛方面，D-SO 显著优于 D-FO。
• 等价性：D-SO 的行为和学习结果被证明与集中式 C-SO 方法相当，验证了分布式二阶更新有效地重构了全局更新。
• 稳定性：二阶方法使用 $\alpha = 10^{-4}$ 的学习率，而一阶方法需要小得多的速率（$\alpha = 10^{-8}$）才能保持稳定，突显了二阶方法在稳定性方面的优势。

意义与主张
本文声称，这项工作成功弥合了二阶优化的理论优势与分布式多智能体系统的实际约束之间的差距。通过证明全局二阶更新可以从局部信息和邻居通信中重构，作者为分布式控制中更快、更稳定的学习提供了一条途径。该工作断言，所提出的方案提供了一种完全分布式的集中式二阶学习替代方案，在遵守隐私和通信约束的同时保持性能对等。作者指出，未来的工作将探索将此方法扩展到基于策略的学习算法，例如策略梯度。