⚡ electrical engineering

Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

本文针对存在控制不完美（如扰动和延迟）的两人有限时域线性二次非零和博弈，提出了一种通过引入可测偏差动态来构建补偿律的改进反馈策略，该策略在因果仿射策略类中是最优的，且能有效降低偏差对状态轨迹及对手成本的不利影响。

原作者： Mahdis Rabbani, Navid Mojahed, Shima Nazari

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahdis Rabbani, Navid Mojahed, Shima Nazari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且贴近现实的问题：当完美的理论计划遇到“手滑”或“反应慢”的现实情况时，我们该怎么办？

为了让你轻松理解，我们可以把这篇论文的故事想象成两个骑自行车的人（玩家）在一条狭窄的独木桥上合作通过，但其中一个人的刹车有点“生锈”了。

1. 背景：完美的“双人舞”

想象一下，有两个骑手（玩家 1 和玩家 2），他们需要在独木桥上配合，既要保持平衡不掉下去，又要尽快到达终点。

理论上的完美方案（纳什均衡）： 在数学上，我们可以计算出两人最完美的配合方式。比如，玩家 1 向左倾斜 5 度，玩家 2 就向右倾斜 3 度，这样两人能最省力、最快地通过。这就是论文里说的“纳什均衡策略”。
现实中的问题： 在现实生活中，玩家 2 的自行车刹车可能有点老化（执行器延迟），或者他反应慢半拍。当他想向左倾斜 3 度时，实际上只倾斜了 2 度，或者慢了一秒才倾斜。
后果： 玩家 2 的“手滑”会导致整个队伍失去平衡。原本完美的配合被打乱，玩家 1 也会跟着倒霉，不仅自己可能摔得更惨，到达终点的时间也会变长，花费的力气（成本）也更多。

2. 核心发现：别人的错误，我能“预知”吗？

论文的第一部分就像是在做**“事故模拟”**。
研究人员发现，如果玩家 2 的刹车有点慢（产生了偏差），这个偏差会像涟漪一样传遍整个系统。

传统做法（参考反馈）： 玩家 1 会想：“不管你怎么慢，我还是按原计划骑我的。”结果就是，因为玩家 2 没跟上，玩家 1 也被带着摔了一跤，损失惨重。
新发现： 如果玩家 1 能实时看到玩家 2 到底“滑”了多少（比如通过传感器知道玩家 2 实际只转了 2 度而不是计划的 3 度），玩家 1 就可以调整自己的动作来抵消这个错误。

3. 解决方案：聪明的“补偿策略”

论文提出了一个聪明的办法，叫**“补偿反馈策略”（Compensated Feedback）**。

比喻：像打乒乓球时的“预判”
想象你在打乒乓球，对手（玩家 2）的球拍有点重，打过来的球总是比预期的慢一点、低一点。
- 普通选手（传统策略）： 看到球来了，按原计划挥拍，结果打飞了。
- 聪明选手（本文策略）： 他不仅看球，还盯着对手的球拍。一旦发现对手球拍慢了，他立刻调整自己的挥拍角度和力度，提前去“接”那个会慢半拍的球。
具体做法：
1. 建立模型： 玩家 1 在心里算了一笔账：“如果玩家 2 的刹车有延迟，他的动作会怎么变化？”
2. ** augmentation（增强）：** 玩家 1 不再只盯着自己的状态，而是把“玩家 2 的误差”也当作一个变量加进自己的计算里。
3. 主动补偿： 玩家 1 会主动多转一点方向盘，或者多踩一点油门，去填补玩家 2 留下的那个坑。

4. 实验结果：虽然不能拯救全世界，但能救自己

论文用了一个**“两辆小车被弹簧连着”**的数学模型来测试（就像两个被弹簧连着的玩具车，一个推，一个拉）。

情况 A（完美）： 两个车都听话，完美配合，大家都很开心，成本最低。
情况 B（出事了）： 玩家 2 的刹车慢了，没补偿。结果两个车都晃得厉害，玩家 1 也摔得很惨，成本飙升了 50% 多。
情况 C（用了新策略）： 玩家 2 依然刹车慢（这是物理限制，改不了），但玩家 1 用了“补偿策略”。
- 结果： 玩家 1 成功把自己从“摔得很惨”拉回到了“虽然有点晃，但基本稳住了”的状态。玩家 1 的损失减少了约 30%。
- 代价： 有趣的是，因为玩家 1 为了救自己，不得不做更多额外的动作，导致玩家 2 的“痛苦指数”反而稍微上升了一点点（因为弹簧被拉得更紧了）。但这在数学上是玩家 1 的最优解——既然队友已经“掉链子”了，我至少得保证自己不掉下去。

5. 总结：这篇论文告诉我们什么？

理论很美好，现实很骨感： 在工程、机器人、自动驾驶等领域，完美的数学策略往往因为硬件延迟、信号干扰而失效。
不要死板执行： 当发现队友（或对手）没有按“剧本”走时，不要死守原计划。
利用信息： 如果你能测量到对方的偏差（比如知道对方刹车慢了），你就可以通过主动调整自己的策略，来抵消对方的错误带来的负面影响。
局部最优： 这个策略主要是为了保护你自己（玩家 1）的利益，而不是为了整个团队的大团圆。但在竞争或复杂的合作中，先保证自己不被拖垮，往往是最理性的选择。

一句话总结：
这篇论文教我们在“队友掉链子”的时候，如何通过实时观察和主动调整，把对方造成的麻烦降到最低，让自己在不完美的现实中依然能骑得稳稳当当。

这是一份关于论文《Optimal Modified Feedback Strategies in LQ Games under Control Imperfections》（控制缺陷下 LQ 博弈中的最优修正反馈策略）的详细技术总结。

1. 研究背景与问题定义 (Problem Statement)

背景：博弈论（特别是纳什均衡）已广泛应用于机器人、交通管理、能源管理等工程领域。然而，在实际工程系统中，由于执行器限制、通信延迟、测量噪声或执行误差，理想的纳什均衡策略往往无法被精确执行。
核心问题：现有的研究多关注模型不确定性或 $\epsilon$ -均衡，但对于特定玩家因执行缺陷（如执行器滞后）导致的控制输入偏差如何影响系统轨迹及对手玩家的成本，尚缺乏深入分析。
具体场景：
- 考虑一个有限时域、离散时间、非零和线性二次（LQ）博弈。
- 假设玩家 2 的控制输入在执行过程中发生偏差（例如，由于一阶滞后，实际输入 $u_{2,k}$ 偏离了理论纳什输入 $u^*_{2,k}$ ）。
- 玩家 1 保持其名义上的反馈纳什均衡（FNE）策略不变。
- 目标：分析这种偏差对玩家 1 状态轨迹和成本的影响，并设计一种补偿策略，使玩家 1 能够利用可测量的偏差信息来抵消负面影响，从而优化其自身成本。

2. 方法论 (Methodology)

论文提出了一套系统的分析框架和控制器设计方法：

A. 灵敏度分析 (Sensitivity Analysis)

首先推导了玩家 2 的微小控制偏差 $\Delta u_2$ 对玩家 1 成本 $J_1$ 的一阶灵敏度。
利用状态转移矩阵 $\Phi(k, j)$ ，给出了状态偏差 $\Delta x_k$ 的闭式表达。
证明了玩家 1 的成本变化 $\Delta J_1$ 与玩家 2 的偏差呈线性关系（一阶项），并给出了显式的系数表达式。这表明如果不对偏差进行补偿，玩家 1 的成本将显著增加。

B. 补偿反馈策略设计 (Compensated Feedback Design)

建模：将执行器滞后建模为离散一阶滞后系统（ $u_{2,k+1} = \alpha u_{2,k} + (1-\alpha)u^*_{2,k}$ ），并将由此产生的输入偏差视为作用在系统上的可测扰动 $w_k$ 。
增广系统：为了利用扰动信息，将原系统状态 $x_k$ 和扰动状态 $w_k$ 组合成增广状态 $z_k = [x_k^\top, w_k^\top]^\top$ 。
最优控制求解：
- 在因果仿射策略类（ $u_{1,k} = -K_k x_k - L_k w_k$ ）中求解玩家 1 的最优控制问题。
- 通过引入增广系统的Riccati 递归，推导出了最优增益矩阵 $[K_k, L_k]$ 。
- 该策略包含两部分：
  1. 反馈项 ( $-K_k x_k$ )：调节状态误差。
  2. 前馈补偿项 ( $-L_k w_k$ )：利用可测量的偏差 $w_k$ 进行前馈抵消，类似于扰动观测或预览控制。

C. 理论性质

最优性：证明了在因果仿射策略类中，该补偿策略是唯一的成本最小化解。
局部性能提升：通过二阶分析证明，对于足够小的偏差，补偿策略（CF）的成本严格优于未补偿的参考反馈策略（REF），且改进量与偏差幅度的平方成正比。
非纳什均衡性质：明确指出该补偿策略不是修改后博弈的纳什均衡（因为玩家 2 并未针对玩家 1 的新策略进行最佳响应），而是一种针对特定执行缺陷的单方面优化策略。

3. 主要贡献 (Key Contributions)

离散时间博弈的灵敏度分析：推导了离散时间 LQ 博弈中，一方执行偏差对另一方成本影响的闭式一阶表达式，量化了偏差传播机制。
基于增广动力学的补偿律设计：提出了一种新的补偿反馈律，通过将可测量的偏差动态纳入增广系统，利用 Riccati 方程求解最优增益。该策略在因果仿射类中是最优的。
性能恢复证明：理论证明了在偏差较小时，补偿策略在二阶精度上优于传统的未补偿均衡反馈，并提供了数值示例验证其有效性。

4. 数值实验结果 (Results)

论文通过一个双车弹簧 - 阻尼耦合系统的数值算例进行了验证：

场景设置：
- Case I (基准)：双方均完美执行 FNE 策略。
- Case II (无补偿)：玩家 2 存在执行器滞后，玩家 1 仍使用名义 FNE 策略。
- Case III (补偿)：玩家 2 存在滞后，玩家 1 使用提出的补偿反馈策略（CF）。
关键数据：
- 当玩家 2 出现滞后且玩家 1 无补偿时，玩家 1 的成本增加了 51.36%。
- 引入补偿策略后，玩家 1 的成本降低了 10.71%（相对于无补偿情况），恢复了约 31.56% 的因滞后导致的性能损失。
- 积分平方误差（ISE）显示，玩家 1 的状态调节精度显著改善（ISE 降低 41.28%）。
权衡分析：虽然玩家 1 的性能显著提升，但玩家 2 的成本进一步增加（因为玩家 1 改变了策略以对抗玩家 2 的滞后，而玩家 2 未改变策略）。这体现了非零和博弈中单方面优化的特性，即 $J_1$ 的降低不一定导致总成本 $J_1+J_2$ 的降低。

5. 意义与结论 (Significance & Conclusion)

理论意义：填补了离散时间 LQ 博弈中针对“执行缺陷”进行灵敏度分析和补偿设计的空白。将传统的扰动补偿思想（如 DBSC）扩展到了博弈论框架下，并处理了时间变化的动态偏差。
工程价值：为实际工程系统（如自动驾驶车队、多机器人协作）提供了实用方案。当无法保证所有智能体完美执行理论策略时，受影响的智能体可以通过利用可观测的偏差信息来主动补偿，从而维持自身性能。
局限性：当前方法假设偏差是可测或可估计的，且补偿策略仅针对单方优化。未来的工作将探索在线估计技术、更复杂的偏差模式以及双方共同重新设计策略的合作/团队目标优化。

总结：该论文提出了一种在博弈论框架下应对控制执行缺陷的有效方法。通过构建增广系统并求解最优补偿反馈律，受影响的玩家能够显著减轻对手执行误差带来的性能损失，为鲁棒博弈控制提供了新的理论工具和设计思路。