⚡ electrical engineering

Steady-state Based Approach to Online Non-stochastic Control

本文提出了一种结合扰动跟随策略与批处理方法的在线非随机控制算法，通过求解非凸子问题的近似解，实现了对比传统常数输入基准更广泛的仿射控制器稳态基准下 $\mathcal{O}(\sqrt{T})$ 的次线性遗憾，并在数值实验中展现出更优的总成本与计算效率。

原作者： Vijeth Hebbar, Spencer Hutchinson, Mahnoosh Alizadeh, Cédric Langbort

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vijeth Hebbar, Spencer Hutchinson, Mahnoosh Alizadeh, Cédric Langbort

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲的是如何在充满未知和捣乱的环境中，控制一个系统（比如自动驾驶汽车或机器人），让它表现得尽可能好。

为了让你轻松理解，我们可以把这个问题想象成**“在一个不断变化的迷宫里开车”**。

1. 核心问题：我们在玩什么游戏？

想象你是一名赛车手，开着一辆自动驾驶赛车（系统）。

路况（干扰）：路上随时可能有人扔石头、刮大风，或者路面突然变滑（这些是“对抗性干扰”）。
目标（成本函数）：裁判每过一秒就给你打分。分数规则是随机的、甚至可能是故意针对你的（比如你往左走他就扣分，往右走他也扣分）。
挑战：你必须在不知道下一秒会发生什么的情况下，决定方向盘往哪打（控制输入），目标是让总扣分最少。

2. 以前的做法：只能“死记硬背”

以前的科学家（比如 Agarwal 等人）想出的办法是：

“我们假设最好的策略是一直踩住油门，保持一个固定的速度（常数输入）。”

这就像是一个**“定速巡航”**的基准。如果系统本身很稳，这个办法还行。但如果系统很复杂，或者你需要转弯、变道，光靠“定速”肯定不够灵活。这就好比你想在迷宫里跑，但基准只允许你“一直直走”，这显然太局限了。

3. 这篇论文的突破：学会“灵活变通”

这篇论文的作者（Vijeth, Spencer 等人）说：“定速巡航太死板了！我们应该允许赛车手根据路况调整方向盘（使用线性反馈控制器）。”

他们提出了一个新的基准：

最好的策略不是“一直直走”，而是“找到一个最稳的转弯姿势，并保持住”。

这就好比，以前的比赛是看谁在直道上跑得快；现在的比赛是看谁能在复杂的弯道里，找到一个最完美的过弯姿态（稳态），并一直维持这个姿态，哪怕风在吹、路在晃。

这个新基准厉害在哪里？

更聪明：它允许赛车手根据当前的位置（状态）自动调整方向盘（$u = -Kx + v$），而不仅仅是踩死油门。
更强大：它能应对更复杂的系统，比如那些本身就不稳定的车（比如倒立摆）。

4. 他们是怎么做到的？（核心算法）

要实现这个目标，有两个大难题：

迷宫太复杂（非凸性）：寻找那个“完美过弯姿态”的集合，形状非常奇怪，不像以前那样是个简单的圆圈（凸集），用普通的数学方法很难直接算出最优解。
变来变去会翻车（稳定性）：如果赛车手每秒钟都换一种过弯姿势，车可能会因为反应不过来而翻车。

他们的解决方案：分批处理 + 随机试探（Batching + FTPL）

想象一下，你不需要每一秒都重新规划路线，而是每开一段路（比如 10 秒）作为一个“批次”：

步骤一：随机试探（FTPL）
在每个批次的开始，赛车手会看过去 10 秒的扣分记录，然后加一点点随机噪音（就像喝了一杯咖啡，稍微有点兴奋），去猜测下一个“完美过弯姿态”在哪里。这种方法叫“受扰动领导者跟随”（Follow-The-Perturbed-Leader）。虽然不能保证每次都是数学上的绝对最优，但能找到一个足够好的解。
步骤二：稳住阵脚（Batching）
一旦选定了这个“完美姿态”，在接下来的 10 秒里，赛车手就死守这个策略，不再乱变。
- 为什么要这样？ 就像你开车过弯，如果你方向盘转得太快、太频繁，车会失控。保持一段时间不变，让车子真正稳定在这个姿态上，等车稳住了，再根据新的路况调整下一个 10 秒的策略。

5. 结果怎么样？

作者做了模拟实验（就像在电脑里跑了几百次虚拟赛车）：

成绩更好：使用他们的新方法（BatchFTPL），总扣分比旧方法（DAC）更少。这意味着赛车手真的找到了更聪明的过弯方式。
速度不慢：虽然每次计算“完美姿态”稍微麻烦一点（因为要解一个复杂的数学题），但因为不需要每秒钟都算，而是每 10 秒算一次，所以总的计算时间反而和旧方法差不多，甚至更快。

6. 总结：这篇论文告诉我们什么？

旧观念：控制复杂系统，只能靠“死板”的固定策略。
新观念：我们可以允许系统灵活调整（使用反馈控制），只要我们在时间上稍微“慢半拍”（分批处理），就能在保持系统稳定的同时，获得更好的性能。
比喻：这就好比教一个新手司机。以前我们教他“永远不要动方向盘”（常数输入）；现在我们教他“每开一段路，停下来想一个最稳的过弯姿势，然后坚持开这一段，再想下一个”。这样既灵活，又不会翻车。

一句话总结：
这篇论文发明了一种**“慢思考、快执行”**的自动驾驶策略，让系统在混乱和对抗的环境中，不仅能活下来，还能比以前的方法跑得更稳、更省分。

这是一份关于论文《Steady-state Based Approach to Online Non-stochastic Control》（基于稳态的在线非随机控制方法）的详细技术总结。

1. 研究问题 (Problem)

本文研究的是在线非随机控制 (Online Non-stochastic Control, ONC) 问题。

系统模型：考虑一个完全可观测的线性时不变（LTI）系统 $x_{t+1} = Ax_t + Bu_t + w_t$ ，其中 $x_t$ 是状态， $u_t$ 是输入， $w_t$ 是扰动。
环境设定：系统面临未知的凸代价函数 $f_t(x_t)$ 和潜在的对抗性扰动。学习器需要在不知道当前或未来代价及扰动的情况下，序列地选择控制输入 $u_t$ ，以最小化累积代价 $\sum f_t(x_t)$ 。
核心挑战：传统的 ONC 算法通常将性能基准（Benchmark）设定为“ hindsight 中表现最好的线性反馈控制器”。然而，作者指出，当代价函数为一般凸函数（而非二次型）时，基于线性反馈的基准解释性较差。
现有局限：作者之前的工作提出了一种基于“恒定输入可达稳态”的基准，但这存在两个主要限制：
1. 该稳态集合维度受限于输入维度，在欠驱动系统中过于受限。
2. 它仅考虑开环恒定输入能维持的稳态，排除了通过反馈控制可达的稳态点。

本文目标：将基准扩展为一个更丰富的集合，即由仿射稳定控制器（Affine Stabilizing Controllers）可达的稳态集合，并设计算法在该基准下实现次线性遗憾（Sublinear Regret）。

2. 方法论 (Methodology)

为了解决更丰富的基准带来的非凸性和动态切换稳定性问题，作者提出了一种结合扰动跟随领导者 (Follow-The-Perturbed-Leader, FTPL) 框架与批处理 (Batching) 策略的新算法（Algorithm 1）。

2.1 新的遗憾定义

基准集合 ( $\mathcal{Z}$ )：定义为所有在仿射稳定控制器 $u_t = -Kx_t + v$ 下可达的稳态点的并集。其中 $K$ 是强稳定矩阵（Strongly Stabilizing）， $v$ 是输入偏移量。
遗憾度量： $R_{\mathcal{Z}}(T) = \sum_{t=1}^T f_t(x_t) - \min_{z \in \mathcal{Z}} \sum_{t=1}^T f_t(z)$ 。即学习者的累积代价与 hindsight 中 $\mathcal{Z}$ 内最佳稳态点的累积代价之差。

2.2 算法核心设计

由于集合 $\mathcal{Z}$ 是非凸的（它是无数凸集的并集），且控制器参数 $K$ 随时间变化会导致闭环动力学切换，直接应用梯度下降或简单的在线优化方法会失效。

FTPL 框架：
- 采用 FTPL 风格的在线非凸优化方法。
- 在每一批次的开始，学习器选择一个目标稳态 $z_n \in \mathcal{Z}$ 。
- 选择过程基于最小化过去批次的累积代价加上一个随机正则化项（ $f_0(z) = \langle \sigma, z \rangle$ ，其中 $\sigma$ 服从指数分布）。
- 近似最优解：由于 $\mathcal{Z}$ 非凸，算法允许使用 $\epsilon$ -近似最小化预言机（Oracle）来求解子问题，无需精确最优解。
批处理机制 (Batching)：
- 将时间轴划分为长度为 $H$ 的批次。
- 在每个批次 $n$ 内，一旦选定目标稳态 $z_n$ ，学习器会计算对应的仿射控制器参数 $(K_n, v_n)$ ，并在整个批次内保持该控制器不变。
- 目的：
  - 允许闭环系统在固定控制器下收敛到稳态，减少跟踪误差。
  - 避免控制器频繁切换导致的稳定性破坏（Arbitrarily switching among stable controllers does not preserve stability）。
  - 平衡“适应新代价的速度”与“系统稳定性”之间的矛盾。
扰动处理：
- 虽然理论分析主要在无扰动假设下进行（利用叠加原理将扰动分离），但在仿真中，作者通过引入一个固定的强稳定增益 $K_0$ 来处理扰动部分，确保扰动驱动的状态分量有界，从而将问题转化为对名义系统的控制。

3. 主要贡献 (Key Contributions)

扩展了基准类：首次将 ONC 的基准从“恒定输入可达稳态”扩展到了“仿射稳定控制器可达稳态”。这显著扩大了比较类，提供了更强的性能保证，且对一般凸代价函数具有更好的解释性。
提出了新算法：设计了一个结合 FTPL 和批处理策略的在线控制算法，能够处理非凸的稳态集合和时变的闭环动力学。
理论保证：证明了该算法在期望意义下具有 $O(\sqrt{T})$ 的遗憾界。尽管基准更强（更严格），但遗憾的渐近速率与基于恒定输入的旧方法相同。
近似解的有效性：证明了即使子问题（非凸优化）仅通过近似解（Approximate Oracle）求解，依然能保证 $O(\sqrt{T})$ 的遗憾界。
数值验证：通过仿真实验验证了算法在累积代价和计算时间上的有效性。

4. 实验结果 (Results)

设置：在包含对抗性扰动的线性系统上，对比了提出的 BatchFTPL 算法与经典的 DAC (Disturbance Action Controller) 算法（Agarwal et al. [5]）。
性能表现：
- 累积代价：BatchFTPL 在多次迭代中一致地优于 DAC 算法，证明了更丰富的仿射基准能转化为实际的性能提升。
- 计算成本：
  - 单次控制器更新：BatchFTPL 的 Oracle 调用比 DAC 更昂贵（因为需要扫描一组稳定增益并求解凸子问题）。
  - 总运行时间：由于 BatchFTPL 仅在每 $H$ 步更新一次控制器（而 DAC 每步更新），其较低的更新频率抵消了单次计算的高成本，使得总运行时间反而低于 DAC。
结论：即使使用简单的近似 Oracle，该算法在性能和效率上均具有竞争力。

5. 意义与影响 (Significance)

理论突破：解决了在线非凸优化与控制系统稳定性之间的耦合难题。证明了在更复杂的非凸稳态集合下，依然可以通过巧妙的批处理设计获得最优的遗憾速率。
实际应用价值：
- 为处理一般凸代价函数（不仅仅是二次型）的在线控制提供了新的思路。
- 展示了“稳态视角”在在线控制中的潜力，即通过追踪最优稳态而非直接优化控制律来解决问题。
未来方向：
- 将基准进一步扩展到动态线性反馈控制器。
- 处理状态和输入的安全约束。
- 扩展到部分可观测系统。

总结：这篇论文通过引入仿射控制器稳态集合作为基准，并结合 FTPL 与批处理技术，成功地在保持 $O(\sqrt{T})$ 遗憾界的同时，显著提升了在线非随机控制在一般凸代价环境下的性能上限，为未来更复杂的控制场景奠定了理论基础。