⚡ electrical engineering

Data-Driven Covariance Steering with Output Feedback

本文提出了一种针对无模型随机线性时不变系统的输出反馈协方差控制方法，该方法利用非最小状态表示将问题转化为状态反馈形式，并通过直接和间接两种数据驱动策略处理时间相关噪声，最终将协方差控制问题转化为可高效求解的半定规划问题。

原作者： Dimitrios Moustroufis, Panagiotis Tsiotras

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Dimitrios Moustroufis, Panagiotis Tsiotras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个非常实际的问题：如何在不了解机器内部构造（没有“说明书”）的情况下，通过观察它过去的表现，来精准控制一群“随机乱跑”的机器人，让它们最终整齐地到达指定的位置，并且保持整齐的队形。

为了让你更容易理解，我们可以把这篇论文的内容想象成**“训练一群调皮的无人机”**的故事。

1. 核心挑战：看不见的“说明书”和“捣乱的风”

想象你有一群无人机（系统），它们在空中飞行。

传统方法：工程师通常需要先拿到无人机的“说明书”（数学模型），知道它的引擎有多强、空气阻力多大，然后才能写程序控制它。
这篇论文的方法：我们没有说明书。我们只知道过去一段时间无人机飞过的轨迹（输入了什么样的指令，输出了什么样的位置）。
难点：
1. 看不见全貌：我们只能看到无人机飞过的“位置”（输出），看不到它内部的“速度”或“姿态”（状态）。就像你只能看到车在路上的位置，但不知道引擎转速。
2. 有风在捣乱：飞行过程中总有随机阵风（噪声），导致无人机偏离航线。而且，这篇论文特别指出，这些风不是“一阵一阵独立吹的”，而是有记忆的（比如刚才吹了一阵大风，下一秒风可能还很大）。这种“有记忆的风”让控制变得非常复杂。

2. 核心创意：把“过去”变成“现在的状态”

既然看不到无人机内部，也没法直接知道它现在的状态，作者想出了一个聪明的办法：“用过去的脚印来代表现在”。

比喻：想象你在雪地里走路。你虽然不知道现在的雪有多深（内部状态），但你可以看过去几步留下的脚印（过去的输入和输出）。
操作：作者把无人机过去 $\ell$ 秒的指令和位置，打包成一个“超级状态包”（论文里叫非最小状态表示）。
效果：虽然这个“超级状态包”比真实的内部状态要庞大（有点笨重），但它包含了所有必要的信息，让我们可以用控制“内部状态”的方法来控制这个“超级状态包”。

3. 两大任务：控制“平均位置”和“队形整齐度”

控制这群无人机，作者把任务分成了两部分：

A. 控制平均位置（均值导向）

目标：让无人机群的中心点，从起点 A 移动到终点 B。
方法（间接法）：
- 这就好比先根据过去的脚印，猜出一个大概的“说明书”（估计模型）。
- 虽然这个“说明书”是猜的，可能不完美，但足够用来计算出一条让无人机群中心到达终点的路线。
- 关键点：因为风是有记忆的，作者发明了一种特殊的统计方法（工具变量法），能更准确地猜出这个“说明书”，避免被那些“有记忆的风”带偏。

B. 控制队形整齐度（协方差导向）

目标：不仅要到终点，还要保证无人机们不要散得太开，或者散开的程度要符合预期（比如最后要聚得很紧，或者保持某种特定的松散度）。
方法（直接法）：
- 这里不需要猜“说明书”。作者直接利用过去的数据，像**“直接翻译”**一样，把数据转换成控制策略。
- 难点突破：因为风是有记忆的，无人机现在的状态和刚才的风是“纠缠”在一起的。作者设计了一种数学技巧，专门处理这种“纠缠”，确保即使风在捣乱，无人机群也能保持预定的队形。
- 数学魔法：作者把复杂的控制问题变成了一个**“凸优化问题”**（你可以理解为一种非常高效的数学拼图游戏），计算机可以瞬间算出最优解。

4. 为什么这篇论文很厉害？

不需要说明书：以前很多方法必须知道机器内部怎么运作，现在只要有一堆历史数据就能干活。
解决了“有记忆的风”：以前的数据驱动方法通常假设风是随机且独立的（像掷骰子），但这篇论文处理了更现实的“有记忆的风”（像连绵的阴雨），这在现实中更常见。
只靠眼睛看（输出反馈）：不需要给无人机装昂贵的全状态传感器，只看它飞过的轨迹就能控制，大大降低了成本。

5. 实验结果：真的管用吗？

作者用计算机模拟了成千上万次飞行：

数据越多，猜得越准：当使用的历史数据样本从 50 个增加到 5000 个时，他们猜出的“说明书”越来越接近真实情况，控制效果也越来越好。
队形控制成功：在模拟中，无人机群不仅成功到达了目标点，而且最终散开的形状（椭圆）完全符合预设的要求。

总结

这篇论文就像教我们如何在不看引擎说明书、只凭观察过去飞行记录的情况下，指挥一群在“有记忆的风”中乱飞的无人机，让它们既到达目的地，又保持完美的队形。

它通过把“过去的脚印”打包成“现在的状态”，并发明了一套专门对付“有记忆干扰”的数学工具，成功地将复杂的控制问题转化为了计算机能轻松解决的“拼图游戏”。这对于未来让机器人、自动驾驶汽车在复杂、不确定的环境中自主运行，具有重要的指导意义。

这是一份关于论文《Data-Driven Covariance Steering with Output Feedback》（基于输出反馈的数据驱动协方差转向）的详细技术总结。

1. 研究问题 (Problem Statement)

本文旨在解决随机、离散时间、线性时不变（LTI）系统在无系统模型知识情况下的**输出反馈协方差转向（Output-Feedback Covariance Steering, CS）**问题。

核心挑战：
- 无模型：系统矩阵 $A, B, C$ 未知，仅利用离线收集的输入 - 输出数据。
- 输出反馈：无法直接测量系统全状态，只能获取受噪声污染的输出 $y_k$ 。
- 时间相关性噪声：由于采用非最小状态表示（Non-minimal State Representation），诱导出的等效噪声在时间上是相关的（非白噪声），这增加了状态与噪声之间交叉协方差的传播难度。
- 目标：在指定时间 horizon $N$ 内，将系统输出从初始分布 $\mathcal{N}(\mu_i^y, \Sigma_i^y)$ steering 到目标终端分布 $\mathcal{N}(\mu_f^y, \Sigma_f^y)$ ，同时最小化控制成本。

2. 方法论 (Methodology)

作者提出了一种结合间接方法（用于均值转向）和直接方法（用于协方差转向）的数据驱动框架。

2.1 非最小状态空间表示 (Non-minimal State Space Representation)

为了在不依赖模型的情况下利用输出反馈，作者构建了一个由过去输入和输出组成的非最小状态向量 $z_k$ ：
$z_k \triangleq \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$
其中 $\ell$ 是观测指数。

动态特性：在此表示下，系统动态方程中的噪声项 $\tilde{\zeta}_k$ 不再是白噪声，而是时间相关的。
降维处理：由于 $p\ell > n$ 时 $z_k$ 包含线性相关分量，导致数据矩阵秩亏。作者引入矩阵 $L$ 对 $z_k$ 进行投影，得到最小维度的非最小状态 $\chi_k = L z_k$ ，确保数据矩阵满秩，满足 Willems 基本引理（WFL）的应用条件。

2.2 模型识别与噪声估计 (System Identification & Noise Estimation)

针对数据驱动中的噪声问题，论文提出了两种参数估计策略：

间接方法（均值转向）：
- 需要估计系统动态矩阵 $\hat{A}, \hat{B}$ 和输出矩阵 $\hat{C}$ 。
- 由于回归量（状态）与噪声相关，普通最小二乘法（LS）有偏。
- 采用工具变量法（Instrumental Variables, IV），特别是两阶段最小二乘法（2SLS），利用过去的控制输入作为工具变量，以获得一致估计量。
直接方法（协方差转向）：
- 需要估计噪声实现值（Noise Realization）及其协方差。
- 利用估计的模型计算残差，得到噪声样本 $\hat{\zeta}_k$ 和 $\hat{\xi}_k$ 。
- 进一步估计噪声的时间相关模型（如 $\zeta_{k+1} = \Psi \zeta_k + \eta_k$ ）和交叉协方差矩阵。

2.3 数据驱动的优化问题构建

均值转向：基于估计的模型 $\hat{A}, \hat{B}, \hat{C}$ 构建二次规划问题。
协方差转向：
- 利用 WFL 将反馈增益 $K_k$ 参数化为数据矩阵的函数，避免显式求解 $A, B$ 。
- 推导了包含状态 - 噪声交叉协方差（ $\Sigma_{\chi\zeta}$ ）的协方差传播方程。
- 由于原始问题非凸（包含 $G_k \Sigma G_k^T$ 项），引入松弛变量 $Y_k$ 和 $W_k$ ，将问题转化为半定规划（SDP）。
- 注意：由于存在估计误差，这种凸松弛并非无损（lossless），但在数值上有效。

3. 主要贡献 (Key Contributions)

从状态反馈扩展到输出反馈：首次将数据驱动的协方差转向理论从全状态反馈扩展到仅使用输出反馈的场景，解决了实际应用中无法获取全状态的问题。
处理时间相关噪声：针对非最小状态表示带来的时间相关噪声问题，提出了显式的交叉协方差传播机制，并设计了相应的噪声模型估计方法。这是文献中首次解决离散时间下时间相关噪声的协方差转向问题。
混合数据驱动框架：
- 提出使用**工具变量法（IV）**解决回归量与噪声相关导致的估计不一致问题，特别适用于小样本或高噪声环境。
- 结合间接（模型估计）和直接（数据参数化）方法，分别处理均值和协方差控制。
凸优化求解：通过凸松弛技术，将复杂的随机控制问题转化为可高效求解的半定规划（SDP）问题。

4. 实验结果 (Results)

作者通过数值仿真验证了所提框架的有效性：

模型估计性能：
- 对比了 LS、TLS（总体最小二乘）和 IV 方法。
- 结果显示，在小样本下 IV 表现较差，但随着样本量增加（>1500），IV 方法在估计精度和方差上显著优于 LS 和 TLS，证明了其在处理内生性噪声问题上的优越性。
分布转向性能：
- 在一个 MIMO 系统上进行了测试，目标是将输出均值和协方差转向特定目标。
- 随着数据集大小增加，终端均值误差和协方差椭圆的收敛性均得到改善。
- 仿真展示了系统能够成功将初始分布（大椭圆）转向目标分布（小椭圆），且轨迹符合预期。

5. 意义与展望 (Significance & Conclusion)

理论意义：填补了数据驱动控制中“输出反馈”与“协方差约束”结合的理论空白，特别是解决了非最小状态表示下的噪声时间相关性难题。
应用价值：为传感器受限、模型未知且存在随机扰动的复杂工程系统（如机器人、自动驾驶、电力网络）提供了一种无需精确建模即可实现高性能随机控制的解决方案。
未来工作：作者指出，当前的凸松弛在存在估计误差时不能严格保证终端约束的满足，未来的研究方向包括设计具有鲁棒性的协方差转向控制器，以量化并抑制估计误差带来的影响。

总结：该论文通过巧妙的非最小状态表示和工具变量估计技术，成功构建了一个无需系统模型、仅依赖数据即可实现输出反馈协方差转向的框架，为数据驱动的随机控制领域提供了重要的理论突破和实用工具。