Cost-Driven Representation Learning for Linear Quadratic Gaussian Control: Part II

本文针对部分可观测的高维线性二次高斯控制问题，提出了一种通过预测累积代价来学习潜在状态表示的成本驱动方法，并建立了在无限时域下获得近优表示函数与控制器的有限样本保证，其核心贡献在于证明了由二次回归分析产生的新随机过程的持续激励性。

要点

这篇论文探讨了一个非常有趣的问题：当机器人或 AI 面对一个“看不清”的世界时，如何学会控制它？

想象一下，你正在玩一个极其复杂的电子游戏，但你的屏幕被一层厚厚的毛玻璃挡住了，你只能看到模糊的影子（这就是“部分观测”）。你无法直接看到游戏里的角色（状态）在哪里，只能看到影子（观测数据）。你的目标是控制角色去得分（最小化成本/代价）。

这篇论文就是教 AI 如何透过毛玻璃，在脑海里构建一个清晰的“虚拟世界”（潜在状态），并在这个虚拟世界里学会如何玩得最好。

以下是用通俗语言和比喻对论文核心内容的解读：

1. 核心挑战：看不清的迷宫

在传统的控制理论（LQG 控制）中，如果系统参数已知，AI 就像有一个完美的地图，知道每一步该往哪走。但在现实世界（或这篇论文研究的场景）中，AI 是不知道地图的，而且它看到的只是模糊的影子。

• 比喻：就像你在一个漆黑的迷宫里，手里只有一盏忽明忽暗的灯，你看不清墙壁（状态），只能看到灯光照到的地方（观测）。你需要学会如何走路才不会撞墙，还要走得最快。

2. 解决方案：成本驱动的“梦境”构建

这篇论文提出了一种叫**“成本驱动表示学习”的方法。简单来说，AI 不需要试图还原世界的每一个细节（比如墙壁的颜色、纹理），它只需要学会构建一个“梦境”（潜在状态空间），在这个梦里，它能准确预测“这样做会付出多少代价（成本）”**。

• 比喻：你不需要知道迷宫里每一块砖的纹理，你只需要知道“往左走会撞墙（高代价）”还是“往右走能通（低代价）”。AI 通过不断预测“如果我这样做，未来的总代价是多少”，来反推这个“梦境”的结构。

3. 两种“做梦”的方法

论文提出了两种构建这个“梦境”的方法，就像两种不同的学习策略：

• 方法一：显式学习（像传统的物理课）

  • 做法：AI 先努力猜出“梦境”里的物理规则（比如：如果我往左走一步，位置会怎么变），然后再根据规则去控制。
  • 比喻：这就像先画出一张精确的迷宫地图，标出墙壁和通道，然后再规划路线。
  • 论文中的名字：CoReL-E。

• 方法二：隐式学习（像 MuZero 的直觉）

  • 做法：这是论文的重点，也是受谷歌 AlphaGo/MuZero 启发的方法。AI 不直接去猜物理规则，而是直接预测“如果我在这个梦里走一步，未来的代价会是多少”。它通过不断修正对“未来代价”的预测，间接地学会了这个“梦境”是怎么运转的。
  • 比喻：这就像你不需要画地图，你只需要凭直觉（预测代价）去试错。如果你往左走，发现预测的“未来代价”很高，你就知道那里不对劲。通过无数次这样的预测，你脑子里自然形成了一张完美的“直觉地图”。
  • 论文中的名字：CoReL-I（MuZero 风格）。

4. 关键发现：坐标对齐的“罗生门”

论文发现了一个非常微妙的问题。在“隐式学习”中，因为 AI 只关心“代价”，而代价往往对“方向”不敏感（比如旋转 90 度，代价可能还是一样的），AI 构建的“梦境”坐标可能会和真实的物理坐标错位。

• 比喻：想象你在学开车，教练告诉你“踩油门车会快”。你学会了，但你脑子里的“快”可能是指“向左转”，而实际上车是“向前开”。虽然你也能把车开走（因为代价预测对了），但你的方向感是乱的。
• 论文的贡献：论文指出，为了解决这个“方向乱”的问题，AI 不能只看一步的未来，而需要预测多步的未来，或者通过一种特殊的数学手段（对齐矩阵）来把“梦境”的坐标和真实世界对齐。这就像给你的直觉地图加一个指南针，确保方向是对的。

5. 数学上的“硬骨头”：如何证明它有效？

这篇论文最厉害的地方在于，它不仅仅是说“这方法好用”，而是用严格的数学证明了：只要给 AI 足够的数据（哪怕只是一条长长的轨迹），它就能以极高的概率学会完美的控制策略。

• 比喻：以前大家觉得这种“只靠猜代价”的方法太玄学，没法保证一定成功。但这篇论文证明了，只要 AI 足够聪明（算法设计得好），数据量足够大，它就能从混乱的毛玻璃中提炼出完美的控制策略。
• 技术难点：因为数据是连续的一条龙（时间序列），前面的数据会影响后面的，这就像在一条流动的河上测量水温，数据之间是“纠缠”在一起的。论文发明了一种新的数学技巧（类似把河流分段，再重新整理），成功解决了这个“纠缠”问题，证明了方法的可靠性。

总结

这篇论文（Part II）是 Part I 的升级版，专门研究无限时间、稳定不变的系统。

• 核心思想：AI 不需要看清世界的全貌，只需要学会预测“代价”，就能在模糊的世界中通过构建“虚拟梦境”来完美控制。
• 现实意义：这为像 MuZero 这样在围棋、星际争霸中表现惊人的 AI 算法提供了坚实的理论基础。它告诉我们，为什么“预测未来代价”这种看似简单粗暴的方法，在数学上是行得通的，并且能解决复杂的控制问题。

一句话概括：这篇论文证明了，即使看不清世界，只要 AI 懂得如何预测“未来的代价”，它就能在脑海中构建出一个完美的虚拟世界，并在这个世界里成为控制大师。

技术摘要

这篇论文是《Cost-Driven Representation Learning for Linear Quadratic Gaussian Control》系列的第二部分（Part II）。该研究聚焦于基于成本驱动的状态表示学习（Cost-Driven State Representation Learning, CDRL），旨在解决从部分可观测且可能高维的观测数据中学习控制策略的问题，具体针对的是无限时域、时不变线性二次高斯（LQG）控制场景。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

在部分可观测的 LQG 控制问题中，系统状态 $x_t$ 无法直接观测，只能通过观测值 $y_t$ 和控制输入 $u_t$ 的历史序列来推断。传统的 LQG 控制依赖于已知的系统参数（$A^*, B^*, C^*, Q^*, R^*$）和卡尔曼滤波。然而，在数据驱动的设置中，这些参数是未知的。

核心挑战在于：

• 状态表示学习：如何从观测历史中学习到有效的潜在状态（Latent State）表示，使得在该潜在空间中可以应用标准的控制理论（如 LQR）。
• 有限样本保证：在仅有一条轨迹（single trajectory）且数据存在时间相关性的情况下，如何证明学习到的表示函数和控制器在有限样本下是近最优的。
• 与 MuZero 的理论联系：MuZero 等强化学习算法通过预测未来成本来隐式学习动力学，但在理论分析上缺乏对无限时域 LQG 问题的严格保证。本文旨在填补这一理论空白。

2. 方法论 (Methodology)

作者提出了两种基于成本驱动的表示学习方法，统称为 CoReL (Cost-driven state Representation Learning)，并统一在 Algorithm 1 的框架下：

2.1 核心流程

1. 数据收集：使用零均值高斯噪声控制输入收集一条长度为 $T$ 的轨迹。
2. 表示函数学习（Cost-Driven Representation）：
   • 利用 $d_x$ 步累积成本（Cumulative Costs）进行二次回归（Quadratic Regression）。
   • 通过最小化预测成本与实际累积成本的误差，估计矩阵 $\hat{N}$，进而通过特征分解恢复状态表示矩阵 $\hat{M}$。
   • 这一步将观测历史映射到潜在状态空间，且不需要显式学习观测重建函数。
3. 潜在动力学学习（Latent Dynamics Learning）：分为两种策略：
   • CoReL-E (Explicit)：显式地学习状态转移函数。在潜在状态空间中使用普通最小二乘法（OLS）拟合 $z_{t+1} = Az_t + Bu_t$。
   • CoReL-I (Implicit, MuZero 风格)：隐式地学习动力学。通过预测未来时刻的成本来优化动力学参数。该方法引入了**坐标对齐（Coordinate Alignment）**机制，解决了因成本函数对正交变换不变而导致的潜在状态坐标不一致问题（即 $\hat{M}$ 和 $\hat{M}_1$ 可能对应不同的正交基，需通过求解对齐矩阵 $\hat{S}_0$ 来校正）。
4. 策略优化：在学到的潜在模型 $(\hat{A}, \hat{B}, \hat{Q}, R^*)$ 上求解代数 Riccati 方程（DARE），得到最优反馈增益 $\hat{K}$，最终策略为 $\hat{\pi} = (\hat{M}, \hat{K})$。

2.2 关键技术难点与突破

• 单条轨迹的相关性：与 Part I 的时间变系统不同，Part II 处理的是时不变系统，需要聚合单条轨迹中不同时间步的相关数据。
• 二次回归的激发性（Persistency of Excitation）：由于回归变量是观测历史的二次项（$h_t h_t^\top$），且数据相关，传统的集中不等式（如 Azuma）难以直接应用。
• Gram-Schmidt 过程与混合过程分析：作者提出了一种新的分析方法，利用混合过程（Mixing Process）中相距较远的样本点近似独立的特性，结合 Gram-Schmidt 正交化 和 小球法（Small-Ball Method），证明了相关数据下的二次回归具有足够的激发性，从而保证了参数估计的收敛性。

3. 主要贡献 (Key Contributions)

1. 有限样本理论保证：首次为无限时域、时不变 LQG 控制下的两种成本驱动表示学习方法（显式和隐式）提供了严格的有限样本误差界。证明了学习到的策略 $\hat{\pi}$ 与最优策略 $\pi^*$ 之间的次优性差距（Suboptimality Gap）以 $O(T^{-1})$ 的速度收敛。
2. MuZero 风格的理论分析：深入分析了类似 MuZero 的隐式动力学学习方法。揭示了**坐标不对齐（Coordinate Misalignment）**问题：由于成本函数对潜在状态的正交变换不变，仅预测一步转移可能导致状态坐标不一致。论文提出并证明了通过多步成本预测或显式的坐标对齐步骤可以解决这一问题。
3. 新的数学引理：
   • 证明了由二次回归分析产生的随机过程的激发性（Persistency of Excitation），这对于处理相关数据和非鞅差序列（Non-martingale difference sequences）至关重要。
   • 给出了高斯二次型期望的下界引理（Lemma 2），这可能具有独立的数学价值。
4. 统一框架：将显式动力学学习（类似系统辨识）和隐式动力学学习（类似 MuZero）统一在同一个成本驱动的表示学习框架下，展示了两者在 LQG 设置下的理论等价性和可行性。

4. 主要结果 (Results)

• 收敛性：在满足标准假设（系统稳定、可控、可观测等）下，只要轨迹长度 $T$ 足够大，历史长度 $H$ 满足特定对数条件，学习到的表示函数 $\hat{M}$ 和控制器 $\hat{K}$ 能以高概率达到近最优性能。
• 误差界：总成本误差 $J(\hat{\pi}) - J(\pi^*)$ 的上界为 $O(\text{poly}(H, d_x, d_y, d_u, \log(T/p)) \cdot T^{-1})$。
• 样本效率权衡：虽然 CoReL-I（MuZero 风格）在样本效率上略低于基于马尔可夫参数学习的传统方法（因为需要处理二次回归，维度更高），但它避免了学习观测重建函数 $C^*$，能够直接学习任务相关的表示，这在更复杂的非线性或高维观测场景中具有潜在优势。

5. 意义与影响 (Significance)

• 理论桥梁：本文在经典控制理论（LQG）与现代强化学习（MuZero）之间建立了坚实的理论联系。它证明了 MuZero 的核心思想（通过预测成本学习潜在动力学）在理论上对于线性系统是有效的，并给出了具体的收敛保证。
• 指导实践：揭示了在隐式动力学学习中处理“坐标对齐”的重要性，为设计更鲁棒的基于模型的强化学习算法提供了理论依据。
• 未来方向：为处理非线性观测、时间变化的观测函数以及多任务泛化能力提供了理论框架的基础。

总结：
这篇论文通过严谨的数学分析，证明了在无限时域 LQG 控制中，仅通过预测累积成本来学习状态表示和潜在动力学是可行且高效的。它不仅解决了单条轨迹下相关数据处理的理论难题，还深入剖析了 MuZero 类算法的内在机制（特别是坐标对齐问题），为基于模型的强化学习在理论上的可解释性和可靠性做出了重要贡献。