技术摘要：约束潜在状态建模（CLSM）

1. 问题陈述

从复杂、高维数据（时间序列、多模态或部分可观测数据）中学习潜在表示，是现代机器学习的核心挑战。尽管这些表示常被视为观测数据的压缩摘要，但作者认为，在许多场景下——特别是序列建模、控制和世界模型中——这些表示更应被理解为捕捉底层系统动态的潜在状态。

现有文献支离破碎，不同的建模家族（概率潜在变量模型、自编码器、预测性自监督方法、多模态架构）依赖于关于潜在状态应代表什么的截然不同且往往隐含的假设。这种碎片化导致了几个关键问题：

• 歧义性与不可识别性：多种表示可以满足相同的目标函数，但在结构和解释上却存在根本差异。
• 约束不足的目标：现有方法通常未能明确指定有意义的潜在状态必须满足的属性，导致退化解或将相关信号与干扰因素纠缠在一起的表示。
• 未解决的权衡：预测充分性、最小性、时间连贯性和对干扰因素的不变性等核心要求，通过根本性的权衡内在耦合，却很少被显式地平衡。

2. 方法论：CLSM 框架

本文提出了约束潜在状态建模（CLSM）作为一种统一的视角。CLSM 并非引入一种新的特定算法，而是将潜在状态建模重新框架化为一个约束或多目标优化问题。

2.1 核心设计原则

该框架确定了六个定义理想潜在状态的核心属性，这些属性可表达为对潜在空间的约束：

1. 预测充分性（$C_{pred}$）：潜在状态 $z_t$ 必须保留从过去观测中预测未来观测所需的所有信息（$p(x_{t+1:T} | z_t) = p(x_{t+1:T} | x_{1:t})$）。
2. 最小性（$C_{min}$）：在充分表示中，状态应尽可能紧凑，避免不必要的信息（通过信息论项如 $I(z_t; x_{1:t})$ 形式化）。
3. 时间连贯性（$C_{temp}$）：潜在状态必须与底层系统动态一致地演化，避免虚假波动（例如，通过对潜在轨迹施加平滑惩罚）。
4. 观测兼容性（$C_{obs}$）：给定观测数据，潜在状态必须保持合理（$x_t \sim p(x_t | z_t)$），确保表示扎根于现实。
5. 对干扰因素的不变性（$C_{inv}$）：状态应对无关变量（如采集条件、受试者身份）保持不变，同时对有意义的系统变化保持敏感。
6. 结构约束（$C_{struct}$）：潜在空间应表现出可解释的结构（例如，低维性、单调性、特定领域先验）。

2.2 形式化

作者将潜在状态推断定义为约束优化问题的解：
$$\min_{z_{1:T}, f, p} \mathcal{L}(z_{1:T}, f, p) \quad \text{subject to} \quad z_{1:T} \in \mathcal{C}$$
其中 $\mathcal{C} = \mathcal{C}_{pred} \cap \mathcal{C}_{min} \cap \mathcal{C}_{temp} \cap \mathcal{C}_{obs} \cap \mathcal{C}_{inv} \cap \mathcal{C}_{struct}$。

在实践中，这些硬约束通常通过多目标损失函数作为软约束来实现：
$$\mathcal{L}_{total} = \mathcal{L}_{pred} + \sum \lambda_i \mathcal{L}_i$$
其中权重 $\lambda_i$ 显式控制竞争目标之间的权衡。

3. 文献回顾

本文应用 CLSM 视角审视现有模型的主要家族，证明它们通过强制执行不同子集的约束，占据了设计空间的不同区域：

• 状态空间模型（如卡尔曼滤波、隐马尔可夫模型）：显式强制执行预测充分性（通过马尔可夫假设）和时间连贯性（通过动态模型）。它们通常对最小性的控制较弱，且缺乏对干扰不变性的显式机制。
• 潜在变量模型（如 PCA、ICA）：强烈强制执行最小性和观测兼容性，但缺乏时间连贯性和预测充分性，因为它们将时间点独立处理。
• 基于重构的模型（如自编码器、VAE）：优先考虑观测兼容性，并通常通过瓶颈实现最小性。它们通常未能强制执行预测充分性（优化当前重构而非未来预测）和时间连贯性。
• 预测性表示学习（如 CPC、JEPA）：直接针对预测充分性，并通常诱导隐式的最小性。然而，它们通常缺乏观测兼容性（表示可能无法重构输入）和显式的结构约束。
• 多模态学习：强制执行跨模态的观测兼容性，但通常忽视最小性（由于信息冗余）和显式的时间连贯性。
• 特定领域结构化模型（如疾病进展模型）：强烈强制执行结构约束和时间连贯性（通过单调性/排序），但通常牺牲了灵活性和预测充分性。

本文中的表 1提供了一个定性矩阵，表明没有任何现有框架能同时显式强制执行所有六个约束；每种方法以不同方式解决权衡，从而导致特定的优势和劣势。

4. 主要贡献

1. 统一视角：本文提出 CLSM 作为一个概念框架，将不同的建模传统统一在一组共同的设计原则之下。
2. 显式权衡分析：它形式化地识别并分析了约束之间的根本张力（例如，预测充分性与最小性之间的权衡，或不变性与对细微变化敏感性之间的权衡）。
3. 重构可识别性：作者认为，潜在变量建模中的可识别性缺失不仅仅是技术限制，而是约束不足的目标的后果。通过显式指定约束，可以减少（尽管不一定消除）解空间的歧义性。
4. 设计空间映射：该工作提供了一个结构化分类法（图 2）和定性比较（表 1），使研究人员能够根据所优先的约束，将现有方法定位在共同的设计空间中。

5. 结果与主张

本文未呈现新的实证结果、基准测试或实验比较。相反，其“结果”是分析性和理论性的：

• 理论综合：它表明文献的多样性反映了约束设计空间中不同的工作点，而非根本不相容的范式。
• 局限性诊断：它指出，当前方法无法产生鲁棒、可解释且与任务对齐的表示，源于对潜在状态属性的隐式和不完整指定。
• 框架效用：作者声称，CLSM 提供了一种原则性的方法，使设计选择显式化、分析权衡并指导新模型的开发。

6. 意义与未来方向

本文将 CLSM 定位为一种构建表示学习设计空间的框架，而非一种待实现的具体算法。其意义在于：

• 超越单一目标：它主张潜在状态建模本质上是一个多目标问题，若将其简化为单一标量损失（如重构或互信息），将丢失关键属性。
• 指导模型设计：它表明未来的进展较少依赖于增加模型容量，而更多依赖于显式定义和平衡支配表示设计的约束。
• 评估标准：作者呼吁建立新的评估框架，从多个维度（预测、鲁棒性、不变性、可解释性）评估表示，而非仅关注下游任务性能。

本文结论认为，虽然 CLSM 并未完全解决可识别性问题，但它将其重新框架化为约束不足表述的后果，为构建更系统、可解释和鲁棒的潜在状态模型提供了一条路径。未来的工作建议侧重于开发能够在高维、多模态设置中联合处理这些约束的方法，并基于这些约束创建标准化基准。