📊 statistics

Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

本文介绍了 L2D-SLDS，这是一种用于非平稳时间序列的在线学习转延迟框架，它利用切换线性高斯状态空间模型，在最小化遗憾和延迟率的同时，动态地将决策路由至内部预测器与外部专家之间。

原作者： Yannis Montreuil, Letian Yu, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yannis Montreuil, Letian Yu, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一艘船的船长，航行在雾气弥漫、变幻莫测的海域。你拥有自己的罗盘（你的内部 AI 模型），同时你还有一个由当地灯塔看守人（外部专家）组成的船队，如果你询问他们，他们可以喊出方向。然而，询问一位灯塔看守人需要花费金钱，而且有时他们甚至不在场。

核心问题是：何时该信任自己的罗盘，何时该付费询问灯塔看守人？

本文介绍了一种名为L2D-SLDS的新方法，专门用于解决此类问题，特别是针对天气（数据）持续变化、灯塔看守人来去无常的情境。

以下是其工作原理，分解为简单概念：

1. 问题：“离线”陷阱

以往解决此类问题的方法大多像是在研究一张平静、静态海洋的地图。它们假设：

天气永远不会变化。
所有灯塔看守人始终站在甲板上。
即使你没有询问，你也能听到每一位灯塔看守人的呼喊。

在现实世界（例如预测股价或天气）中，以上假设均不成立。天气会突然转变（非平稳性），看守人会离开又返回（动态可用性），且你只能听到你专门询问的那一位的呼喊（非对称反馈）。如果使用旧的“静态地图”方法，你会迷失方向，或者因过度询问方向而浪费太多金钱。

2. 解决方案：“共享秘密”网络

作者提出了一种系统，将所有专家（以及你自己的 AI）视为一个单一、互联的团队。他们使用了一种巧妙的数学技巧，称为切换线性高斯状态空间模型。

可以这样理解：

共享因子（“群聊”）：想象所有灯塔看守人都在一个群聊中。即使你只向一位看守人提问，他的回答也能为你提供线索，让你推断出其他看守人的想法，因为他们都共享一种共同的“情绪”或“状态”（例如风暴前沿或晴朗天气）。
特异性状态（“个人怪癖”）：每位看守人也有自己的个人怪癖。系统会单独学习这些特征。
切换状态（“天气模式”）：系统知晓规则会发生变化。有时是“风暴模式”，此时专家 A 表现优异；有时是“晴朗模式”，此时专家 B 表现优异。系统会不断推测当前处于何种模式。

神奇之处：得益于“群聊”（共享因子），即使你没有询问某位专家，你的系统也能通过观察你自己的内部罗盘以及你确实询问的那位专家，来更新对该专家的信念。这就像在拥挤的房间里听到一个人发笑，从而意识到整个房间气氛愉快，即使你并未与其他人交谈。

3. 决策：“智能查询评分”

当系统必须决定是否询问专家时，它不仅仅看谁最便宜。它使用一个“智能评分”，平衡以下三点：

即时成本：该专家此刻是否可能比我的猜测更准确？
信息增益：即使该专家很昂贵，询问他们是否能让我学到关于“群聊”（共享状态）的某些东西，从而帮助我未来做出更好的决策？
学习者提升：如果我询问这位专家，他们的回答是否能帮助训练我自己的内部罗盘，使其下次变得更聪明？

这防止了系统浪费金钱去询问那些已经熟知的专家，同时鼓励它去询问那些可能揭示“天气”突然变化的专家。

4. 结果：更少花费，更优导航

作者在真实世界数据（墨尔本气温、耶拿气候和德里天气）以及合成测试中验证了该方法。

结果：与其他“老虎机”（决策）算法相比，他们的系统在预测结果方面表现更佳。
效率：最棒的是，它在**询问帮助的时间少于 2%**的情况下实现了这些结果。
对比：其他方法通常有 30% 到 90% 的时间在寻求帮助，且表现仍然较差。新系统确切地知道何时该询问，何时该信任自己。

总结类比

想象你是一名正在参加考试的學生。

旧方法：因为不确定，你几乎在每一道题上都向老师求助；或者因为你认为自己什么都知道，所以你从不求助。
L2D-SLDS：你拥有“直觉”（你的内部模型）。你知道，如果向老师询问一道棘手的问题，你可能会学到一种模式，从而帮助你在十道其他题目上解题。因此，你只在题目真正困难或者答案能教会你关于考试风格的重要教训时才向老师提问。最终，你在提问更少的情况下获得了更高的分数。

本文从数学上证明，即使“考试”中途改变规则，且“老师”并非随时可用，这种方法依然行之有效。

技术摘要：基于切换状态空间模型的非平稳时间序列学习延迟决策

问题表述
本文解决了在流式非平稳时间序列环境中**学习延迟决策（Learning-to-Defer, L2D）**的挑战。与假设完全监督（可获取所有专家预测）且内部预测器固定的离线 L2D 设置不同，所提出的设置涉及：

非对称部分反馈：在每一轮 $t$ ，系统观测上下文 $x_t$ 和一组可用的外部专家 $E_t$ 。系统必须选择内部预测（动作 0）或延迟给外部专家 $k \in E_t$ （产生查询成本 $\beta_k$ ）。关键在于，真实结果 $y_t$ 在决策后才会揭示，使得内部残差（ $e_{t,0} = \hat{y}_{t,0} - y_t$ ）始终可观测。然而，外部残差仅在查询相应专家时才可观测；否则，它们保持被截断（censored）状态。
动作耦合学习：内部预测器 $f_{\theta_t}$ 在线训练。路由决策直接影响学习器的未来状态，因为查询专家会提供额外的“教师”信号（ $\hat{y}_{t,k}$ ），可用于更新内部模型。
非平稳性与动态专家能力：环境是非平稳的，专家质量随潜在机制（regimes）的转换而波动。此外，专家池是动态的；专家可能随时间进入、离开或回归。

目标是最小化期望累积路由成本，在即时预测误差与查询成本之间取得平衡，同时提升内部学习器并适应机制转换。

方法论：L2D-SLDS
作者提出了L2D-SLDS，这是一个单阶段在线框架，利用**因子化切换线性高斯状态空间模型（SLDS）**联合建模内部预测器和所有潜在外部专家的残差。

生成模型：该模型将每位专家 $k$ 的潜在可靠性分解为三个组成部分：
1. 共享全局因子 $g_t$ ：捕捉跨专家的相关性并在专家池中转移信息。
2. 专家特异性状态 $u_{t,k}$ ：捕捉特定专家的可靠性。
3. 离散机制变量 $z_t$ ：从 $M$ 个线性高斯动力学中选择，使系统能够适应专家性能的结构性变化。
  专家 $k$ 的残差被建模为可靠性向量 $\alpha_{t,k} = B_k g_t + u_{t,k}$ 的线性高斯发射。
在线推断：系统采用IMM 风格（交互多模型）两阶段滤波器：
1. 内部阶段：始终执行。它整合始终可观测的内部残差 $e_{t,0}$ 以更新共享因子 $g_t$ 和机制权重。这确保了即使未查询任何外部专家，系统也能通过共享因子更新对所有未查询专家的信念。
2. 外部阶段：仅在查询外部专家时执行。它整合观测到的外部残差，以进一步细化特定专家的状态和全局因子。
3. 注册管理：动态注册表处理专家的出生和死亡。过时专家（在 $\Delta_{max}$ 时间内不可用）通过精确边缘化进行剪枝，确保计算和内存效率，同时不影响保留专家的预测分布。
感知学习器的路由分数：路由决策由分数 $S_t(k)$ 驱动，该分数平衡三个目标：
1. 利用（Exploitation）：查询专家 $k$ 相对于内部预测器的即时超额成本。
2. 探索（信息增益）：条件互信息 $I((z_t, g_t); e_{t,k} | e_{t,0})$ ，衡量查询在内部残差已提供的信息之外，能在多大程度上减少关于潜在状态的不确定性。这通过共享因子的闭式项和机制识别的蒙特卡洛项进行近似。
3. 学习器改进：基于专家优于内部预测器的概率及其改进幅度，对内部学习器期望的一步改进进行估计。
动作耦合更新：当查询专家时，内部学习器使用教师正则化目标进行更新。教师信号的权重是自适应的，根据专家预测的可靠性、实际有用性以及与学习器的分歧来门控更新。

主要贡献

形式化：本文形式化了非平稳时间序列的单阶段在线 L2D，明确处理非对称部分反馈、动作耦合的内部学习、动态专家可用性以及咨询成本。
算法：引入了 L2D-SLDS，这是一种因子化切换线性高斯模型，支持在截断条件下的可扩展推断和跨专家信息转移。它包含一种注册表剪枝机制，保留了保留专家的边缘分布。
路由策略：提出了一种新颖的感知学习器查询分数，将潜在状态信息增益与期望的学习器改进相结合，超越了简单的成本最小化或纯探索。
理论保证：作者证明了针对时变“学习 - 延迟”比较器的神谕（oracle）遗憾分解。遗憾被分解为查询奖金预算、SLDS 预测成本误差项（ $E_{SLDS}$ ）以及内部学习器的区间动态遗憾。在特定条件下（次线性的 $E_{SLDS}$ 和经过认证的内部学习器），他们确立了次线性的实现遗憾率。
实证性能：在合成数据和现实世界基准（墨尔本、耶拿、德里）上的广泛实验表明，L2D-SLDS 优于上下文和非平稳多臂老虎机基线，同时在现实数据场景中延迟决策的比例低于 2%。

结果

合成数据：与最佳老虎机基线（0.427）相比，L2D-SLDS 实现了最低的路由成本（0.336）。消融研究证实，共享因子 $g_t$ 对于信息转移至关重要，移除它会降低性能。
现实世界基准：
- 墨尔本：L2D-SLDS 实现了 5.914 的成本，延迟率为 0.8%，优于所有老虎机基线（成本范围从 6.047 到 6.302，且延迟率更高）。
- 耶拿：L2D-SLDS 实现了 3.293 的成本，延迟率为 0.22%。值得注意的是，它是唯一一种改进非延迟内部预测器（3.297）的自适应方法，而所有老虎机基线的表现均差于非延迟基线。
- 德里（24 位专家）：L2D-SLDS 实现了 2.528 的成本，延迟率为 1.70%。最强的老虎机基线（SharedLinUCB+0）实现了 2.542，但需要 34.8% 的延迟率，突显了 L2D-SLDS 在选择高价值延迟决策方面的高效性。
消融实验：移除共享因子或将信息导向分数替换为汤普森采样会显著降低性能或增加查询率，验证了模型和评分机制的具体设计选择。

意义与主张
本文声称是首个在不对称反馈、潜在机制切换和动态专家注册表的条件下，联合训练内部学习器并在线路由至外部专家的工作。其意义在于证明残差的概率模型可以有效处理非平稳设置中专家反馈的“截断”性质，使系统能够通过共享潜在结构了解未查询的专家。作者强调，与标准老虎机方法相比，他们的方法以极低的查询率实现了具有竞争力或更优越的性能，使其适用于延迟决策代价高昂的高风险或成本敏感型应用。理论遗憾分解提供了一个模块化框架，用于理解探索、预测误差和学习器适应之间的权衡。