⚡ electrical engineering

Enhancing Information Freshness: An AoI Optimized Markov Decision Process

本文提出了一种信息年龄（AoI）优化的马尔可夫决策过程（AoI-MDP），该过程将观测延迟整合至状态空间、将等待时间整合至动作空间，以协同优化自主水下航行器的信息新鲜度与决策制定，并通过开源仿真证明了其在多自主水下航行器数据收集任务中的卓越性能。

原作者： Jingzehua Xu, Yimian Ding, Yiyuan Yang, Guanwen Xie, Shuai Zhang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingzehua Xu, Yimian Ding, Yiyuan Yang, Guanwen Xie, Shuai Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图引导一支水下机器人（AUV）团队，从散布在海底的传感器中收集数据。问题在于：海洋是一个嘈杂且艰难的环境。当机器人观察传感器时，它获取的信息在到达时往往已经“过时”。这就像试图拿着一张 10 分钟前的地图来导航迷宫；你可能会根据墙壁曾经所在的位置做出决策，而不是墙壁现在的实际位置。这种延迟会导致机器人做出错误的决策、浪费能量，并最终导致任务失败。

本文介绍了一种教导这些机器人如何思考的新方法，称为AoI-MDP。其工作原理可分解为以下简单概念：

1. 问题：“陈咖啡”效应

在旧有的方法（标准 MDP）中，机器人被教导在接收到信号的那一刻立即行动。但在深海，信号传输需要时间。等到机器人采取行动时，信息已经变成了“陈咖啡”——不再新鲜。本文认为，仅仅行动迅速是不够的；你需要知道你的信息有多旧。

2. 解决方案：“新鲜度”计（AoI）

作者引入了一个名为**信息年龄（Age of Information, AoI）**的概念。你可以将其想象为食品标签上的“新鲜度计”。

旧方法：机器人忽略过期日期。
新方法（AoI-MDP）：机器人不断检查其数据的“过期日期”。如果数据变得太旧，机器人就会意识到它对世界的看法已经模糊不清。

3. 三大变革

为了解决这一问题，研究人员从三个具体方面改变了机器人的“大脑”：

变革 #1：机器人的“记忆”（状态空间）
他们不再仅仅告诉机器人看到了什么，还告诉它何时看到的。
- 类比：想象一位司机，他不仅看到了红灯，还知道“我 5 秒前看到了这个红灯，而且信号灯可能已经变了”。现在，机器人携带的每条信息都附带一个“延迟标签”。
变革 #2：“等待”按钮（动作空间）
过去，机器人一旦收到信号就被迫立即行动。现在，机器人被允许等待。
- 类比：想象你在等公交车。如果你看到公交车还有 2 分钟到达，你不会立刻开始奔跑；你会稍作等待，以免精疲力竭。机器人学会了，有时最明智的举动是暂停，等待更新、更准确的信号后再采取行动。
变革 #3：“记分牌”（奖励函数）
机器人获得了一种新的得分方式。它不仅仅因为完成任务而得分；如果它使用了陈旧、过时的信息，它还会受到惩罚。
- 类比：这就像一款电子游戏，如果你试图使用昨天的地图来射击目标，就会扣分。要想获得高分，你必须在快速行动和确保数据新鲜之间取得平衡。

4. 测试过程

研究人员并非凭空猜测；他们运行了一个“多机器人数据收集”任务的模拟。

设置：他们将新的“感知新鲜度”机器人与旧的“即时行动”机器人进行对抗。
结果：新机器人表现优异得多。它们消耗的能量更少，收集的数据更多，犯的错误也更少。
“现实性”因素：大多数研究假设延迟是随机的（就像掷骰子）。本文使用了一个更现实的模型，基于声音和信号在水下实际传播的方式（统计延迟公式）。这就像猜测电话通话需要多长时间与实际上测量信号传输时间之间的区别。即使在使用不同类型的“噪声”或延迟进行测试时，新方法的表现依然更好。

5. 核心结论

本文得出结论，通过教导机器人关注其信息的新鲜程度，并赋予它们等待更好数据的许可，我们可以显著提高水下探索的效率。他们甚至已将模拟代码公开，以便其他研究人员可以尝试使用。

简而言之：他们不再将机器人视为拥有即时、完美视野的存在，而是开始将它们视为真正的探索者，必须考虑看清世界所需的时间。

技术摘要：通过 AoI 优化的马尔可夫决策过程提升信息时效性

问题陈述
本文解决了利用自主水下航行器（AUV）和强化学习（RL）进行水下探索任务时面临的关键挑战——观测延迟。虽然 AUV 依赖信息更新网络（IUN）进行协作，但恶劣的水下环境往往导致显著的信息限制。这些限制引发观测延迟，导致非因果控制策略，即决策基于过时的数据做出。现有方法通常将这些延迟建模为简单的随机分布或平稳随机变量，或者假设状态接收是瞬时的，这未能捕捉真实水下通信的复杂性。此外，标准策略通常假设智能体在接收到信息后立即行动（零等待策略），而研究表明，在高方差延迟场景下，该策略并非最优。核心问题在于缺乏一个能够联合优化信息时效性与决策制定，同时真实建模观测延迟的框架。

方法论
作者提出了一种专为水下任务设计的AoI 优化马尔可夫决策过程（AoI-MDP）。该框架将信息时效性（Age of Information, AoI）指标直接集成到 MDP 结构中，以管理延迟和时效性。该方法包含三个主要组成部分：

状态空间重构：与标准 MDP 不同，AoI-MDP 的状态空间（ $S$ ）在 AUV 观测信息（ $s'_i$ ）之外，明确包含了观测延迟（ $Y_i$ ）。状态定义为 $s_i = (s'_i, Y_i)$ 。为了真实地建模该延迟，本文采用**统计延迟公式（SDF）**而非简单的随机分布。SDF 利用基于传感器的模型，AUV 通过分析信号传播、反射和噪声特征（通过高斯白噪声建模）来估计环境物体的时间延迟（ $Y_i$ ）和航向（ $\beta$ ）。这使得 AUV 能够感知其观测的“时间延迟”。
动作空间扩展：动作空间（ $A$ ）被扩展以包含等待时间分量（ $Z_i$ ）。动作定义为元组 $a_i = (a'_i, Z_i)$ ，其中 $a'_i$ 是物理动作， $Z_i$ 是 AUV 在执行决策前等待的持续时间。这允许智能体优化信息更新的时机，避免在高延迟变异性场景下采用次优的零等待策略。
奖励函数集成：奖励函数（ $R$ ）被修改，将时间平均 AoI（ $-\bar{\Delta}$ ）作为惩罚项，与标准任务奖励（如效率、避障）一同纳入。时间平均 AoI 是根据观测延迟（ $Y_i$ ）与等待时间（ $Z_i$ ）之间的相互作用计算的。总奖励函数是这些分量的加权和，引导 RL 智能体在最大化任务性能的同时最小化 AoI。

该框架使用 RL 算法（实验中具体为软演员 - 评论家算法 SAC 和保守 Q 学习算法 CQL）进行训练，以实现信息更新策略与决策策略的联合优化。

主要贡献
本文声称以下贡献：

首次建模：据作者所知，这是首次将水下任务建模为明确包含观测延迟和 AoI 的 MDP，并利用 RL 对信息更新和决策制定进行联合优化的工作。
统计延迟建模：该研究没有将延迟视为简单的随机变量，而是引入了基于传感器模型的统计延迟公式（SDF）。这种方法将观测延迟建模为“延迟观测时间延迟”，旨在产生更真实的结果，弥合仿真与真实水下任务之间的差距。
联合优化：该框架成功地将等待时间集成到动作空间中，并将 AoI 集成到奖励函数中，展示了平衡多目标优化（时效性与任务效率）的能力。

实验结果
所提出的 AoI-MDP 通过多 AUV 数据收集场景下的广泛仿真进行了验证。主要发现包括：

与标准 MDP 的性能对比：与标准 MDP（无延迟感知或等待时间）相比，AoI-MDP 实现了更低的时间平均 AoI、更低的能耗、更高的总信息率以及更大的累积奖励。
泛化能力：该框架在不同延迟模型（泊松分布、指数分布、几何分布）下表现出强大的泛化能力，基于 SDF 的方法在 AoI、信息率和能耗指标上产生了接近最优的结果。
算法兼容性：该方法成功应用于在线（SAC）和离线（CQL）RL 算法，在两种上下文中均显示出有利的训练结果。
轨迹效率：AUV 轨迹的视觉分析表明，与标准 MDP 策略生成的杂乱且效率较低的轨迹相比，在 AoI-MDP 下训练的策略实现了更广泛的覆盖和更有效的数据收集。

意义与主张
本文将 AoI-MDP 定位为水下机器人标准 MDP 框架的必要演进。作者认为，扩展 MDP 以纳入观测延迟和 AoI 至关重要，因为在存在信道限制和高更新频率的实际场景中，状态瞬时接收的理想化假设并不成立。通过最小化 AoI，该框架提升了信息时效性，从而在存在观测延迟的情况下促进了更高效的决策过程。作者得出结论，该方法在有效最小化 AoI 的同时，在水下任务中展现出卓越的性能，并且他们已发布仿真代码作为开源资源，以加速该领域的进一步研究。