⚡ electrical engineering

Active Inference for Adaptive Traffic Signal Control in Noisy Nonstationary IoT Environments

本文提出了一种用于自适应交通信号管理的具有可追溯性的主动推理控制器，该控制器通过最小化期望自由能以减少空闲时间和二氧化碳排放，在噪声和非平稳的物联网环境中表现优于基于规则的启发式算法和深度强化学习。

原作者： Dénes Toth, George Ambroladze, Edwin Sundberg, Ali Beikmohammadi, Alfreds Lapkovskis

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Dénes Toth, George Ambroladze, Edwin Sundberg, Ali Beikmohammadi, Alfreds Lapkovskis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个繁忙的城市路口就像一个巨大的、混乱的厨房：汽车是食材，交通灯是厨师，而目标是尽可能快地让大家“吃饱”（移动），同时又不至于“烧焦食物”（造成污染或事故）。

这篇论文介绍了一种新型的交通灯“聪明厨师”，被称为主动推理（Active Inference, AIF）。以下是它的工作原理、测试方法以及研究发现，通过简单的语言进行解释。

问题所在：厨房里雾气昭昭且混乱不堪

在现实世界中，交通传感器（如摄像头或雷达）并不完美。它们会被大卡车遮挡，会被暴雨干扰，或者干脆漏掉某些车辆。这就像一位厨师戴着一副模糊的眼镜在烹饪，还要应对那些不断更改订单的顾客。

旧规则： 传统的交通灯遵循严格的食谱（例如，“绿灯 30 秒，然后红灯”）。当厨房变得疯狂时，它们无法进行调整。
“黑盒”学习者： 新型的 AI 系统（称为深度强化学习或 DQN）就像一位练习过数千次烹饪的副厨。如果是在完全相同的厨房里操作，它们表现得非常出色。但如果雾气变浓了，或者突然有个顾客点了奇怪的东西，它们可能会感到困惑。此外，没人知道它们为什么做出特定的选择，它们只是照做而已。

解决方案：“好奇心强的厨师”（主动推理）

作者提出了一种基于主动推理的新型厨师。这位厨师不仅仅是背诵食谱或根据以往的经验进行猜测，而是利用一种特殊的心理模型，不断询问两个问题：

“我想看到什么？”（实用价值）： “我希望看到交通车流变短，空气变得更清新。”
“我需要学习什么？”（认识价值）： “因为雾气太重，我不确定发生了什么。我应该切换一下信号灯，以便更好地观察街道的另一侧。”

这位厨师试图最小化一个被称为**“预期自由能”（Expected Free Energy）的概念。你可以将其理解为“困惑度评分”**。厨师会做出旨在降低困惑度并使其接近目标（交通顺畅）的选择。

最棒的部分是： 与“黑盒”AI 不同，这位厨师会写日记。你可以查看日记，并清楚地看到他们为什么要切换灯光：“我切换了灯光，是因为我担心看不清北侧的情况，所以我通过变换灯光来检查。”

实验：模拟厨房

研究人员构建了一个数字交通模拟系统（一个虚拟厨房），包含一个四路交叉路口。他们测试了三位厨师：

循规蹈矩者： 坚持固定的时间表。
受训 AI (DQN)： 通过在模拟器中练习了数小时来进行学习。
好奇心强的厨师 (AIF)： 使用上述“困惑度评分”法。

他们通过四个难度等级运行了模拟：

等级 1： 天气晴朗，交通正常。
等级 2： 传感器被大卡车遮挡（遮挡现象）。
等级 3： 开始下暴雨（天气因素）。
等级 4： 一辆车发生碰撞并堵塞了道路，同时伴随着暴雨和传感器被遮挡（“完美风暴”）。

结果：谁做得最好？

1. 在平静条件下（等级 1 和 3）：
受训 AI (DQN) 让车辆移动的速度略快。它针对这个特定场景进行了大量练习，熟悉了食谱。好奇心强的厨师 (AIF) 表现也几乎一样好，只是没有最快。

2. 在“完美风暴”中（等级 4）：
这是好奇心强的厨师 (AIF) 大获全胜的地方。

空闲时间： 好奇心强的厨师总共让车辆等待了 56,977 秒。而受训 AI 让车辆等待了 71,741 秒。这是一个巨大的差距。
污染： 好奇心强的厨师产生的二氧化碳排放量更少。
为什么？ 当传感器变得混乱且发生车祸时，受训 AI 感到困惑，因为它没有针对这种特定的灾难组合进行过练习。然而，好奇心强的厨师旨在处理不确定性。它意识到：“我不知道发生了什么，所以我需要收集更多信息并进行调整，”这让交通保持了更好的流动。

3. 权衡取舍：
好奇心强的厨师并非完美无缺。

公交优先： 与其他厨师相比，它在让公交车快速通过方面表现稍逊。因为它专注于通过减少整体困惑度来优化交通，所以有时会忽略相反方向等待的一辆单辆公交车。
切换灯光： 它切换灯光的频率更高。虽然这有助于它收集信息，但与稳定的“循规蹈矩者”相比，它可能会显得有些“跳跃”。

核心结论

这篇论文表明，虽然“经过训练的”AI 在可预测的情况下表现出色，但一个能够主动理解不确定性的**“好奇心强的厨师”**在情况恶化（如恶劣天气或事故）时表现得更好。

好奇心强厨师最大的优势是透明度。如果交通管理员问：“你为什么把灯变红了？”好奇心强的厨师可以逐步解释其推理过程。而受训 AI 只会说：“因为我的大脑让我这么做，”在事情出错时，这种解释很难让人信任。

简而言之：当交通世界平静时，训练有素的专家获胜；当世界变得混乱且不可预测时，一个好奇且具有自我意识的系统则会胜出。

技术摘要：面向噪声非平稳 IoT 环境的自适应交通信号控制主动推理研究

1. 问题陈述

城市交通信号控制在实际部署中面临重大挑战，其传感器数据往往是不完整的、有噪声的，并且受到非平稳需求模式的影响。传统的基于规则的控制器在不可预测的条件下缺乏灵活性，而深度强化学习（DRL）方法虽然强大，但需要大量的训练数据，且存在“黑盒”可解释性问题，难以进行审计。此外，交叉口处的现实 IoT 感知容易受到传感器遮挡（例如重型车辆）、恶劣天气衰减以及随机基础设施中断（例如事故）的影响。本文旨在解决开发一种能够在这些噪声、部分可观测条件下保持有效，并提供可追溯决策过程的交通信号控制器。

2. 方法论

作者提出了一种用于四臂信号交叉口的**主动推理（AIF）控制器。与将感知与行动分离的标准控制范式不同，AIF 将两者统一为最小化预期自由能（EFE）**的过程。

核心框架

智能体在离散时间步 $t$ 运行，基于观测值 $o_t$ 维持对隐藏状态 $s_t$ （交通拥堵水平）的近似后验信念 $q(s_t)$ 。策略 $\pi$ 通过选择动作（相位：南北向或东西向绿灯）来最小化 EFE，其定义为：
$G(\pi) \triangleq -[PV(\pi) + \lambda EV(\pi)]$
其中：

实用价值 ($PV$)： 奖励符合偏好的观测结果（例如，低拥堵、低排放）。
认识价值 ($EV$)： 奖励能够减少关于隐藏状态不确定性的观测（探索）。
$\lambda$ ： 平衡这两项价值的权重常数。

系统实例化

状态空间： 隐藏状态被离散化为每个方向（NS 和 EW）的六个拥堵等级（从“极低”到“拥堵”）。
观测值： 包含噪声车辆计数、累积 $CO_2$ 排放量和公交车计数的向量。观测模型是状态相关的多元高斯分布。
转移动力学： 两个手动指定的转移矩阵（ $T_{red}$ 和 $T_{green}$ ）编码了“绿灯相位减少拥堵，红灯相位增加拥堵”的直觉。
噪声建模： 实验环境模拟了现实中的 IoT 失效情况，包括：
- 传感器遮挡： 重型车辆阻挡检测。
- 天气衰减： 恶劣天气期间检测概率降低。
- 随机事故： 随机阻塞导致交通流冻结。

对比基准

AIF 控制器与以下模型进行了基准测试：

基于规则的启发式算法： 使用固定奖金（针对公交车和主干道偏差）的优先级评分系统。
深度 Q 网络 (DQN)： 一种标准的 DRL 智能体，通过经验回放和 $\epsilon$ -greedy 探索进行训练，针对相同的奖励函数（最小化空闲时间、排放量和公交载荷）进行优化。

3. 核心贡献

本文做出了三个主要贡献：

仿真环境： 设计了一个基于 SUMO 的仿真环境，模拟了包含传感器遮挡、天气衰减和随机事故在内的噪声、非平稳 IoT 感知条件。
AIF 控制器开发： 实现了一个 AIF 控制器，通过最小化关于拥堵、排放和公共交通存在的高斯信念的 EFE 来动态选择信号相位。
全面评估： 在四个逐渐增加环境干扰程度的场景（从清洁数据到全噪声/事故）下进行了严格对比，并在 100 个独立的随机种子下分析了效率、排放和策略稳定性之间的权衡。

4. 实验结果

实验在每个场景下持续 3,600 秒的仿真时间。主要发现如下：

高干扰情况下的表现（场景 4）：
- 空闲时间： AIF 实现了最低的累计空闲时间（56,977 s），而 DQN（71,741 s）和基于规则的方法（72,247 s）均高于此值。
- 排放量： AIF 产生了最低的总 $CO_2$ 排放量（29.12 kg），对比 DQN（30.56 kg）和基于规则的方法（31.53 kg）。
- 鲁棒性： 即使在噪声最大的场景中，AIF 仍保持了比 DQN 更低的平均空闲时间，而 DQN 的性能在完全干扰下显著下降。
低干扰情况下的表现（场景 1–3）：
- DQN 在场景 1 和 3 中通常优于 AIF（例如，场景 3 中空闲时间分别为 5,305 s 和 7,287 s），这可能是由于特定场景的预训练导致的。
- AIF 在场景 2 中优于 DQN（7,341 s vs. 8,385 s）。
- 在所有场景中，AIF 和 DQN 都显著优于基于规则的方法（大约减少了一半的累计空闲时间）。
权衡关系：
- 公交优先： 与 DQN（84.6–89.7%）和基于规则的系统相比，AIF 的公交优先服务率较低（80.5–82.0%）。这归因于实用价值函数优先考虑整体拥堵减少而非特定车辆类型，因为公交车在总交通量中占比很小。
- 相位切换： AIF 的相位切换频率更高（261–278 次），而 DQN（177–266 次）或基于规则的系统较低，这表明其对不确定性的响应更加动态。
稳定性： AIF 在场景 1 和 2 中表现出更低的空闲时间方差（标准差），而 DQN 在场景 3 和 4 中表现出更紧凑的分布。

5. 重要性与主张

本文声称，对于具有部分可观测性和非平稳性的环境，主动推理为自适应交通控制提供了一种原则性的替代方案。

零样本泛化： 与需要针对特定场景进行大量预训练的 DQN 不同，AIF 控制器无需预训练阶段即可运行。其在噪声环境下达到或超过 DQN 性能的能力（且无需特定场景训练），表明 EFE 目标函数中的认识价值项为处理不确定性提供了结构性优势。
可审计性： 一个显著的优势是 AIF 流水线的可追溯性。从后验信念到 EFE 的具体组成部分（实用价值 vs. 认识价值），每一个阶段都是显式且可检查的。这解决了与 DRL 相关的“黑盒”验证挑战，允许操作员理解为什么选择了特定的相位。
可行性： 结果表明，AIF 是强化学习在自适应交通控制领域的一个可行替代方案，能够在平衡多个目标（延迟、排放、公共交通）的同时，对传感器降级和随机干扰保持鲁棒。

作者得出结论，尽管 AIF 在牺牲了一定的公交优先度和增加了相位切换频率，但其在噪声、非平稳 IoT 环境中的鲁棒性和可解释性使其成为下一代智能交通系统的有力竞争者。未来的工作建议将该框架扩展到多路口网络和硬件在环部署。