🤖 machine learning

DGLight: DQN-Guided GRPO Fine-Tuning of Large Language Models for Traffic Signal Control

本文介绍了 DGLight，这是一个新颖的框架，它利用深度 Q 网络评论家来引导组相对策略优化，从而对预训练的大型语言模型进行微调以用于交通信号控制，最终实现了一个在基于大型语言模型的控制器中达到最先进性能并提供可解释推理轨迹的系统。

原作者： Chenbo Yu

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenbo Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个繁忙的城市十字路口，它就像一个混乱的舞池。汽车是舞者，试图进出舞池，但如果每个人都试图同时跳舞，他们就会互相碰撞，造成交通堵塞。“交通信号控制器”就是那位决定谁可以跳舞（通行）以及谁必须等待（停止）的 DJ。

长期以来，DJ 们主要使用两种方法：

节拍器 DJ（固定时间）：无论舞池里有多少人，他们每 30 秒就播放相同的节拍。这很简单，但如果一大群人涌入，他们就无法适应。
经验丰富的真人 DJ（传统强化学习）：这位 DJ 观察人群并从错误中学习。他们随着时间推移变得更好，但他们通常是“黑盒”。你无法询问他们为什么选择了特定的节拍，而且如果你将他们换到另一家俱乐部（另一个城市），他们可能会感到困惑，因为他们学会了第一家俱乐部的特定氛围。

引入 DGLight：拥有“资深教练”的“智能实习生”

这篇论文介绍了DGLight，这是一种利用大型语言模型（LLM）——本质上是一种擅长写作和推理的超级智能 AI——来训练交通信号控制器的新方法。

以下是 DGLight 的工作原理，使用一个简单的类比：

1. 学生（LLM）

将 LLM 想象成一位才华横溢的实习生，他们可以撰写详细的报告，解释为什么做出某个决定。“我看到东向车道拥堵，所以我会让东向交通通行。”这很好，因为与“黑盒”DJ 不同，你可以阅读实习生的笔记并理解他们的逻辑。然而，这位实习生对交通是新手；他们知道如何写作，但不知道如何驾驶城市。

2. 教练（DQN 评论家）

为了教导这位实习生，研究人员聘请了一位“资深教练”。这位教练是一位传统 AI（基于称为 CoLight 方法的深度 Q 网络），它已在特定城市（杭州）花费数年观察交通。这位教练是专家，确切知道哪个信号相位能立即减少拥堵。

3. 训练营（两阶段过程）

DGLight 的魔力发生在两个阶段：

阶段 1：教练获得认证。 首先，资深教练在真实交通数据上进行训练，直到它成为预测最佳信号选择的专家。
阶段 2：实习生向教练学习。 现在，实习生（LLM）开始练习。
- 实习生观察交通状况并制定计划：“我认为我们应该让北向交通通行，因为……"
- 实习生不需要等待交通是否真正疏通（这需要很长时间且学习缓慢），教练会立即查看实习生的计划并给出评分。“好计划，+10 分！”或“坏计划，-5 分。”
- 实习生利用这些分数进行学习。因为教练对每一个可能的动作（而不仅仅是实际发生的那个）都给出评分，所以实习生学得更快、更深入。

这有什么特别之处？

1. 它说人话（可解释性）
大多数交通 AI 只输出一个数字（例如，“切换到相位 2"）。DGLight 输出一句话：“我切换到相位 2，因为东向车道有很长的排队。”这就像拥有一位能用通俗英语解释其推理的交通控制员。

2. 它是聪明的通才（可迁移性）
通常，如果你在 A 城训练交通 AI，它在 B 城就会失败。但因为 DGLight 学习的是交通的逻辑（如何推理排队和延误），而不仅仅是死记硬背 A 城的街道，所以它在教练从未见过的全新城市（如济南）中也能表现得出奇地好。这就像一位实习生学会了人群控制的原则，因此他们可以在新城市管理派对，而无需重新学习一切。

3. 它胜过旧派
该论文将 DGLight 与旧的“节拍器”方法和“经验丰富的真人 DJ"方法进行了测试。

结果：在所有使用语言的 AI 方法中，DGLight 表现最佳。
结果：它与最强的传统交通 AI 一样好，有时甚至更好，但额外的好处是能够解释其决策。

他们没有做什么？

该论文非常谨慎地说明了这不是什么。

它不是能永远解决所有交通问题的魔杖。
它尚未在现实世界的实时交通中进行测试（仅在模拟中测试）。
“教练”是在一个城市训练的，但“实习生”学会了泛化。论文指出，虽然实习生在新城市中表现良好，但它并不完美，系统仍然依赖于教练的初始训练。

核心结论

DGLight 是一个系统，它通过让一个聪明、会说话的 AI 在传统交通专家的监督下练习，来教导其如何控制交通信号灯。其结果是一个控制器，它既像专家一样聪明，又能告诉你它为什么做出选择，使其成为管理城市交通的更值得信赖、更灵活的工具。

以下是论文《DGLight：基于 DQN 引导的 GRPO 大语言模型微调用于交通信号控制》的详细技术总结。

1. 问题陈述

交通信号控制（TSC）对于缓解城市拥堵至关重要。虽然传统方法（固定配时、最大压力）缺乏适应性，而强化学习（RL）方法（如 CoLight、MPLight）在泛化能力和可解释性方面存在困难，但大语言模型（LLM）凭借其推理能力和生成可解释文本的能力，提供了一种有前景的替代方案。

然而，将 LLM 应用于 TSC 面临两个主要挑战：

领域适应：标准 LLM 缺乏特定的交通动态知识，导致决策次优。
奖励稀疏性与可解释性：传统 RL 依赖于稀疏的、累积的环境奖励（例如整个回合的总延迟减少量），LLM 难以直接优化这些奖励。此外，端到端的 LLM 微调往往缺乏学习复杂交通策略所需的、针对特定状态的密集监督信号。

本文提出了 DGLight，这是一个通过基于价值的评论家（critic）引导 LLM 微调的框架，使 LLM 能够从密集的、感知交通的动作价值中学习，同时生成可解释的推理。

2. 方法论：DGLight 框架

DGLight 采用了一个两阶段强化学习流程，将深度 Q 网络（DQN）评论家与组相对策略优化（GRPO）相结合。

第一阶段：基于 CoLight 的 DQN 评论家训练

目标：训练一个价值估计器，为信号相位决策提供密集的、感知交通的动作价值。
架构：基于 CoLight，这是一种图注意力模型，能够捕捉路口之间的网络级协作。
过程：
- 评论家观察结构化的交通状态（车道排队长度、延迟）。
- 它为每个路口的所有允许信号相位输出 Q 值向量（ $Q(s, a)$ ）。
- 它使用标准的贝尔曼误差最小化配合经验回放进行训练。
作用：该评论家作为一个“冻结”的教师，根据复杂的空间和时间交通背景评估任何潜在信号动作的质量，提供比原始环境奖励更丰富的信号。

第二阶段：基于 GRPO 的 LLM 微调

输入：LLM（基于 Llama3-8b）接收一个文本提示，总结了交通状态、任务描述和可用信号相位。
采样：对于每个提示，策略采样一组 $k$ 个候选响应（推理轨迹 + 信号决策）。
解析与评分：
- 解析每个响应以提取提议的信号相位。
- 冻结的 DQN 评论家使用其预训练的 Q 值（ $Q(s, a)$ ）对每个候选动作进行评分。
- 无效动作获得固定的回退奖励。
优化（GRPO）：
- 与 PPO 使用单独的价值模型不同，DGLight 使用 组相对策略优化（GRPO）。
- 优势值是通过比较同一组内 $k$ 个采样响应的评论家评分计算得出的。
- 策略被更新以最大化相对优势，从而有效地将评论家的交通知识转移到 LLM 的推理和决策过程中。

3. 主要贡献

统一框架：提出了 DGLight，这是首个将基于价值的交通评论家（CoLight-DQN）与通过 GRPO 进行的 LLM 微调统一的框架。它允许 LLM 从密集的、每状态的动作价值中学习，而不是从稀疏的累积奖励中学习。
可解释策略：该系统训练 LLM 输出有效的信号决策和人类可读的 推理轨迹（例如，分析排队长度和邻近交通），弥合了性能与可解释性之间的差距。
实证验证：在标准基准（济南和杭州数据集）上进行了全面实验，表明 DGLight 优于现有的基于 LLM 的控制器，并且与最先进的 RL 基线保持竞争力。
可迁移性：表明该方法能很好地泛化到未见过的城市数据集（例如，在 Hangzhou-1 上训练并在 Jinan 上测试），这表明 LLM 学习的是可泛化的交通推理模式，而不是过拟合特定城市数据。

4. 实验结果

该研究对 DGLight 进行了评估，对比对象包括：

传统方法：FixedTime、MaxPressure。
RL 基线：MPLight、CoLight、PressLight 等。
LLM 基线：LightGPT、JS-GRPO 变体。

主要发现：

性能：DGLight 在大多数指标（平均行驶时间、平均排队长度、平均等待时间）上，在所有基于 LLM 的控制器中取得了 最佳整体性能。
与 RL 的比较：尽管增加了推理生成的复杂性，DGLight 仍与强大的 RL 基线（如 CoLight 和 Advanced-CoLight）保持竞争力，甚至在某些指标上优于它们。
可迁移性：与 RL 基线和其他 LLM 方法相比，DGLight 表现出对未见城市的优越可迁移性，表明其具有鲁棒的泛化能力。
消融实验：
- 从基础 LLM（Llama3-8b）迁移到交通适配模型（LightGPT）带来了最大的提升。
- 添加 评论家引导的 GRPO 提供了进一步的显著增益，证实了密集奖励信号的价值。
可解释性：定性分析证实，生成的推理轨迹与所选的信号相位在逻辑上是一致的（例如，优先处理排队最长的车道）。

5. 意义与未来工作

意义：

弥合差距：DGLight 成功证明了 LLM 可以被有效地适应于像 TSC 这样的复杂控制任务，同时不牺牲使其独特的可解释性。
高效训练：通过使用冻结的评论家生成密集奖励，该方法避免了使用稀疏环境奖励训练 LLM 时的不稳定性。
现实世界适用性：模型决策的可解释性解决了 AI 在交通管理中实际部署的关键障碍，在该领域问责制和可解释性至关重要。

未来方向：

Token 级奖励分配：细化奖励信号，以区分格式 Token 和关键推理/决策 Token，从而提高训练效率。
MLLM 风格架构：超越文本序列化状态，转向多模态 LLM（MLLM）方法，配备专用的交通情境编码器，以更好地捕捉道路网络中的空间和数值关系。

总之，DGLight 代表了将生成式 AI 应用于城市基础设施的重要一步，证明了当由稳健的基于价值的评论家引导时，LLM 可以学习高性能、可解释的控制策略。