PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving

本文提出了 PRAM-R 框架，通过 LLM 引导的模态路由与分层记忆机制，在异步双循环设计中实现了自适应自动驾驶，在显著降低计算成本的同时保持了复杂场景下的轨迹精度。

要点

这篇论文介绍了一个名为 PRAM-R 的智能驾驶新系统。为了让你轻松理解，我们可以把自动驾驶汽车想象成一位正在开车的“超级老司机”，而 PRAM-R 就是这位老司机的大脑和感官管理系统。

1. 核心问题：为什么现在的车太“累”了？

现在的自动驾驶汽车，不管是在大晴天的高速公路上，还是在暴雨夜的复杂路口，通常都会同时开启所有传感器（摄像头、激光雷达、雷达等）。

• 比喻：这就像你开车时，不管是在白天还是黑夜，也不管路况是直路还是弯道，你都同时睁着双眼、戴着夜视仪、拿着手电筒，并且还要时刻盯着后视镜。
• 后果：虽然这样很安全，但非常浪费精力（计算资源），而且如果某个传感器（比如摄像头）被雨水挡住了，它还在拼命工作，反而干扰了判断。

2. PRAM-R 的解决方案：一位聪明的“调度员”

PRAM-R 的核心思想是：“该用什么感官，就用什么感官；不该用的，就关掉。”

它引入了一个大语言模型（LLM）作为“超级调度员”，并设计了一个四层架构（感知、推理、行动、记忆）：

A. 双速循环：快反应 vs. 慢思考

系统像人一样，有两个工作模式：

• 快反应模式（快循环）：就像你开车时手眼配合，看到红灯立刻踩刹车。这个循环速度极快，负责实时控制。
• 慢思考模式（慢循环）：就像你开车时偶尔会想：“刚才那个路口有点复杂，下次经过类似路口时，我要更小心，或者多开一会儿雷达。”这个循环速度较慢，负责分析环境、做决策、更新记忆。

B. 智能调度（模态路由）

这是 PRAM-R 最厉害的地方。那个“超级调度员”（大语言模型）会根据当前情况决定开启哪些传感器：

• 场景：大晴天的高速公路。
  • 调度员决定：只需要摄像头就够了，激光雷达可以关掉省电。
• 场景：暴雨夜的复杂路口。
  • 调度员决定：摄像头看不清了，立刻开启雷达和激光雷达，并给它们更高的信任权重。
• 比喻：这就像你走进一个房间，如果是白天，你只用眼睛看；如果是晚上，你会打开手电筒；如果房间很乱，你可能会用手去摸。PRAM-R 能自动判断什么时候该“开灯”，什么时候该“闭眼”。

C. 记忆系统：老司机不靠死记硬背

很多系统“记性”不好，每秒钟都重新分析一遍，容易反复横跳（比如传感器刚有点抖动就关掉，下一秒又打开）。
PRAM-R 有一个分层记忆库：

• 短期记忆：记住刚才这几秒发生了什么（比如“刚才雨下大了”）。
• 长期记忆：记住以前在类似路况下的经验（比如“上次在这种雾天，雷达比摄像头更靠谱”）。
• 比喻：这就像一位经验丰富的老司机，他不仅记得刚才的路况，还脑子里有一本“驾驶日记”。遇到类似情况，他直接调用过去的经验，不会反复纠结，也不会因为一点点小波动就惊慌失措。

3. 实验结果：既聪明又省电

作者做了很多测试，结果很惊人：

• 减少波动：通过“记忆”和“滞后机制”（就像门上的阻尼器，不会一推就开，一松就关），传感器开关的无效切换减少了 87.2%。这意味着系统更稳定，不会忽开忽关。
• 节省资源：在复杂的城市路况下，系统能减少 6.22% 的传感器使用量（主要是关掉那些没用的），同时还能回忆起 20% 的过往经验来辅助判断。
• 安全性：虽然少用了一些传感器，但开车的轨迹精度和以前一样好，没有变差。

总结

PRAM-R 就像是给自动驾驶汽车装上了一个会思考、有记忆、懂变通的“超级大脑”。

它不再盲目地开启所有设备，而是像一位经验丰富的老司机，根据天气、路况和传感器自身的健康状况，动态地、智能地决定“睁哪只眼”、“用什么工具”。这不仅让车开得更稳、更安全，还大大节省了电量和算力，让未来的自动驾驶更实用、更高效。

技术摘要

PRAM-R 论文技术总结

1. 研究背景与问题 (Problem)

自动驾驶系统通常依赖多模态感知（摄像头、激光雷达、毫米波雷达、高精地图）来应对复杂环境。虽然多模态融合提高了感知鲁棒性，但始终激活所有传感器会带来显著的弊端：

• 计算冗余与延迟：在简单场景（如晴朗天气的高速公路）下，全传感器激活造成了不必要的计算开销和能量消耗。
• 传感器可靠性差异：不同传感器在不同环境（如雨夜、强光、遮挡）下的可靠性不同，缺乏动态调整机制会导致性能下降。
• 现有方法的局限性：现有的模态路由方法多依赖启发式规则或注意力机制，缺乏高层推理能力；而大语言模型（LLM）虽具备推理能力，但直接应用于实时驾驶面临推理延迟高和缺乏记忆导致无法复用过往经验两大挑战。

2. 方法论 (Methodology)

论文提出了 PRAM-R（Perception-Reasoning-Action-Memory，感知 - 推理 - 行动 - 记忆）框架，旨在通过 LLM 引导的模态路由实现自适应自动驾驶。

核心架构设计

PRAM-R 采用异步双循环架构：

1. 快速反应循环 (Fast Reactive Loop)：高频运行，负责实时的感知与控制，确保低延迟响应。
2. 慢速 deliberative 循环 (Slow Deliberative Loop)：低频异步运行，负责基于 LLM 的模态选择推理、记忆更新和长期策略优化。

关键模块详解

A. 感知层 (Perception Layer) 与 LLM 路由

• 浅层感知 (Shallow Perception)：从传感器提取诊断指标（如摄像头的亮度/对比度、激光雷达的点云密度/噪声、雷达的目标密度/信噪比）及环境上下文（天气、光照、地图复杂度）。
• LLM 模态路由 (Modality Routing)：
  • 使用 Qwen3-VL-8B 作为路由核心。
  • 输入：当前传感器诊断指标 ($I_t$)、场景上下文 ($C_t$) 和上一时刻的记忆状态 ($M_{t-1}$)。
  • 输出：
    1. 可靠性评分 ($r_i$)：评估每个传感器的健康度。
    2. 场景复杂度掩码 ($u_i$)：判断当前场景需要哪些传感器。
  • 决策逻辑：
    • 结合可靠性阈值和场景复杂度，确定激活的模态集合 ($F_t$)。
    • 迟滞机制 (Hysteresis)：引入开启/关闭阈值差 ($\delta$)，防止因传感器数值微小波动导致的频繁切换（振荡）。
    • 指数移动平均 (EMA)：对权重进行平滑处理，进一步稳定输出。
• 深层感知 (Deep Perception)：根据选定的模态进行加权融合，执行目标检测和语义分割，输出结构化 JSON 数据供推理层使用。

B. 记忆架构 (Memory Architecture)

为了解决 LLM 推理延迟和缺乏长期适应性的问题，设计了四层分层记忆系统：

1. 感知记忆：短期缓存（P-Routing Context, P-Semantic Cache），存储诊断指标和融合后的感知结果。
2. 推理记忆：中期缓存（R-Scene Record, R-Seed State），存储场景理解、风险评估和策略提示，保证推理的一致性。
3. 行动记忆：记录控制指令、轨迹误差，用于反馈驱动的运动适应。
4. 长期知识库 (Knowledge Repository)：存储蒸馏后的高层场景描述和最优策略，支持持续自我改进。

C. 推理与行动层 (Reasoning & Action)

基于 PLA 框架设计，利用 LLM 将感知数据转化为语义表示，生成驾驶意图和轨迹规划，并与记忆模块耦合以进行上下文感知的决策优化。

3. 主要贡献 (Key Contributions)

1. PRAM-R 框架：首个将 LLM 引导的模态路由与分层记忆架构集成到自动驾驶流水线中的统一框架。
2. 推理驱动的路由机制：通过综合分析传感器诊断和环境上下文，动态选择并加权传感器，在计算效率与感知可靠性之间取得平衡。
3. 异步双循环设计：解耦了快速反应控制与慢速推理适应，既保证了实时性，又实现了复杂场景下的高层适应性。
4. 分层记忆模块：通过缓存路由决策、强制执行时间一致性、追踪传感器可靠性模式，显著降低了推理开销并支持长期适应。

4. 实验结果 (Results)

实验在合成压力测试和真实世界 nuScenes 数据集上进行：

• 路由稳定性 (Stability)：
  • 在合成高频扰动测试中，引入迟滞机制后，模态切换次数减少了 87.2%（从 47 次降至 6 次），有效抑制了高频振荡。
• 效率与适应性 (Efficiency & Adaptivity)：
  • 在 nuScenes 真实场景中，PRAM-R 实现了 6.22% 的模态减少率（即关闭了部分冗余传感器）。
  • 记忆召回率 (MRR) 达到 20%，表明系统有效复用了过往经验。
  • 轨迹精度：在复杂城市场景下，其轨迹预测误差 (ADE/FDE) 与全模态基线 (PLA) 相当，证明了在减少计算量的同时未牺牲安全性。
• 消融实验：
  • 移除记忆或双循环设计会导致路由稳定性 (RSI) 显著下降，且无法有效利用历史经验。
  • 完整 PRAM-R 在路由效率 (RE) 和稳定性上均优于静态融合基线。

5. 意义与未来工作 (Significance & Future Work)

• 意义：PRAM-R 证明了结合 LLM 推理与分层记忆架构，可以实现高效、自适应的多模态感知。它解决了传统方法无法动态平衡计算资源与感知质量的问题，为资源受限的自动驾驶系统提供了新的设计范式。
• 局限性：
  • 当前记忆机制的验证主要集中在核心逻辑，缺乏分层消融的量化分析。
  • 数据集规模较小，尚未在真实车辆上部署验证。
  • 使用的 Qwen3-VL-8B 模型在嵌入式硬件上存在延迟和内存开销。
• 未来方向：
  • 进行更细粒度的记忆模块消融研究。
  • 扩展至真实车辆日志和数字孪生环境进行验证。
  • 优化模型大小与推理效率，以平衡推理能力与实时性。

总结：PRAM-R 通过引入“感知 - 推理 - 行动 - 记忆”的闭环，利用 LLM 的智能决策能力动态管理传感器资源，在保持自动驾驶安全性的前提下，显著提升了系统的计算效率和环境适应性。