A Reference Architecture of Reinforcement Learning Frameworks

该论文针对强化学习框架缺乏统一参考架构的问题，基于对 18 个主流框架的扎根理论分析，提出了一套包含核心组件及其关系的参考架构，并以此重构典型模式、识别技术趋势以指导框架改进。

要点

这篇论文就像是为强化学习（Reinforcement Learning, RL） 这个复杂领域绘制的一张"通用建筑蓝图"。

想象一下，强化学习就像是在教一个机器人小孩（Agent）通过“试错”来学会走路或玩游戏。为了教好这个小孩，我们需要很多工具：有教它的老师（算法）、有它练习的操场（环境）、有记录它表现的本子（数据），还有安排整个训练计划的教练（框架）。

但在过去，不同的团队造出的“训练系统”五花八门，有的叫“操场”，有的叫“框架”，大家用的术语和结构都不一样，导致想互相借用工具时非常困难，就像试图把乐高积木和磁力片拼在一起一样别扭。

这篇论文的作者（来自麦克马斯特大学）分析了 18 个目前最流行的开源强化学习系统，试图找出它们共同的“骨架”，并画出了一张参考架构（Reference Architecture）。

为了让你更容易理解，我们可以把整个强化学习系统想象成经营一家“机器人特训营”：

1. 特训营的四大核心部门（架构的四个主要部分）

作者把整个系统分成了四个大部门，每个部门都有明确的职责：

A. 训练营总指挥部 (The Framework)

• 角色：这是给人类教练（开发者）用的界面。
• 功能：它负责安排课程表。比如，决定今天练什么动作、调什么参数、要不要比赛一下谁练得好。
• 比喻：就像学校的教务处。它不直接教学生，但它决定“今天上数学课还是体育课”，“谁来教”，“什么时候考试”。
  • 实验编排器：安排具体的训练任务。
  • 超参数调节器：自动寻找最佳的教学难度（比如把跑步速度从 5km/h 调到 6km/h）。
  • 基准测试经理：把不同的训练方法放在一起比一比，看谁更强。

B. 核心训练场 (The Framework Core)

• 角色：这是特训营的心脏，负责让训练真正动起来。
• 功能：它连接了“学生”和“操场”，控制着训练的每一个步骤。
• 比喻：就像体育老师和训练循环。
  • 生命周期管理器：体育老师喊“开始跑”、“停止”、“记录成绩”。它控制着学生和环境互动的节奏。
  • 多智能体协调员：如果是一群机器人一起练（比如足球赛），这个部门负责协调大家怎么配合，谁传球给谁。
  • 分布式执行协调员：如果训练量太大，一个教室装不下，它负责把学生分到不同的教室（不同的电脑或服务器）去练，然后汇总成绩。

C. 机器人学生 (The Agent)

• 角色：这就是那个正在学习的小机器人。
• 功能：它负责看、想、做决定。
• 比喻：就像学生的大脑和记忆。
  • 函数近似器（大脑）：这是它的“直觉”或“策略”。比如看到红灯（状态），它决定踩刹车（动作）。
  • 缓冲区（记忆本）：它把刚才发生的“踩了刹车没撞车”或者“闯红灯被罚了”记在小本本上。
  • 学习者（老师）：它翻看小本本，总结教训，更新大脑里的策略，下次做得更好。

D. 虚拟操场 (The Environment)

• 角色：这是机器人练习的地方。
• 功能：它模拟真实世界，给机器人反馈（比如撞墙了会疼，吃到金币会开心）。
• 比喻：就像模拟驾驶游戏或物理沙盒。
  • 环境核心：操场的规则（比如重力是多少，墙在哪里）。
  • 模拟器：真正的物理引擎，计算车子撞墙会怎么飞出去。
  • 适配器：翻译官。把机器人的动作（“向左转”）翻译成模拟器能听懂的指令，再把模拟器的反馈（“你撞墙了”）翻译回机器人能懂的数据。

E. 后勤与记录组 (Utilities)

• 角色：负责存数据和看监控。
• 功能：
  • 数据持久化：就像存盘功能。如果电脑坏了，能从这里恢复进度，或者保存训练好的模型。
  • 监控与可视化：就像监控摄像头和成绩单。它把训练过程画成图表，让人类教练一眼看出机器人是不是在进步。

---

2. 这张蓝图有什么用？（为什么要画这张图？）

作者通过这张图，解决了三个大问题：

1. 统一语言（不再鸡同鸭讲）：
   以前，A 团队说的“环境”可能包含了 B 团队说的“模拟器”。现在大家有了统一的“字典”，知道“哦，原来你那个叫‘生命周期管理器’的东西，就是我们要找的‘体育老师’"。

2. 像搭积木一样设计系统：
   以前开发一个新框架，可能要从头造轮子。现在，开发者可以看着这张蓝图说：“我的系统缺个‘多智能体协调员’，我去找个现成的模块拼上去就行。”这大大降低了开发难度。

3. 诊断问题更精准：
   如果机器人学不会，以前很难知道是“操场”太假了，还是“学生”太笨，或者是“老师”教错了。现在有了蓝图，我们可以像医生看解剖图一样，精准定位是哪个部门出了问题。

3. 论文发现的有趣现象

• “环境”和“框架”是互补的：有些软件（如 Gymnasium）只负责造“操场”，有些软件（如 RLlib）只负责当“总指挥部”和“老师”。最好的特训营通常是把这两类软件结合起来用。
• 大家都爱用“外援”：很多核心功能（比如存数据、调参数）大家都不自己写，而是直接借用成熟的第三方库（就像学校直接买现成的体育器材，而不是自己造）。这说明开源生态非常重要。

总结

这篇论文就像是给强化学习领域画了一张标准化的“城市地图”。

在地图画出来之前，大家在不同的城市里迷路，不知道路名，不知道哪里是公园，哪里是医院。现在，这张地图告诉所有开发者：

• 这里是训练场（Environment）；
• 那里是指挥部（Framework）；
• 中间是学习的大脑（Agent）。

有了这张地图，未来的强化学习软件将更容易建造、更容易理解，也更容易把不同的技术组合在一起，创造出更强大的 AI。

技术摘要

论文标题：强化学习框架参考架构 (A Reference Architecture of Reinforcement Learning Frameworks)

作者：Xiaoran Liu, Istvan David (McMaster University)
发表会议：ICSA 2026 (已录用)

---

1. 研究背景与问题 (Problem)

随着强化学习（RL）在数字孪生、模型驱动工程及机器人等领域的广泛应用，支持性的 RL 框架（如 Gymnasium, RLlib, Stable Baselines3 等）迅速涌现。然而，当前 RL 领域存在以下核心问题：

• 架构不一致性：不同框架的组件组织方式和架构模式差异巨大，缺乏统一标准。
• 术语模糊：在工程实践中，“环境（Environment）”、“模拟器（Simulator）”、“框架（Framework）”和“系统（System）”之间的界限模糊不清。例如，CARLA 常被称为环境，而 Dopamine 常被称为算法库，导致概念混淆。
• 缺乏参考架构（RA）：目前不存在一个通用的参考架构来作为比较、评估和集成不同 RL 框架的共同基础。这阻碍了解决方案的复用，增加了学习曲线，并给生产级系统的质量保证、依赖管理和认证带来了挑战。
• 现有工作局限：之前的研究多关注特定算法架构、分布式 RL 的抽象或特定工具包的设计决策，缺乏对现有开源实现进行系统性解构的通用参考架构。

2. 研究方法 (Methodology)

为了构建一个基于实证的参考架构，作者采用了**扎根理论（Grounded Theory, GT）**方法，这是一种从数据中归纳生成理论的定性研究方法。

• 数据收集：分析了 18 个 广泛使用的开源 RL 框架（涵盖单智能体、多智能体、分布式训练等不同场景，如 Gymnasium, PettingZoo, RLlib, Acme, Stable Baselines3 等）。
• 编码过程：采用 Strauss-Corbin 风格的扎根理论，分为三个阶段：
  1. 开放式编码 (Open Coding)：审查源代码、配置文件和文档，将实现细节标记为概念标签（如 Algorithm, Optimizer, Learner）。
  2. 轴向编码 (Axial Coding)：将相关标签聚类为架构组件，识别组件间的交互关系（例如，将 Algorithm, Optimizer, Learner 聚合成 Agent 组件）。
  3. 选择性编码 (Selective Coding)：整合组件，形成关于 RL 框架架构的完整理论，涵盖环境设计、模拟器集成、智能体交互及训练编排。
• 饱和度验证：通过迭代分析，在分析约 65% 的语料库后达到理论饱和度（即新数据不再产生新见解），最终确认 18 个框架的分析结果具有代表性。
• 专家验证：通过结构化访谈收集了 5 位 RL 领域专家（研究人员和从业者）的反馈，验证架构的准确性和实用性（共鸣性）。

3. 关键贡献：参考架构 (Key Contributions & The RA)

论文提出了一个包含 4 个主要组件组 和 28 个具体组件 的 RL 框架参考架构（如图 1 所示）：

A. 框架层 (Framework)

负责用户交互和实验管理。

• 实验编排器 (Experiment Orchestrator)：
  • 实验管理器 (Experiment Manager)：设置实验，管理持久化和监控，委托执行。
  • 超参数调优器 (Hyperparameter Tuner)：自动化搜索最优超参数（如使用 Optuna, Ray Tune）。
  • 基准测试管理器 (Benchmark Manager)：在一致设置下比较不同算法。

B. 框架核心 (Framework Core)

协调学习过程，包含编排器和智能体。

• 框架编排器 (Framework Orchestrator)：
  • 生命周期管理器 (Lifecycle Manager)：控制训练/评估循环，管理智能体与环境的交互（如 Acme 的 EnvironmentLoop 或 RLlib 的调度模式）。
  • 配置管理器 (Configuration Manager)：加载和验证配置（YAML/JSON/CLI），常用工具如 Hydra。
  • 多智能体协调器 (Multi-Agent Coordinator)：管理多智能体间的策略分配、联合动作构建及通信。
  • 分布式执行协调器 (Distributed Execution Coordinator)：在多台机器/设备上部署组件（如 Ray Core, Launchpad）。
• 智能体 (Agent)：实现 RL 算法的核心。
  • 函数近似器 (Function Approximator)：编码决策机制（策略网络或价值网络）。
  • 学习器 (Learner)：根据学习信号更新函数近似器（计算梯度或 TD 误差）。
  • 缓冲区 (Buffer)：存储经验数据（如 On-policy 的 Rollout Buffer 或 Off-policy 的 Replay Buffer）。

C. 环境 (Environment)

智能体交互的虚拟世界。

• 环境核心 (Environment Core)：暴露控制接口，处理动作、观测和奖励计算。包含动作管理器、观测管理器和奖励管理器。
• 模拟器 (Simulator)：执行物理或逻辑机制（如 MuJoCo, Box2D, 3D 引擎）。
• 模拟器适配器 (Simulator Adapter)：连接环境核心与底层模拟器，转换动作指令和仿真轨迹。

D. 工具 (Utilities)

提供辅助服务。

• 数据持久化 (Data Persistence)：
  • 检查点管理器 (Checkpoint Manager)：保存/恢复实验状态（参数、缓冲区内容）。
  • 环境参数管理器 (Env. Parameter Manager)：管理随时间变化的环境参数（如课程学习难度）。
• 监控与可视化 (Monitoring & Visualization)：
  • 渲染器 (Renderer)：生成视觉帧。
  • 记录器 (Recorder)：录制视频。
  • 日志记录器 (Logger)：记录原始数据。
  • 报告器 (Reporter)：生成人类可读的总结（如 TensorBoard）。

4. 研究结果与发现 (Results & Findings)

• 架构模式重构：作者利用该 RA 成功重构了多种经典 RL 模式，包括：
  • 离散策略梯度 (Discrete Policy Gradient)
  • Q-learning (值函数方法)
  • 优势演员 - 评论家 (Advantage Actor-Critic, A2C)
  • 多智能体强化学习 (MARL，集中式学习)
• 组件实现趋势：
  • 在分析的 18 个框架中，约 50% 的 RA 组件被显式实现，另外 50% 缺失或隐含。
  • “环境”类系统（如 Gymnasium）主要实现环境组组件（覆盖率 98.2%）。
  • “框架”类系统（如 RLlib, Acme）主要实现智能体和框架编排器组件（覆盖率 83.3%）。
  • 这表明“环境”和“框架”在功能上是互补的，复杂系统通常需要集成两者。
• 外部库的依赖：
  • 约 48.8% 的组件是显式实现的，18.7% 通过外部库实现（如 Hydra 用于配置，Ray 用于分布式），32.5% 是隐含实现的。
  • 许多框架依赖同一生态系统的库（如 DeepMind 的 Acme 使用 Google 的 Launchpad 和 Reverb）。
• 架构设计决策 (ADD) 定位：
  • 该 RA 帮助定位了 Ntentos 等人提出的架构设计决策（如模型架构、训练策略、检查点策略等）具体影响哪些组件，有助于评估决策后果。

5. 意义与价值 (Significance)

• 统一术语与概念：澄清了环境、框架、模拟器等模糊概念，为学术界和工业界提供了统一的沟通语言。
• 指导开发与集成：为 RL 框架开发者提供了蓝图，帮助其规划组件映射；为采用者提供了比较不同框架的基础。
• 提升工程质量：通过明确的模块化架构，有助于改进 RL 系统的质量评估、依赖管理、认证和交付。
• 促进复用与调试：明确的组件分离（如生命周期管理器、模拟器适配器）使得调试、实验和代码复用更加容易。
• 开源贡献：作者发布了包含详细数据和分析结果的数据包（Zenodo），支持独立验证和复用。

总结

这篇论文通过扎根理论方法，对 18 个主流 RL 框架进行了深入的实证分析，首次提出了一个通用的强化学习框架参考架构。该架构不仅解决了当前领域术语混乱和架构不一致的问题，还通过具体的组件分解和模式重构，为 RL 系统的开发、评估和集成提供了坚实的理论基础和工程指南。