Component Centric Placement Using Deep Reinforcement Learning

本文提出了一种基于深度强化学习的组件中心式 PCB 布局方法，通过固定主组件并离散化周围空间、利用先验知识优化奖励函数，有效解决了组件尺寸差异及约束复杂等挑战，在真实电路板上实现了接近人工水平的布线长度与布局可行性。

要点

这篇论文讲的是如何用**人工智能（AI）**来自动设计电路板（PCB）上元件的摆放位置。

为了让你更容易理解，我们可以把电路板的设计想象成在一个拥挤的房间里摆放家具，或者在一张巨大的棋盘上布置棋子。

1. 核心难题：为什么这很难？

想象一下，你有一张桌子（电路板），上面有一个大老板（主要芯片，比如 CPU），周围散落着很多小员工（电阻、电容等被动元件）。

• 挑战一：大小不一。 有的员工是巨人，有的是小矮人，不能随便塞。
• 挑战二：不能打架。 两个员工不能坐在同一个座位上（不能重叠）。
• 挑战三：关系紧密。 小员工必须坐在离“大老板”的特定部门（电源引脚）很近的地方，否则他们没法高效工作（连线太长，信号慢）。
• 挑战四：双面还是单面？ 桌子可能只有一面能坐人，也可能两面都能坐。

以前，工程师像老练的厨师一样，凭经验一个个把元件摆好。现在，作者想用**AI（强化学习）**来帮这个忙，让 AI 自己学会怎么摆得又快又好。

2. 作者的“独门秘籍”：以“大老板”为中心

传统的 AI 可能会在整张桌子上乱试，像无头苍蝇一样，效率太低。作者想出了一个聪明的策略：“大老板中心论”。

• 把桌子变成“蜂巢”： 他们不再把桌子看作无限大的平面，而是把“大老板”固定在桌子正中间，然后在周围画出一圈圈固定的“座位格”。AI 只需要决定把哪个小员工放到哪个格子里。
  • 比喻： 就像把散乱的棋子收进一个有固定格子的棋盘里，大大减少了 AI 需要思考的可能性。
• 利用“人情世故”（先验知识）： 作者告诉 AI：“记住，给‘大老板’供电的小员工，必须坐在离电源最近的格子里。”
  • 比喻： 这就像教 AI 一个规则：“如果你要送快递给 A 区，就别往 B 区跑，那是浪费时间。”这样 AI 就不会在不可能的位置上瞎折腾了。

3. AI 是怎么学习的？（三种“老师”）

为了训练 AI，作者用了三种不同的“教学方法”（算法）：

1. DQN（深度 Q 网络）： 像一个死记硬背的学生。它通过不断尝试，记住“在这个位置放这个元件，得分就高”。它很稳，但有时候不够灵活。
2. A2C（演员 - 评论家）： 像一个有策略的棋手。它有一个“演员”负责出招，还有一个“评论家”负责点评刚才的招数好不好。它更灵活，能处理复杂局面，但有时候容易“想太多”导致不稳定。
3. 模拟退火（SA）： 像一个随机的探险家。它偶尔会故意走一步“坏棋”来跳出死胡同，寻找更好的全局方案。

4. 怎么判断好坏？（评分标准）

AI 摆完一次后，怎么知道它摆得好不好？作者给了两个评分：

• 连线长度（TEWL）： 就像计算从“大老板”到各个“小员工”的总走路距离。距离越短，电路跑得越快，越好。
• 不重叠、不冲突： 就像检查有没有两个人抢了同一个座位，或者有没有把路堵死。

5. 实验结果：谁赢了？

作者用 9 个真实的复杂电路板（有的像小房间，有的像大礼堂）来测试。

• 普通版 AI（只看元件）： 发现“演员 - 评论家”（A2C）通常表现不错，但在特别复杂的局面下，有时候会“死机”或摆出重叠的乱局。
• 升级版 AI（DQNnet）： 这是作者的大招！他们不仅告诉 AI“这是哪个元件”，还告诉 AI“这个元件属于哪条电路（Net）”。
  • 比喻： 以前 AI 只知道“这是张三”，现在 AI 知道“这是张三，他是财务部的人，必须坐在财务区”。
  • 结果： 这个升级版 AI 在缩短连线距离和减少元件重叠方面，表现得非常接近甚至超越了人类专家的设计水平！

总结

这篇论文的核心思想就是：别让 AI 在茫茫大海里瞎找，给它画好格子，告诉它“大老板”在哪，再教它“谁和谁是一伙的”。

通过这种以核心元件为中心的布局策略，加上聪明的奖励机制，AI 现在能像经验丰富的老工程师一样，快速、精准地把电路板上的元件摆放得井井有条，既省空间又跑得快。这大大减轻了人类工程师的负担，让电子产品的设计更高效。

技术摘要

基于深度强化学习的组件中心式 PCB 布局自动放置技术总结

本文提出了一种利用深度强化学习（Deep Reinforcement Learning, DRL）实现印刷电路板（PCB）组件自动放置的新方法。针对传统 PCB 布局中组件尺寸多变、单/双面板约束、走线长度限制及非重叠放置等挑战，作者提出了一种**“组件中心式”（Component-Centric）**的布局策略，结合离散动作空间与先验知识，显著降低了搜索空间复杂度，并实现了接近人类专家水平的放置效果。

以下是该论文的详细技术总结：

1. 问题背景与挑战 (Problem & Challenges)

PCB 组件放置是布局设计中的关键阶段，旨在最小化互连长度、减少串扰并满足热约束。尽管强化学习（RL）已成功应用于芯片（SoC）IP 块和 Chiplet 的放置，但将其应用于 PCB 面临独特挑战：

• 多样性与约束：需支持单/双面板，处理不同尺寸的组件，并满足严格的非重叠（Non-overlapping）制造约束。
• 搜索空间巨大：传统的连续 2D 平面建模会导致大量无意义的微小位移，导致搜索空间膨胀，优化难以收敛。
• 奖励函数设计：需要平衡走线长度（Wirelength）、拥塞度（Congestion）和可行性（Feasibility），避免智能体在不可行区域进行无效探索。

2. 核心方法论 (Methodology)

A. 组件中心式布局策略 (Component-Centric Layout)

作者提出将 PCB 建模为以主组件（如微控制器、电源电路）为中心，被动元件围绕其排列的结构。

• 离散化动作空间：将 PCB 建模为主组件周围的一组固定候选位置（Discrete Physical Locations）。每个位置对应一个离散动作。这消除了连续空间中的微小偏移，大幅缩减了 RL 的搜索复杂度，同时保证了放置的可行性。
• 网络邻近性先验（Net Proximity）：利用电路原理图中的先验知识，即每个被动元件必须靠近其对应的电压源（Power Pin）。这一信息被整合进奖励函数，引导 RL 智能体避免探索物理上不可行或无关的区域。

B. 状态与动作定义

• 状态表示（Token-based Input）：不同于传统的特征输入（如坐标、距离），本文采用基于 Token 的输入。将被动元件 ID与网络（Net）ID结合，通过 One-hot 编码拼接成统一的状态向量 $s = [p_{state} \parallel n_{state}]$。这种设计利用了“同一网络的元件在物理上通常邻近”的 PCB 设计直觉。
• 动作空间：定义为 $A = \{a_1, ..., a_N\}$，其中 $a_i \in \{0, 1\}$ 表示是否将当前元件放置在位置 $l_i$。

C. 奖励函数设计 (Reward Functions)

总奖励 $R_{total}$ 是非重叠奖励与网络邻近奖励的加权和：
$$R_{total} = \alpha R_{non-overlap} + (1-\alpha)R_{proximity}$$

• 非重叠奖励 ($R_{non-overlap}$)：确保放置的元件之间不发生物理重叠。
• 网络邻近奖励 ($R_{proximity}$)：基于主组件上的电源引脚位置。为了缓解硬约束导致的探索困难，引入了 Top-K(s) 机制，即给予距离目标引脚网络中心最近的 K 个动作正奖励，从而扩大有效探索范围。

D. 算法实现

论文对比并实现了多种强化学习算法：

1. Deep Q-Network (DQN)：适用于离散动作空间，训练稳定。
2. Actor-Critic (A2C)：结合价值与策略学习，处理更复杂的任务。
3. Simulated Annealing (SA)：作为基准对比，通过迭代优化寻找全局最优。
4. DQNnet：一种改进的 DQN 变体，显式地将网络信息（Net ID）融入状态输入。

E. 评估指标

采用**总欧几里得走线长度（Total Euclidean Wirelength, TEWL）**作为主要优化目标，而非传统的半周长线长（HPWL）。TEWL 能更准确地反映所有引脚间的实际距离，与最终布线的线长相关性更好。

3. 实验结果 (Results)

实验基于 9 个不同复杂度的真实世界 PCB 数据集（包含 8-24 个被动元件，不同数量的网络和组件尺寸差异）。

• 算法性能对比：
  • A2C：在大多数情况下表现优于 DQN 和 SA，TEWL 指标通常最低，但在处理极高复杂度（如组件尺寸差异极大或重叠挑战严重）的 PCB（如 U20, U26）时，鲁棒性略逊于 DQN。
  • DQN：在复杂场景下表现出更强的稳定性。
  • SA：作为传统方法，其表现通常不如基于 RL 的方法。
• 引入网络信息的效果 (Passive + Net)：
  • DQNnet（融入 Net ID 的 DQN）在所有 PCB 上的 TEWL 均显著优于仅使用被动元件 ID 的 DQN。
  • 重叠率降低：DQNnet 显著减少了被动元件的重叠（Overlapping Passives），尽管在某些情况下路由冲突（Routing Conflicts）略有增加，但整体布局质量提升明显。
• 与人类专家对比：
  • 在 TEWL 指标上，最佳 RL 方法（主要是 A2C 和 DQNnet）在大多数案例中超越了人类专家（Ground Truth）的放置结果。
  • 在视觉检查中，RL 生成的布局不仅满足约束，还体现了组件中心的设计意图。

4. 主要贡献 (Key Contributions)

1. 组件中心式离散化建模：提出了一种将 PCB 放置转化为离散动作空间的新策略，通过固定主组件并围绕其定义候选位，有效解决了连续空间搜索效率低的问题。
2. 融合先验知识的奖励机制：设计了基于“网络邻近性”的奖励函数，利用电路原理图信息引导 RL 智能体，避免了在无效区域的探索。
3. Token 化状态表示：创新性地提出将元件 ID 与网络 ID 联合编码，使 RL 能够理解元件间的电气连接关系，从而做出更优的放置决策。
4. 实证有效性：在 9 个真实 PCB 案例上的验证表明，该方法在走线长度和可行性方面达到了甚至超越了人类专家的水平。

5. 意义与影响 (Significance)

这项工作展示了强化学习在电子设计自动化（EDA）领域，特别是 PCB 布局中的巨大潜力。

• 自动化水平提升：提供了一种能够处理复杂约束（如尺寸差异、双面/单面、非重叠）的自动化放置方案，减少了人工干预。
• 设计范式创新：将“组件中心”的设计哲学显式地融入 AI 训练过程，使得 AI 生成的布局不仅符合物理约束，还符合电气设计的最佳实践（如缩短电源去耦电容的走线）。
• 可扩展性：该方法为未来更复杂的异构集成和系统级封装（SiP）布局提供了新的思路，证明了结合领域先验知识（Domain Knowledge）与深度强化学习是解决高维组合优化问题的有效途径。

综上所述，Kart Leong Lim 等人的研究通过巧妙的状态空间设计和奖励机制，成功解决了 PCB 自动放置中的关键难题，为下一代 EDA 工具的开发奠定了坚实基础。