Hierarchical Reinforcement Learning for the Dynamic VNE with Alternatives Problem
本文提出了一种名为 HRL-VNEAP 的分层强化学习框架，该框架通过联合选择最合适的可变形请求结构并将其嵌入到物理网络中，从而优化具有替代拓扑的动态虚拟网络嵌入，在接纳率、收益和效率方面相较于现有基线实现了显著提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一座名为“底层网络”的庞大繁忙城市。这座城市拥有固定数量的道路、桥梁和电力线路（计算资源），它们始终存在。现在，想象每天都有新的人群团体抵达这座城市，带着一个明确的计划：他们想要建立一个临时村庄（虚拟网络）来举办节日。
旧问题：僵化的蓝图
过去，当一个团体抵达时，他们只带来一份不可更改的村庄蓝图。如果城市没有足够的空间或合适类型的道路来容纳那份精确的蓝图，该团体就会被拒之门外，即使他们本可以建造一个略有不同的村庄并完美契合。这就像试图将方形的木桩强行塞进圆形的孔洞；如果无法契合，派对就被取消了。
新挑战：灵活的架构师
最近，一种名为“带替代方案的虚拟网络嵌入”（VNEAP）的新理念被引入。现在，当一个团体抵达时，他们不再只带一份蓝图，而是带来一整套选项。
- 选项 A：一个庞大、 sprawling 的村庄，需要大量土地但极少电力线路。
- 选项 B：一个紧凑、高耸的村庄，需要极少土地但海量电力。
- 选项 C：一个中等规模的村庄，平衡了两者需求。
所有这些选项为该团体完成完全相同的工作，但它们以不同方式使用城市的资源。这很好，因为它给了城市更多说“是”的机会。然而，这也制造了一个新的头痛问题：谁来决定使用哪份蓝图？ 如果城市管理者选错了，他们可能会浪费资源，或者不必要地拒绝该团体。
解决方案：两级管理者（HRL-VNEAP）
本文提出了一种名为HRL-VNEAP的智能两级管理系统来解决这一难题。可以将其想象为两位管理者协同工作的团队：
- 高层管理者（战略家）：这位管理者审视团体的请求和城市的当前状态。他们暂时不纠结于琐碎细节。他们唯一的工作是从团体的选项集中挑选最佳蓝图。他们会问：“我们有足够的电力线路吗？那就选选项 B。”或者“我们太拥挤了；那就礼貌地拒绝这个团体吧。”
- 低层管理者（建造者）：一旦高层管理者选定了一份蓝图，低层管理者就开始工作。他们的工作是将村庄物理地部署到城市地图上，将道路和电力线路精确连接到所需位置，同时避免造成交通拥堵。
这些管理者是通过一种称为分层强化学习的技术进行训练的。可以将其想象为通过让他们玩数千次游戏来训练他们，让他们从错误和成功中学习，直到他们能够瞬间做出正确选择的专家。
结果
研究人员将这一系统与旧方法进行了测试，甚至与一种超慢但完美的数学计算器（称为 MILP）进行了对比。结果令人印象深刻：
- 更多的“是”回答：新系统接纳的团体数量比最佳先前方法多了约20.7%。
- 更多收入：由于接纳了更多团体并更高效地利用了资源，城市的总收入增长了36.2%。
- 更好的价值：他们为每单位资源获得了更多价值，效率提升了22.1%。
核心结论
仅仅猜测使用哪份蓝图（朴素策略）并没有太大帮助。但这个聪明的两级团队学会了始终如一地做出正确选择。虽然这个智能系统的能力与完美但缓慢的数学计算器之间仍存在微小差距，但这种方法证明，利用人工智能来管理灵活的网络请求，是保持我们的数字城市顺畅运行的巨大进步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。