Multi-Timescale Latent-Action DRL for Joint Optimization in Edge-Cloud Networks
本文提出了一种具有隐性动作空间的双时间尺度多层深度强化学习框架（2T-MDRL-LA），用于解决分层边缘-云网络中 NP 难的联合业务放置、计算委托和功率控制问题，在有效降低端到端延迟并提高资源利用率的同时，能够适应动态变化的情况。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座繁忙、喧嚣的大都市，而你的智能手机仅仅是数百万个试图传递紧急便条的小信使之一。在过去，所有的这些便条都必须一路奔波到一座巨大的中央图书馆（即“云”）才能被阅读和回复。但随着城市的扩张，通往那座图书馆的道路变得拥堵不堪，对于那些需要即时响应的事物——比如自动驾驶汽车或增强现实游戏——来说，等待时间变得难以忍受。为了解决这个问题，工程师们在各个社区内建造了更小的本地图书馆（称为“边缘”服务器）。现在，简单的便条可以在附近被快速处理，而沉重且复杂的便条仍然会前往那座大型图书馆。
然而，这个新系统有一个棘手的问题：社区图书馆的大小并不一致，而且信使到达的节奏也并不稳定。有时，一个小型图书馆会被一千个请求淹没，而隔壁的一个却空空如也。如果系统不够聪明，无法将工作进行重新分配，那么繁忙的图书馆就会排起长队（即“队列”），导致你的信息卡在等待中。现代计算的目标就是弄清楚究竟应该把“书”（服务）放在哪里，哪个信使该去哪座图书馆，以及它们应该以多快的速度运行，以保持队列尽可能短。这是一个巨大的、移动中的拼图，每一个碎片都会影响到其他所有碎片，而且解决这个问题的难度之大，以至于即使是超级计算机也难以在实时状态下找到最优解。
本论文探讨的正是在这种层级式边缘-云系统中面临的挑战。作者提出了一种被称为“2T-MDRL-LA”的巧妙新策略，它就像一个超级聪明的交通控制器，学习如何管理数据流。他们并没有试图一次性解决整个不可能完成的谜题，而是将其分解为两种不同速度的决策过程。这就像规划一次公路旅行：你每天做一次大的、缓慢的决策（比如要去哪些城市、住在哪里），但你会根据眼前的交通状况，每隔几秒钟做出快速的、瞬间的决策（比如切换到哪条车道或开多快）。
为了应对海量的选择，团队使用了一种名为“深度强化学习”的技术，这本质上是一种通过试错来学习的计算机程序，就像电子游戏中的角色通过反复玩同一关卡来不断提升水平一样。但转折在于：可能的动作数量如此庞大，以至于计算机会被压垮。为了解决这个问题，作者引入了一个“潜在动作”（Latent Action）空间。想象一下，如果你试图通过列出每一块肌肉的抽动来描述一个复杂的舞蹈动作，那是做不到的。相反，你只需要说“跳太空步”，你的大脑就会补全细节。本文使用了类似的技巧，将数百万个复杂的选择压缩成几个简单的“代码”，以便计算机能够快速理解并执行。
他们的计算机模拟结果非常令人鼓舞。研究发现，与不允许任务在服务器之间进行调度的系统相比，他们的新系统可以将平均数据等待时间缩短高达 20.8%。同时，它还将服务器的使用效率提高了 13%，这意味着更少的资源处于闲置状态。或许最令人印象深刻的是，他们的学习算法找到最佳策略的速度比其他流行方法快了约 50%。虽然这些发现来自模拟实验而非真实的城市规模测试，但它们表明，这种“双速、压缩决策”的方法可能是保持我们数字世界快速高效的关键，即使在交通混乱的情况下也是如此。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。