The Cost and Network Limits of Space-Based AI Compute
该论文得出结论,虽然近地轨道数据中心可能支持人工智能推理,但发射、电力和冷却方面的极高成本,结合网络限制,使得它们在训练前沿规模的大型语言模型方面无法与地面设施竞争。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,世界上最强大的计算机就像是建在地面上的巨大、嗡嗡作响的城市。这些“人工智能数据中心”就像大型工厂,数以十亿计的小型工人(芯片)在其中竞相解决复杂的谜题,教导人工智能如何写作、绘画和思考。但这些工厂非常贪婪。它们吞噬着海量的电力,需要庞大的空调系统来防止熔化,并且需要广阔的土地。随着这些人工智能工厂规模的扩大,它们正撞上一堵墙:地球上已经没有足够的电力、空间或资金来维持它们的持续建设。
因此,一些梦想家开始仰望星空。他们在想:如果我们把这些工厂建在太空里会怎样呢?在近地轨道(LEO),就在我们上方几百英里的地方,阳光明亮且恒定,而太空的寒冷真空可以充当一个巨大的冷冻库。这个想法建议我们可以发射数以千计的卫星,每一颗都携带超级计算机的一块碎片,从而组成一个漂浮的人工智能大脑。但在我们收拾行囊奔向星辰之前,我们需要问一个问题:这究竟是更便宜、更快速,还是仅仅是一个科幻幻想?为了回答这个问题,我们必须观察两个主要方面:将沉重的金属送入太空并保持在那里的物理学,以及“网络”问题——即这些漂浮的计算机之间相互通信的速度有多快。
这篇由 Kees van Berkel 撰写的论文,对“轨道人工智能”这一构想进行了严谨的数学探讨。它将一个假设的、在太空中漂浮的 1 吉瓦(1GW)人工智能数据中心与一个位于地球上的类似数据中心进行了对比。作者结合了物理计算和计算机网络模型,以观察太空版本是否能跟上步伐。这项研究重点关注两个大问题:与地球相比,太空中的人工智能在训练大型语言模型方面的表现如何?以及未来的技术变革将如何影响这一差距?
研究发现,虽然将人工智能置于太空对于处理简单的任务(如回答问题/推理)可能可行,但对于训练新的、大规模人工智能模型的繁重工作来说,这很可能是一个糟糕的主意。主要的罪魁祸首不是发射火箭的成本或太阳能的匮乏,而是网络。在地球上,数据中心中的计算机通过一种超快、紧密交织的电缆网(称为 Clos 网络)连接在一起,这让它们能够瞬间向彼此传递信息。而在太空中,作者指出,我们可能必须使用激光束将卫星连接成一个巨大的、漂浮的网格。
分析表明,这种太空网格的速度要慢得多,且带宽(即同时传输数据的量)远低于地球版本。为了训练一个大规模的人工智能模型,数千台计算机需要不断地共享信息。在太空场景中,作者的模型显示,这种信息共享会非常缓慢,以至于计算机大部分时间都在等待,而不是在思考。论文估计,由于卫星之间的“对话”太慢,在太空中训练人工智能可能会比在地球上耗时数百倍,或者成本高出数百倍。
作者还指出了那些未计入价格标签中的隐藏成本。发射数百万吨的卫星会产生大量的太空垃圾,并且当旧卫星在重返大气层时会烧毁,这可能会污染我们的大气层,潜在地损害臭氧层。虽然论文承认技术可能会进步——例如通过更强大的激光或更智能的卫星布局——但结论是,利用当前及近未来的技术,在未来几年内实现在太空中训练前沿规模人工智能的梦想是不具备可信度的。数学表明,对于教导人工智能的重体力活,地面仍然是最好的选择。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。