Regression Language Models for Code
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个巨大的计算机程序图书馆，这些程序是用几十种不同的语言编写的（比如 Python、C++，甚至是专为图形卡设计的专用语言）。通常，如果你想知道一个程序会消耗多少内存、运行需要多长时间，或者一个神经网络的准确率如何，你就必须在计算机上实际运行该程序才能得知。这既缓慢又昂贵，有时如果你尚未构建硬件，甚至根本无法实现。
长期以来，专家们试图建造特殊的“水晶球”来预测这些数值，而无需运行代码。但这些水晶球就像定制工具：要预测 Python 的内存占用，你需要一种工具；要预测图形卡的速度，你需要完全不同的另一种工具。它们需要人类手动深入代码，统计特定指令，并将代码转化为复杂的图表和图形，以便输入计算器。如果代码发生微小变化，工具往往会失效。
代码的“通用翻译器”
本文介绍了一种新型人工智能，称为回归语言模型（RLM）。请不要将其视为计算器，而应将其视为一位超级翻译器，它同时精通“计算机代码”和“数字”。
以下是其工作原理，使用简单的类比说明：
1. “冻结的大脑”与“创意写手”
该模型构建为一个两部分团队：
- 冻结的大脑（编码器）： 这部分是一个预训练的人工智能（基于名为 T5Gemma 的模型），它已经阅读了数百万本书籍和代码行。它完美地理解句子和代码的结构。研究人员“冻结”了这部分，意味着他们没有教它任何新东西。它仅仅作为一个聪明的读者，理解代码在说什么。
- 创意写手（解码器）： 这是他们实际训练的部分。这位写手的工作不是写故事，而是查看“大脑”阅读的代码，并写下一个数字作为句子中的下一个词。
类比： 想象你在阅读一份食谱（即代码）。普通的人工智能可能会尝试猜测配料表。而这种新的人工智能看着食谱说：“基于这段文本，下一个词是'500'（卡路里）。”它将数字（如内存使用量或速度）的预测，完全等同于完成一个句子。
2. 一个工具应对所有任务
最大的突破在于，这个单一的“通用翻译器”可以一次性处理所有任务。
- 它可以阅读 Python 代码并猜测其内存使用量。
- 它可以阅读 C++ 代码并猜测其运行时间。
- 它可以阅读 神经网络设计（以称为 ONNX 的格式编写）并猜测其准确率或在特定芯片上的运行速度。
以前，你需要为每项任务配备不同的“专家”。而这个模型就像一把瑞士军刀，只需查看文本，就能在内存专家、速度专家和准确率专家之间切换。
3. 它如何“计数”而无需数学
其中一个巧妙的技巧是模型输出数字的方式。它不是试图进行复杂的数学运算来输出"72.5"，而是将数字分解成微小的部分，就像数字锁一样。
- 它不说"72.5"。
- 它说：“加号……7……2……小数点……5。”
- 类比： 想象你在教一个孩子数数。与其让他们解答"50 + 25"，不如让他们逐位写出答案："5……0……加……2……5……等于……7……2……5。”这使得人工智能更容易处理巨大的数字（如数百万字节）或微小的数字，而不会感到困惑。
4. 为何它优于旧方法
- 无需人工劳动： 旧方法需要人类手动设计特征（例如“统计循环次数”）。而该模型直接读取原始文本，就像人类阅读书籍一样。
- 更擅长排序： 论文表明，如果你给该模型同一代码的 10 个不同版本，它非常擅长将它们从“最快”到“最慢”或“最小内存”到“最大内存”进行排序。这就像一位裁判，只需看着 10 名赛跑者，就能瞬间知道谁会获胜，甚至不需要秒表。
- 成本： 研究人员发现，使用该模型比使用大型通用人工智能聊天机器人（如 GPT-5）来猜测数字要便宜得多。聊天机器人就像用大锤砸坚果；它们既昂贵又经常出错。而这个模型是一种专门的轻量级工具，只需花费极少成本即可完成任务。
他们实际证明了什么
论文在以下方面进行了测试：
- CodeNet： 一个包含 37 种不同语言中数百万个代码片段的大型数据集。该模型成功预测了所有代码的内存使用量。
- APPS： 一组编程挑战。该模型可以查看解决方案，并以极高的准确率预测其内存使用量（与实际情况的相关性超过 90%）。
- 神经网络： 它预测 AI 设计的速度和准确率的表现，优于之前使用复杂图表的现有最先进方法。
总结：
论文声称，我们不需要构建复杂的定制工具来预测代码的性能。相反，我们可以将代码视为故事，将数字视为该故事中的下一个词。通过训练一个统一的单一人工智能来执行此任务，我们只需阅读文本，即可预测几乎任何编程语言或 AI 设计的内存、速度和准确率。它将一个困难的数学问题变成了一个简单的“接下来是什么？”游戏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。