From Classification to Regression: Using a Fruitfly to Solve Equations

想象一下，你正在试图教会一台计算机如何预测未来。通常情况下，我们会要求计算机学习一本庞大的、无所不包的规则书——一个解释世界从始至终运作方式的单一、巨大的公式。这就像是在被允许进行第一步棋之前，试图背诵国际象棋中所有可能的走法。这种方法虽然可行，但需要一个超级计算机的大脑，并且运行速度极慢。然而，大自然有一种更聪明的做法。想想一只在你的厨房里飞来飞去的果蝇。它的微小脑袋里并没有整个房子的宏大地图。相反，它感知周围的即时环境，识别出一种熟悉的“气味”或模式（比如腐烂水果的味道），并根据它对那个特定位置所学到的知识做出反应。它不需要了解整个房子的物理学原理；它只需要知道基于眼前的景象现在该做什么。

这篇题为《从分类到回归：利用果蝇解决方程》的论文，探讨了一种通过模仿这种果蝇策略来教计算机解决复杂数学问题的新方法。在科学领域，“回归”（regression）只是一个高级词汇，指的是寻找输入与输出之间的关系——比如根据加热金属棒的时间长短来预测它会变得多热。通常，科学家们试图构建一个单一且复杂的模型来进行这项工作。但本文建议，与其建立一个巨大的大脑，不如使用一个小的“模式”库。这可以想象成一本“选择你自己的冒险故事”的书。你不需要为每种可能的情况都写一个新故事，而是拥有一些关键场景（模式），以及一套关于如何将它们混合在一起以讲述当下故事的规则。作者展示了通过将问题视为一场“这个看起来最像哪个模式？”（分类）的游戏，并通过融合答案，计算机可以更快、更省内存地解决困难的方程，同时保持惊人的准确性。

果蝇的秘密：通过嗅闻空气来求解方程

作者 Shady E. Ahmed 和 Panos Stinis 来自太平洋西北国家实验室，他们提出了一个巧妙的技巧：停止试图学习整张地图，开始学习地标。

在传统的机器学习中，如果你想让计算机预测一个系统随时间的变化（例如天气或行星的运动），你通常会训练一个巨大的神经网络来充当“全局代理”（global surrogate）。这是一个单一且复杂的模型，试图一次性理解整个输入空间。问题在于，这些模型变得臃规模巨大、昂贵且缓慢。它们就像是为了找一本书而试图把整个美国国会图书馆都装进背包里一样。

作者认为，大多数科学数据实际上并没有填满整个空间。行星不会在宇宙中随机飞行；它遵循特定的轨道。果蝇不会直线穿过墙壁；它追随食物的气味。这些系统会反复访问相同的“机制”（regimes）或行为。论文建议，我们不应该学习一个全局规则，而应该建立一个有限的代表性局部模式库。

以下是“果蝇回归器”的工作原理，使用的是气味类比：

1. 气味库（模式）： 想象你有一个“气味”（模式）库。每种气味代表系统的一种特定的、循环往复的行为。对于一个摆动的单摆，一个模式可能是“向左快速摆动”，另一个模式可能是“在顶部缓慢停止”。
2. 嗅闻测试（相似性）： 当你有一个新的情况（“查询”）时，计算机并不会尝试从头开始解决整个方程。相反，它会“嗅”一下这个情况。它将当前状态与库中所有的气味进行比较。
3. 加权混合（重构）： 计算机并不仅仅是挑选出那一个最好的气味。它会计算当前情况闻起来有多像每一种气味。如果它闻起来 60% 像“快速向左”，40% 像“顶部缓慢”，它就会将这两个模式的已知答案混合在一起（60% 的答案 A + 40% 的答案 B）来得出最终的预测。

这种方法将一个困难的回归问题（预测一个连续的数字）转变为一个分类问题（弄清楚存在哪些模式）以及一个简单的数学问题（混合答案）。

这篇论文实际发现了什么

作者在两种截然不同的问题类型上测试了这个想法：动力系统（随时间变化的事物，如行星或流体）和通用回归（寻找数据中的关系）。

1. 运动中的果蝇（动力系统）
他们将该方法应用于 Lotka-Volterra 系统（描述捕食者与猎物种群相互作用的模型）和 Lorenz 系统（一个著名的混沌天气模式模型）。

• 结果： 即使使用非常小的模式库（仅 4 到 32 个模式），该模型也能高精度地预测这些系统的未来行为。
• 惊喜之处： 他们发现，这些模式之间的“边界”自然地围绕着系统的稳定点（如风暴中心）形成。即使某个模式在特定区域不是“获胜者”，它仍然会对最终答案做出贡献，从而使预测变得平滑且稳定。
• “未知”方程： 在其中一个实验中，他们甚至不知道控制系统的方程。他们使用了一个临时的“辅助”模型来学习模式，但一旦找到了模式，他们就丢弃了辅助模型。最终的模型只需要存储模式及其响应。这在内存方面是一个巨大的胜利，因为最终模型相对于通常需要的大型神经网络来说非常小巧。
• 持续学习： 他们展示了如果系统发生变化（例如天气转向一种新模式），你可以只需向库中添加几个新的“气味”模式，而不会忘记旧的模式。这避免了 AI 通常在学习新知识时会遗忘旧知识的“灾难性遗忘”问题。

2. 实验室里的果蝇（通用回归）
他们还将此应用于标准的数学问题，例如拟合抛物线，或求解 1D Poisson 方程（描述热量或电荷如何扩散的物理方程）。

• 设置： 他们将输入变量（如线上的位置）视为一种“气味”，并将模式视为带有各自“气味云”的固定点。
• 结果：
  • 对于一个简单的抛物线，他们使用了 10 个模式，测试误差为 0.1%。
  • 对于由 10 个不同正弦波组成的复杂波形，他们使用了 30 个模式，误差约为 1%。
  • 对于一个带有尖锐转折的棘手物理问题（一边为零，另一边为曲线的抛物线），他们使用了 100 个模式，误差约为 10%。论文指出，由于该函数具有尖锐的、非平滑的边缘，且“气味”扩散并未针对该特定形状进行完美调整，因此出现较高的误差是符合预期的。
• 速度： 论文强调，对于较简单的题目，求解模式值在标准 MacBook 上仅需 0.01 秒，即使是最复杂的题目也仅需 3.5 秒。

这意味着什么（以及并不意味着什么）

这篇论文表明，我们并不总是需要构建一个巨大的、全知的头脑来解决复杂问题。通过将问题分解为一系列小的、可识别的“模式”，并基于相似性进行混合，我们可以创建出这样的模型：

• 更小： 它们需要的参数量更少，便于存储。
• 更快： 在线预测步骤仅仅是一个相似性检查和一个加权求和，而不是大规模的计算。
• 更灵活： 它们可以随着新数据的到来而轻松更新。

然而，论文谨慎地指出，这并不是解决所有问题的灵丹妙药。作者明确指出，他们的方法依赖于数据具有“循环行为”或局部结构。如果一个系统是完全随机且从未重复过任何模式，那么这种库方法可能会遇到困难。此外，虽然结果令人鼓舞，但它们是基于模拟和特定的数学示例；论文并未声称已经解决了现实世界的气候建模或生物系统，尽管它指明了一条路径。

作者还指出了一些他们尚未完全搞清楚的地方。例如，他们并不确定究竟该如何选择模式的“方差”（气味的扩散范围）。他们发现，将方差设置为定义域的大小除以模式数量的效果最好，这感觉有些违反直觉（就像预期一个随机行走者会走直线一样），但在他们的测试中确实有效。他们还建议，模式的数量可以是自适应的，只有当系统变得过于复杂，超出了当前库的处理能力时，才会增加模式。

最后，这篇论文提供了一种有趣但强大的视角转变：与其试图记住整个海洋，不如去学习洋流。通过模仿果蝇通过识别局部气味来导航的能力，我们或许就能以更轻盈的方式解决世界上最难的方程。