Accuracy and Robustness of Model Cascades Under Data Perturbations

在人工智能领域，计算机程序的智能化程度与其运行所需的能耗之间存在着日益增长的紧张关系。随着这些系统变得越来越强大，它们消耗了大量的电力，引发了人们对其环境足迹的担忧。为了解决这个问题，工程师们开发了一种被称为“预测级联”（prediction cascade）的策略。想象一个由工作人员组成的团队，其中一名快速、轻量级的助手处理简单的任务，而只有最困难或最令人困惑的情况才会移交给资深专家。在人工智能的语境下，这意味着一个小型、高效的模型首先尝试回答问题。如果它对自己的答案非常有信心，它就会在此停止；如果它不确定，它会将任务移交给一个规模大得多、功能更强大的模型。当数据清晰且纯净时，这种方法运作得非常出色，能够让系统在保持高准确度的同时节省大量能源。

然而，现实世界很少是纯净的。摄像头捕捉到的图像可能会模糊、带有噪声，或者受到恶劣天气的干扰，这些缺陷甚至会让最聪明的算法也感到困惑。来自 AUMOVIO AI 实验室和柏林应用科学大学的研究人员的一项新研究调查了当输入数据发生退化时，这些节能级联系统的表现如何。他们想知道，当图像受损时，系统决定何时将任务移交给专家的能力是否仍然可靠。研究人员在标准图像数据集上测试了他们的系统，引入了各种类型的损伤，从静态噪声、模糊到模拟相机抖动或天气逐渐恶化的序列性变化。

研究表明，虽然这些级联系统在完美数据上非常高效，但在面对不完美数据时会面临截然不同的失效模式。研究人员发现，系统的行为很大程度上取决于任务的复杂度。在类别较少、较为简单的任务中，即使图像受损，大型专家模型仍能相当出色地解决问题。在这种情况下，失败源于小型助手。损坏干扰了助手的信心感，导致它要么过于轻易地接受错误答案，要么将过多的简单任务交给专家，从而浪费了节能效果。在这种情况下，系统的失效是因为路由机制崩溃了，而不是因为专家本身无能。

在类别更多、更复杂的任务中，情况则更为严峻。在这里，损坏严重到足以降低小型助手和大型专家模型的性能。当图像严重受损时，专家模型本身也难以找到正确答案。在这种场景下，级联系统无法恢复准确度，因为其后备方案已不再可靠。系统之所以崩溃，是因为整个策略的基础——即利用大模型来修正小模型错误的能力——已经消失了。

研究人员还观察了当损伤在连续帧（如视频）中逐渐发生时，这些系统的行为如何。他们发现了一个具有欺骗性的模式：随着图像变得越来越扭曲，系统在决策上实际上变得更加稳定，相邻帧之间的变化减少了。然而，这种稳定性是一种幻觉。系统不再将困难案例发送给专家模型，而是转而依赖退化了的小模型。结果是产生了一系列一致但却日益错误的预测。系统看起来平静而稳定，但它已经停止使用了它的安全网。

最终，这项研究证明了这些级联系统的效率是脆弱的。研究人员指出，系统主要有两种失效方式：要么决定何时切换模型的信号被破坏而专家依然强大，要么损坏过于严重以至于专家模型本身也失效了。他们发现，失效类型通常取决于分类任务的难度。对于较简单的任务，风险在于系统停止了正确的路由；对于较难的任务，风险在于整个系统失去了解决问题的能力。作者得出结论，为了负责任地使用这些节能工具，我们不仅要评估它们在完美数据上的表现，还要评估当世界变得混乱时，它们在路由决策方面的可靠性。如果不了解这一点，可持续、高效的人工智能之承诺可能会在输入数据发生偏移的那一刻便烟消云散。