Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition
本研究表明，由于训练种子方差的存在，针对面部表情识别的冻结 CLIP（frozen-CLIP）适配方法在单次运行比较中具有高度不稳定性，大多数报道的性能差异在多次种子和超参数变化中均无法复现。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，计算机正越来越多地通过学习海量的图像和文本库来共同识别世界。这一过程创造了一个强大的通用型大脑，使其能够理解从未见过的图片。然而，当这些系统被部署到现实世界时，它们经常会出错。一个在某一组照片上训练的模型，在面对光照不同、相机不同或人物不同的照片时，可能会表现得极其糟糕。这在面部表情识别中是一个常见问题：一个被训练用来识别喜悦或愤怒的计算机，在面对新的面孔集合时，往往会失去其准确性。为了在不重新训练整个庞大“大脑”的情况下解决这个问题，研究人员开发了“适配”（adaptation）技术。这些方法保持主大脑冻结且不变，仅在其之上添加一个微小的、可训练的层，以调整以适应新情况。这是一个实用的解决方案，但它依赖于一个危险的假设：即如果研究人员运行一次这个调整过程并得到了一个结果，那么这个结果就是真理。
合肥工业大学的一个研究小组着手测试这种“单次运行”的假设是否站得住脚。他们专注于两种竞争性的方法，用于适配这些冻结的人工智能大脑进行面部表情识别。一种被称为“全局路径”（global route）的方法，它提取整幅图像的一个单一摘要，并试图调整该摘要以适应新任务。另一种被称为“标记路径”（token route）的方法则运作方式不同；它不是先对图像进行汇总，而是观察图像的各个组成部分，并在做出决策前学习如何权衡这些部分。多年来，人们一直认为标记路径更优越，因为它保留了更多的细节。为了测试这一点，研究人员采用了一个标准的冻结AI模型，并应用了这两种适配方法。但他们并没有只运行一次实验并报告胜者，而是进行了多次实验，仅改变了训练过程的随机起始点，即所谓的“种子”（seed）。他们针对两种不同规模的AI模型进行了测试，在较小的模型上运行了十次实验，在较大的模型上运行了十五次实验，且始终使用完全相同的数据和规则。
这些严谨重测的结果令人震惊。当研究人员观察单次运行的数据时，标记路径在跨数据集测试中明显优于全局方法，领先幅度接近四个百分点。这种类型的显著结果通常会被视为定义一个领域的成果。然而，当他们在所有十次或十五次不同的训练运行中取平均值时，这种领先优势消失了。事实上，对于较小的AI模型，这种优势发生了彻底的反转：在平均表现上，标记路径的表现实际上比全局方法更差。最好与最差运行之间的差异如此之大，以至于完全掩盖了最初的结论。研究人员发现，训练过程的随机起始点足以逆转研究结论。在他们进行的六项主要比较中，有五项都显示出了这种不稳定性，这意味着如果实验只是简单地用不同的随机起点重复进行，单次实验很容易报告出一个在重复实验中会“落败”的“赢家”。
然而，有一个例外在重复性测试中幸存了下来。在一项涉及由合成失真（如模糊或噪声）导致的图像退化的特定测试中，标记路径在较大的AI模型上始终优于全局方法。这一优势在所有十五次训练运行中都保持稳定，标记路径领先约三个半百分点。为了绝对确定这不是偶然现象，研究人员将这一发现应用到了一个全新的、从未接触过的面部表情数据集中。他们应用了同样的严格规则和预定义标准。标记路径再次获胜，领先近三个百分点。这证实了虽然标记路径并非在任何情况下都能击败一切的“万能灵药”，但当处理特定类型的图像损坏且使用较大模型时，它确实拥有真实且可复现的优势。
研究还揭示了研究人员如何调整实验，这与随机起始点同样重要。当研究人员允许为每次随机运行选择不同的学习率（一个控制模型学习速度的关键设置）时，结果发生了剧烈变化。在一种情况下，改变这一设置导致性能差异移动了超过三个百分点，而这恰好是原始单次运行所声称发现的效果大小。这表明，一项比较中的“赢家”往往与其特定的调优选择一样，取决于方法本身。研究人员得出结论，该领域过度依赖单次运行的比较，这可能会产生误导性的方向性主张。他们证明了，对于许多适配方法而言，由随机训练变异引入的噪声足以反转结果。要了解一种方法是否真正更好，唯一的办法是进行多次运行并报告结果的分布，而不是仅仅报告单次最佳结果。
这项工作并不是宣布其中一种适配方法永久优于另一种。相反，它揭示了AI适配的图景比此前认为的要不稳定得多。标记路径并非保证胜利，全局方法也并非失败；它们的表现高度依赖于训练过程中使用的随机种子以及测试的具体条件。一个清晰且可复现的发现是，当图像受损时，标记路径为大型模型提供了真实的优势，但这种优势并不延伸到所有任务或所有模型规模。该研究是对如何评估这些技术的必要修正，敦促研究人员超越单一的性能快照，转而拥抱变异性的全貌。通过这样做，科学界可以区分出转瞬即逝的统计噪声与真实、可靠的改进。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。