Fly-CL: A Fly-Inspired Framework for Enhancing Efficient Decorrelation and Reduced Training Time in Pre-trained Model-based Continual Representation Learning

本文提出了受果蝇嗅觉电路启发的 Fly-CL 框架,通过解决预训练模型持续表征学习中的多重共线性问题,在显著降低训练时间的同时实现了与现有最先进方法相当甚至更优的性能。

Heming Zou, Yunliang Zang, Wutong Xu, Xiangyang Ji

发布于 2026-03-03
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 Fly-CL 的新方法,它的灵感来自于果蝇的嗅觉系统。简单来说,它解决的是人工智能(AI)在学习新事物时,如何既学得快、又不忘记旧知识,同时还能省时间、省算力的难题。

我们可以把这篇论文的核心思想想象成**“果蝇大脑”给“人类 AI"开的一堂高效速成课**。

1. 背景:AI 的“健忘症”与“堵车”

想象一下,你教一个学生(AI 模型)认动物。

  • 旧方法:每学一种新动物(比如从猫学到狗),就要把整个大脑重新装修一遍。这太慢了,而且容易把之前学的猫给忘了(这叫“灾难性遗忘”)。
  • 新方法(基于预训练模型):现在的 AI 已经像是一个读过万卷书的“老学究”(预训练模型),我们只需要教它怎么把学到的知识分类。
  • 遇到的问题
    1. 特征混淆(多共线性):老学究脑子里的“猫”和“狗”的概念太像了,分界线模糊,就像两堆混在一起的沙子,很难分清哪粒是猫,哪粒是狗。
    2. 计算太慢:为了把这两堆沙子分清楚,以前的方法需要拿放大镜一个个仔细比对,耗时太长,没法用在需要实时反应的场景(比如自动驾驶)。

2. 核心灵感:果蝇的“超级鼻子”

科学家发现,果蝇的嗅觉系统处理气味的方式非常神奇,它能把相似的气味瞬间区分开。论文作者把这个过程搬到了 AI 里:

  • 第一步:把气味“放大”并“稀疏化”(PN → KC)

    • 比喻:想象果蝇闻到一种气味(比如玫瑰),它不会直接说“这是玫瑰”。它先让几千个神经元(KC)同时工作,但只有最强的几十个神经元会亮起来,其他的都关掉。
    • AI 做法:把 AI 提取的特征(比如猫的图片特征)扔进一个巨大的“扩音器”(高维空间),然后只保留最突出的几个特征(Top-K 操作),把那些模糊、嘈杂的噪音全部过滤掉。
    • 效果:原本混在一起的“猫”和“狗”,经过这个“扩音器”和“过滤器”后,变得截然不同,就像把两团混在一起的毛线球,瞬间拉直并分开了。
  • 第二步:快速匹配(KC → MBON)

    • 比喻:果蝇的大脑里有一个“决策中心”,它不需要重新学习,而是直接根据刚才亮起来的那几十个神经元,快速决定“这是玫瑰,快飞过去”。
    • AI 做法:使用一种叫**“流式岭回归”的数学技巧。这就像是一个自动记账员**,它不需要把过去所有的账本翻出来重算,而是每来一笔新账(新数据),就立刻更新一下总账本。
    • 效果:以前需要算几天几夜的分类器,现在几秒钟就能算出来,而且越学越准。

3. 这个新方法(Fly-CL)厉害在哪里?

作者把这套“果蝇大脑”装进了 AI 系统,带来了三个巨大的好处:

  1. 快如闪电(省时)

    • 以前的方法像“精雕细琢”,每学一个新任务都要花很长时间。
    • Fly-CL 像“流水线作业”,因为它过滤掉了无用信息,只处理核心特征。实验显示,它的训练时间比目前最先进的其他方法快了 90% 以上
    • 比喻:以前学一门新语言要背 1000 个单词,现在 Fly-CL 只挑最核心的 10 个词,就能让你听懂 90% 的意思,而且只要 1 小时。
  2. 记得牢(防遗忘)

    • 通过“稀疏化”和“去相关”,它把不同类别的界限划得非常清楚。
    • 比喻:以前的分类像把苹果和梨混在一个大篮子里,容易拿错;Fly-CL 给每个水果都贴上了独一无二的标签,并放在不同的格子里,想忘都难。
  3. 省钱省力(低资源)

    • 它不需要像某些方法那样存储大量的旧模型,也不需要巨大的内存。
    • 比喻:它不需要建一个巨大的图书馆来存书,只需要一个聪明的索引卡片系统,就能管理海量的知识。

4. 总结:为什么这很重要?

这就好比给 AI 装上了一个**“果蝇式的超级大脑”**。

  • 以前:AI 学习新东西,要么慢得像蜗牛,要么学了新东西忘了旧东西。
  • 现在:Fly-CL 让 AI 能像果蝇一样,瞬间把新信息整理得井井有条,快速做出反应,而且不占地方

这对于未来的实时应用(如自动驾驶、实时翻译、智能监控)至关重要。它证明了,向大自然(比如果蝇)学习,往往能找到解决复杂 AI 问题的最简单、最高效的钥匙。

一句话总结
Fly-CL 就是模仿果蝇的鼻子,教 AI 学会“抓重点、去噪音、快速分类”,让它在保持高智商的同时,变得超级快、超级省