技术摘要：通过重构实现记忆

问题陈述

本文探讨了领域增量学习 (Domain Incremental Learning, DIL)，这是持续学习 (Continual Learning, CL) 中的一个特定挑战，即模型必须在测试时无法获取领域身份的情况下，适应一系列演进的、非平稳的数据领域。虽然标准的 DIL 方法致力于防止灾难性遗忘（即在学习新领域时丧失去对先前领域的性能），但本研究认为，在现实世界的流式场景（如视频）中，数据在时间上具有高度相关性，且领域偏移通常是渐进的。

作者挑战了“必须严格避免遗忘”的传统观点。相反，他们认为对于流式数据，一个过度专注于当前领域（从而导致对其他领域产生暂时性遗忘）的模型可能是有益的，前提是它能够在之前的领域重新出现时快速恢复（“记忆”）。核心问题是如何利用流式视频中的测试时训练 (Test-Time Training, TTT)，在没有显式领域标签的情况下，动态选择合适的领域特定知识。

方法论

所提出的方法——“通过重构实现记忆” (Remembering by Reconstructing)——结合了双头架构、低秩自适应 (LoRA) 以及测试时训练 (TTT)。

1. 模型架构

该模型由一个共享的主干编码器 $E$ 和两个并行的解码器组成：

• 主任务头 ($M$)： 执行下游任务（例如动作识别或语义分割）。
• 自监督 MAE 头 ($D$)： 一个掩码自编码器 (MAE) 分支，旨在重构被掩码的输入块。该分支作为领域自适应的探测器。

2. 训练阶段 (离线)

• 初始化： 模型使用预训练的 MAE 检查点进行初始化。编码器 $E$ 和 MAE 解码器 $D$ 与主任务头 $M$ 一起在初始任务 $T_0$ 上进行微调。
• 领域特定 LoRA： 对于后续的每个领域 $T_i$，冻结基础参数 $\theta_0$。为模型中所有的线性层初始化新的、可训练的 LoRA 适配器 ($\Delta_i$)。
• 专业化： 这些 LoRA 使用结合了主任务和 MAE 重构任务的组合损失，专门在新的领域数据上进行训练。这一过程自然地诱导了对其他领域的遗忘，因为 LoRA 在专业化过程中会影响主头和 MAE 头。

3. 推理阶段 (在线测试时训练)

在测试时，模型遇到连续的数据流。目标是确定哪一个 LoRA（或 LoRA 的组合）最匹配当前的输入。

• 加权组合： 模型不是选择单个 LoRA 或进行朴素合并，而是维护所有 $N$ 个已训练 LoRA 的加权和：
  $$\theta_{TT} = \theta_0 + \sum_{k=1}^{N} c_k \Delta_k$$
  其中 $c = \{c_1, ..., c_N\}$ 是可学习的权重系数。
• 重构驱动的自适应： 系数 $c$ 在在线状态下利用输入的流式数据进行优化。优化目标是当前输入（或最近的一小批帧）上的 MAE 重构损失：
  $$c = \arg \min_c \mathcal{L}_{\text{MAE}}(F_{\text{MAE}}(x_{\text{mask}}), x)$$
  由于 MAE 头在增量训练阶段也经历了遗忘，因此最小化当前领域的重构损失会迫使模型“逆转”这种遗忘，有效地将权重引导向针对当前领域专业化的 LoRA。
• Softmax 选择： 优化的系数在应用于主任务头之前会通过一个带有温度参数 $\tau$ 的 softmax 函数，以确保能够置信地选择最相关的 LoRA。
• 效率： 仅更新较小的系数集 $c$，而非整个模型。更新通过使用最近帧的滑动窗口缓冲池定期发生（例如每 $n$ 帧一次），使得该方法在处理流式数据时具有较高的计算效率。

核心贡献

1. 范式转变：关于遗忘。本文提出将遗忘视为一种专业化机制，依靠 TTT 来动态恢复丢失的知识，而不是试图完全防止遗忘。
2. 双头 TTT 用于 DIL：引入了 TTT 在 DIL 设置中的创新应用，利用 MAE 重构损失作为识别当前领域并据此调整 LoRA 权重的代理。
3. 流式自适应：该方法专为视频流设计，其中连续帧具有相关性，从而允许在不处理每一帧进行更新的情况下，快速适应渐进的领域偏移。
4. 新基准：作者引入了 Domains-Campus，这是一个新的语义分割数据集，其特征是具有渐进式领域转换和未见中间环境的自我中心视频流，解决了现有文献中缺乏此类基准的问题。

实验结果

该方法在两个任务上进行了评估：

• 视频动作识别： 使用 NTU RGB+D120 数据集，采用涉及不同相机视角和位置的领域增量设置。
• 语义分割： 使用新的 Domains-Campus 数据集，并使用 Places365 进行预训练。

主要发现：

• 性能： 所提方法在所有基线方法（包括 Replay、DRIFT 和 LoRA 合并）中实现了最高的平均准确率（或 Dice 分数）。
• 遗忘： 与朴素微调相比，它表现出显著更低的遗忘度 ($F$)，并且与最先进的持续学习方法相比具有竞争力的性能。
• 超越联合训练： 在 Domains-Campus 数据集上，该方法优于“联合微调”基线（即同时训练所有任务）。作者将其归功于单个 LoRA 的“专家”性质，它们在各自领域可以超越单一的通用模型。
• 消融实验： 该方法对超参数变化具有鲁棒性。它在小批量大小和更新周期（例如每 16 帧更新一次）下运行有效，甚至在窗口大小为 1（仅针对当前帧进行更新）时也表现出色。

重要性与主张

论文声称，其方法为持续学习在现实世界应用中的实现提供了一个更真实的视角。通过承认数据是以连续流的形式到达的，且暂时的遗忘对于专注于当下是有益的，该方法利用了时间连续性和局部性来实现快速自适应。

作者强调，虽然该方法对于流式数据非常有效，但在推理过程中由于 TTT 步骤会引入计算开销。他们建议未来的工作可以专注于减少 LoRA 的数量（通过合并或剪枝），或者开发更高效的触发机制来决定何时需要更新，而不是进行周期性更新。

研究结论指出，将领域特定的参数高效微调 (LoRA) 与在线自监督自适应 (TTT) 相结合，为处理基于视频的应用中不断演进的非平稳数据流提供了一个强大的框架。