技术摘要：面向领域增量目标检测的正交知识刷新

1. 问题定义

本文研究了领域增量目标检测 (Domain-Incremental Object Detection, DIOD)，这是一个极具挑战性的设定，要求模型在能够持续适应新且不同的数据领域（例如：变化的各种天气条件、艺术风格或场景类型）的同时，保留对先前已学习领域的性能。

DIOD 的核心挑战在于灾难性遗忘 (catastrophic forgetting)，即在适应新领域时，会覆盖掉从先前领域学到的关键特征表示。现有的解决方案面临显著局限：

• 基于重放的方法 (Replay-based methods) 需要存储历史样本，这通常因隐私限制和内存开销而被禁止。
• 知识蒸馏 (Knowledge distillation) 在面对剧烈的领域偏移时表现不佳，并受限于底层架构的静态容量。
• 基于架构的方法 (Architecture-based methods) 为每个任务扩展子网络，随着任务数量的增加，会导致难以管理的计算和内存成本。
• 参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT) 方法（如 Prompt Learning、Bias Tuning）通常受到领域间干扰 (inter-domain interference) 的影响。当共享参数被联合优化时，针对新领域的更新会扭曲对先前领域至关重要的特征统计特性，从而导致性能下降。

2. 方法论：正交知识刷新 (Orthogonal Knowledge Refreshing, OKR)

作者提出了 正交知识刷新 (OKR) 框架，旨在实现无需在推理阶段进行领域选择的无冲突容量扩展。该方法基于预训练的 ViTDet 主干网络，并利用低秩自适应 (Low-Rank Adaptation, LoRA)。

A. 低秩子空间扩展 (Low-Rank Subspace Expansion)

OKR 并非共享单一参数空间或使用浅层输入嵌入，而是增量地构建独立的、领域特定的子空间。

• 对于每个新领域 $t$，在特征提取器中注入一个专用的 LoRA 分支（矩阵 $A_t$ 和 $B_t$）。
• 只有新的 LoRA 参数是可训练的；先前的分支保持冻结状态。
• 线性融合 (Linear Fusion)： 利用 LoRA 的线性加性，所有分支在训练和推理过程中都能实现无缝融合（$W_t = W_0 + \sum B_i A_i$）。这允许进行整体决策，而无需冗余的前向传播或领域路由。

B. 基于梯度的正交刷新 (Gradient-Based Orthogonal Refreshing, GOR)

为了防止新领域的更新干扰历史子空间，OKR 采用了一种基于梯度的策略：

• 子空间近似 (Subspace Approximation)： 在针对任务 $t$ 进行训练之前，该方法会近似由先前任务所构成的梯度子空间 $\mathcal{M}_t$。这是通过对当前输入和冻结的历史权重导出的聚合特征矩阵进行奇异值分解 (SVD) 来实现的。
• 正交投影 (Orthogonal Projection)： 新 LoRA 参数的梯度更新被投影到历史子空间的正交补空间 ($\mathcal{M}_t^\perp$) 上。
• 机制： 更新规则为 $\nabla_w L_t = \nabla_w L_t - (\nabla_w L_t)\mathcal{M}_t(\mathcal{M}_t)^T$。这确保了新的学习发生在与现有知识相关性极小的方向上，在适应新领域的同时保留先前的特征分布。

C. 拓扑感知一致性 (Topology-Aware Consistency, TAC)

虽然子空间扩展隔离了参数，但它存在语义碎片化 (semantic fragmentation) 的风险，即相同类别的特征在不同领域之间发生分歧。

• OKR 通过将新领域的语义结构与基准领域（base domain）对齐，来强制执行拓扑感知一致性。
• 类原型（Class prototypes）被计算为特征的置信度加权平均值。
• 一致性损失 ($L_{tac}$) 通过最小化新领域原型与其对应基准原型之间的余弦距离（由匹配置信度加权）来实现。这在增量序列中维持了结构一致性和类内紧凑性。

3. 核心贡献

1. OKR 框架： 一种新颖的 DIOD 方法，通过增量扩展低秩、领域特定的子空间，实现了无需过去数据或领域路由的无冲突适配。
2. 基于梯度的正交刷新： 一种将新领域梯度方向约束在与历史子空间正交的策略，有效地减少了干扰并防止了灾ло性遗忘。
3. 拓扑感知一致性： 一种通过对齐跨领域类原型来减轻语义碎片化的机制，确保了语义连贯的表示。
4. 最先进的性能 (SOTA)： 大量的实验证明了其相对于现有无样本 (exemplar-free) 和基于 PEFT 方法的显著改进。

4. 实验结果

作者在三个基准测试上评估了 OKR：Pascal VOC 系列（风格偏移）、BDD100K 系列（自动驾驶中的场景偏移）以及 VOC-Corruption 系列（低级视觉损坏）。

• Pascal VOC： OKR 在最后一个阶段的 mAP 比表现最好的无样本方法 (LDB+SOYO) 高出 5.6%。尽管未使用任何样本，它也比表现最好的有样本方法 (TP-DIOD-B) 高出 7.7% mAP。
• BDD100K： OKR 比表现最好的无样本基线 (LDB+SOYO) 高出 6.5% mAP。
• VOC-Corruption： 在具有挑战性的 16 个领域序列中，OKR 达到了 61.0% mAP，比 LDB 高出 10.3%，展示了卓越的稳定性-塑性权衡。
• 效率： 该方法仅增加了 1.8% 的总参数量。由于采用了线性融合，推理时无需领域路由，因此其推理速度 (0.1348 s/sample) 快于 LDB (0.2836 s/sample) 等基线模型。

5. 重要性与主张

本文声称 OKR 建立了领域增量目标检测的新基准 (SOTA)。其重要性在于：

• 解决稳定性-塑性困境： 通过将学习解耦为正交子空间，OKR 在实现对新领域快速适应的同时，不会牺牲对旧知识的保留。
• 实际部署： 它在严格的无样本约束下运行，使其适用于无法存储历史数据的现实应用场景（如自动驾驶）。
• 架构效率： 不同于需要复杂路由或模型扩展的方法，OKR 通过 LoRA 分支的无缝线性融合，保持了固定的模型大小和推理成本。
• 鲁棒性： 该框架能有效处理从艺术风格变化到严重天气损坏的多种多样偏移，而不会出现以往增量学习方法中常见的性能退化问题。