技術要約：ドメイン漸進的物体検出のための直交知識更新（Orthogonal Knowledge Refreshing）

1. 問題定義

本論文は、モデルが新しい、かつ異なるデータドメイン（例：変化する天候条件、芸術的スタイル、またはシーンのタイプ）に逐次的に適応しつつ、以前に学習したドメインに対する性能を維持しなければならない、困難な設定である**ドメイン漸進的物体検出（Domain-Incremental Object Detection: DIOD）**に取り組んでいる。

DIODにおける核心的な課題は、新しいドメインへの適応が、以前のドメインから学習した重要な特徴表現を上書きしてしまう**破滅的忘却（catastrophic forgetting）**である。既存の解決策には以下の重大な限界がある：

• リプレイベースの手法は、過去の事例（exemplars）の保存を必要とするが、これはプライバシー制約やメモリオーバーヘッドによって禁止されることが多い。
• 知識蒸留は、大幅なドメインシフトに対して苦戦し、基礎となるアーキテクチャの静的な容量によって制限される。
• アーキテクチャベースの手法は、各タスクに対してサブネットワークを拡張するため、タスク数が増えるにつれて管理不可能な計算コストとメモリコストを招く。
• パラメータ効率の良い微調整（PEFT）手法（例：プロンプト学習、バイアスチューニング）は、しばしばドメイン間の干渉に悩まされる。共有パラメータが共同で最適化される際、新ドメインのための更新が、以前のドメインに不可欠な特徴統計量を歪ませ、性能低下を引き起こす。

2. 手法：直交知識更新（Orthogonal Knowledge Refreshing: OKR）

著者らは、推論時のドメイン選択なしに、衝突のない容量拡張を可能にするように設計されたフレームワークである**直交知識更新（OKR）**を提案する。この手法は、事前学習済みのViTDetバックボーンに基づいて構築され、低ランク適応（LoRA）を利用している。

A. 低ランク部分空間の拡張

単一のパラメータ空間を共有したり、浅い入力埋め込みを使用したりする代わりに、OKRは独立したドメイン固有の部分空間を漸進的に構築する。

• 各新しいドメイン $t$ に対して、専用のLoRAブランチ（行列 $A_t$ および $B_t$）が特徴抽出器に注入される。
• 新しいLoRAパラメータのみが学習対象となり、以前のブランチは凍結されたままとなる。
• 線形融合： LoRAの線形加法性を活用することで、すべてのブランチは訓練時および推論時の両方においてシームレスに融合される（$W_t = W_0 + \sum B_i A_i$）。これにより、冗長なフォワードパスやドメインルーターを必要とせずに、包括的な意思決定が可能になる。

B. 勾配ベースの直交更新（Gradient-Based Orthogonal Refreshing: GOR）

新しいドメインの更新が履歴上の部分空間を妨害することを防ぐため、OKRは勾配ベースの戦略を採用している：

• 部分空間の近似： タスク $t$ の訓練を開始する前に、本手法は以前のタスクによって生成された勾配部分空間 $\mathcal{M}_t$ を近似する。これは、現在の入力と凍結された履歴の重みから導出された集約特徴行列に対して特異値分解（SVD）を行うことで達成される。
• 直交投影： 新しいLoRAパラメータに対する勾引更新は、履歴上の部分空間の直交補空間（$\mathcal{M}_t^\perp$）へと投影される。
• メカニズム： 更新規則は $\nabla_w L_t = \nabla_w L_t - (\nabla_w L_t)\mathcal{M}_t(\mathcal{M}_t)^T$ である。これにより、新しい学習が既存の知識と相関が最小限である方向で行われることが保証され、新しいものに適応しながらも、以前の特徴分布を保持することができる。

C. トポロジー認識の一貫性（Topology-Aware Consistency: TAC）

部分空間の拡張はパラメータを分離するが、同一クラスの特徴が異なるドメイン間で乖離してしまう**意味的断片化（semantic fragmentation）**のリスクを伴う。

• OKRは、新しいドメインのセマンティック構造をベースドメインと整合させることにより、トポロジー認識の一貫性を強制する。
• クラスプロトタイプは、信頼度で重み付けされた特徴の平均として計算される。
• 一貫性損失（$L_{tac}$）は、一致する信頼度によって重み付けされた、新しいドメインのプロトタイプとその対応するベースプロトタイプ間のコサイン距離を最小化する。これにより、漸進的なシーケンス全体における構造的一貫性とクラス内のコンパクトネスが維持される。

3. 主な貢献

1. OKRフレームワーク： 低ランクのドメイン固有部分空間を漸進的に拡張し、過去のデータやドメインルーティングなしに衝突のない適応を可能にする、DIODのための新しいアプローチ。
2. 勾配ベースの直交更新： 新しいドメインの勾配方向を履歴上の部分空間に対して直交するように制約し、干渉を効果的に最小化して破滅的忘却を防ぐ戦略。
3. トポロジー認識の一貫性： ドメイン間でクラスプロトタイプを整合させることで、セマンティックな一貫性を確保し、意味的な断片化を軽減するメカニズム。
4. 最先端の性能： 既存の事例フリー（exemplar-free）およびPEFTベースの手法に対して、大幅な改善を示す広範な実験。

4. 実験結果

著者らは、3つのベンチマーク（Pascal VOCシリーズ（スタイルの変化）、BDD100Kシリーズ（自動運転におけるシーンの変化）、VOC-Corruptionシリーズ（低レベルの視覚的破損））においてOKRを評価した。

• Pascal VOC： OKRは、最終セッションにおいて最高の事例フリー手法（LDB+SOYO）を**+5.6%** mAP上回った。また、事例を使用しないにもかかわらず、最高の事例ベース手法（TP-DIOD-B）を**+7.7%** mAP上回った。
• BDD100K： OKRは、最高の事例フリー・ベースライン（LDB+SOYO）に対して**+6.5%** mAPの利得を達成した。
• VOC-Corruption： 困難な16ドメインのシーケンスにおいて、OKRは61.0% m of mAPを達成し、LDBを**+10.3%**上回り、優れた安定性と可塑性のトレードオフを示した。
• 効率性： 本手法は総パラメータ数のわずか**1.8%**の増加しか導入しない。線形融合により、推論時にはドメインルーティングを必要とせず、LDB（0.2836 s/sample）などのベースラインと比較して高速な推論速度（0.1348 s/sample）を実現している。

5. 意義と主張

本論文は、OKRがドメイン漸進的物体検出における**新たな最先端（state-of-the-art）**を確立すると主張している。その意義は以下の通りである：

• 安定性と可塑性のジレンマの解決： 学習を直交する部分空間へと分離することで、OKRは古い知識の保持を犠牲にすることなく、新しいドメインへの迅速な適応を実現する。
• 実用的な展開： 本手法は厳格な事例フリー（exemplar-free）制約下で動作するため、履歴データの保存が不可能な現実世界のアプリケーション（例：自動運転）に適している。
• アーキテクチャの効率性： 複雑なルーティングやモデル拡張を必要とする手法とは異なり、OKRはLoRAブランチのシームレスな線形融合を通じて、固定されたモデルサイズと推論コストを維持する。
• 堅牢性： 本フレームワークは、芸術的なスタイルの変化から激しい天候による破損に至るまで、従来の増分学習アプローチに見られる性能低下を起こすことなく、多様な変化を効果的に処理する。