Résumé Technique : Rafraîchissement de Connaissances Orthogonales pour la Détection d'Objets Incrémentale de Domaine

1. Définition du Problème

Le papier traite de la Détection d'Objets Incrémentale de Domaine (DIOD), un cadre complexe où un modèle doit s'adapter séquentiellement à de nouveaux domaines de données distincts (par exemple, des changements de conditions météorologiques, de styles artistiques ou de types de scènes) tout en conservant ses performances sur les domaines précédemment appris.

Le défi central de la DIOD est l'oubli catastrophique, où l'adaptation à un nouveau domaine écrase les représentations de caractéristiques critiques apprises lors des domaines précédents. Les solutions existantes font face à des limitations significatives :

• Les méthodes basées sur le rejeu (replay-based) nécessitent de stocker des exemplaires historiques, ce qui est souvent interdit par les contraintes de confidentialité et de surcharge de mémoire.
• La distillation de connaissances peine face aux décalages de domaine substantiels et est limitée par la capacité statique de l'architecture sous-jacente.
• Les méthodes basées sur l'architecture étendent des sous-réseaux pour chaque tâche, ce qui entraîne des coûts de calcul et de mémoire ingérables à mesure que le nombre de tâches augmente.
• Les méthodes de Fine-Tuning Paramétriquement Efficaces (PEFT) (par exemple, l'apprentissage par prompts, l'ajustement de biais) souffrent souvent d'interférence inter-domaines. Lorsque les paramètres partagés sont optimisés conjointement, les mises à jour pour les nouveaux domaines déforment les statistiques de caractéristiques essentielles aux domaines précédents, entraînant une dégradation des performances.

2. Méthodologie : Rafraîchissement de Connaissances Orthogonales (OKR)

Les auteurs proposent le Rafraîchissement de Connaissances Orthogonales (OKR), un cadre conçu pour permettre une expansion de capacité sans conflit lors de l'inférence, sans sélection de domaine. La méthode repose sur un squelette (backbone) ViTDet pré-entraîné et utilise l'Adaptation de Bas Rang (LoRA).

A. Expansion de Sous-Espace de Bas Rang

Au lieu de partager un espace de paramètres unique ou d'utiliser des plongements d'entrée superficiels, l'OKR construit de manière incrémentale des sous-espaces indépendants et spécifiques au domaine.

• Pour chaque nouveau domaine $t$, une branche LoRA dédiée (matrices $A_t$ et $B_t$) est injectée dans l'extracteur de caractéristiques.
• Seuls les nouveaux paramètres LoRA sont entraînables ; les branches précédentes restent gelées.
• Fusion Linéaire : En exploitant l'additivité linéaire de LoRA, toutes les branches sont fusionnées de manière transparente lors de l'entraînement et de l'inférence ($W_t = W_0 + \sum B_i A_i$). Cela permet une prise de décision holistique sans passages avant redondants ni besoin d'un routeur de domaine.

B. Rafraîchissement Orthogonal Basé sur le Gradient (GOR)

Pour empêcher les mises à jour du nouveau domaine d'interférer avec les sous-espaces historiques, l'OKR emploie une stratégie basée sur le gradient :

• Approximation de Sous-Espace : Avant l'entraînement sur la tâche $t$, la méthode approxime le sous-espace de gradient $\mathcal{M}_t$ engendré par les tâches précédentes. Ceci est réalisé en effectuant une Décomposition en Valeurs Singulières (SVD) sur la matrice de caractéristiques agrégée dérivée de l'entrée actuelle et des poids historiques gelés.
• Projection Orthogonale : Les mises à jour de gradient pour les nouveaux paramètres LoRA sont projetées sur le complément orthogonal du sous-espace historique ($\mathcal{M}_t^\perp$).
• Mécanisme : La règle de mise à jour est $\nabla_w L_t = \nabla_w L_t - (\nabla_w L_t)\mathcal{M}_t(\mathcal{M}_t)^T$. Cela garantit que l'apprentissage nouveau se produit dans des directions minimalement corrélées avec les connaissances existantes, préservant les distributions de caractéristiques antérieures tout en s'adaptant aux nouvelles.

C. Cohérence Sensible à la Topologie (TAC)

Bien que l'expansion de sous-espace isole les paramètres, elle risque de provoquer une fragmentation sémantique, où les caractéristiques d'une même classe divergent à travers différents domaines.

• L'OKR impose une cohérence sensible à la topologie en alignant les structures sémantiques des nouveaux domaines avec un domaine de base.
• Les prototypes de classes sont calculés comme des moyennes pondérées par la confiance des caractéristiques.
• Une perte de cohérence ($L_{tac}$) minimise la distance cosinus entre les nouveaux prototypes de domaine et leurs prototypes de base correspondants, pondérée par la confiance de correspondance. Cela maintient la cohérence structurelle et la compacité intra-classe à travers la séquence incrémentale.

3. Contributions Clés

1. Cadre OKR : Une approche novatrice pour la DIOD qui étend de manière incrémentale des sous-espaces de bas rang spécifiques au domaine, permettant une adaptation sans conflit sans données passées ni routage de domaine.
2. Rafraîchissement Orthogonal Basé sur le Gradient : Une stratégie qui contraint les directions de gradient du nouveau domaine à être orthogonales aux sous-espaces historiques, minimisant efficacement l'interférence et empêchant l'oubli catastrophique.
3. Cohérence Sensible à la Topologie : Un mécanisme pour atténuer la fragmentation sémantique en alignant les prototypes de classes à travers les domaines, assurant des représentations sémantiquement cohérentes.
4. Performance de l'État de l'Art : Des expériences approfondies démontrant des améliorations significatives par rapport aux méthodes existantes sans exemplaire et basées sur le PEFT.

4. Résultats Expérimentaux

Les auteurs ont évalué l'OKR sur trois benchmarks : la série Pascal VOC (changements de style), la série BDD100K (changements de scène dans la conduite autonome) et la série VOC-Corruption (corruptions visuelles de bas niveau).

• Pascal VOC : L'OKR a surpassé la meilleure méthode sans exemplaire (LDB+SOYO) de +5,6 % de mAP dans la session finale. Il a également dépassé la meilleure méthode avec exemplaires (TP-DIOD-B) de +7,7 % de mAP, malgré l'absence d'exemplaires.
• BDD100K : L'OKR a obtenu des gains de +6,5 % de mAP par rapport à la meilleure ligne de base sans exemplaire (LDB+SOYO).
• VOC-Corruption : Dans une séquence difficile de 16 domaines, l'OKR a atteint 61,0 % de mAP, surpassant LDB de +10,3 % et démontrant un compromis stabilité-plasticité supérieur.
• Efficacité : La méthode n'introduit qu'une augmentation de 1,8 % des paramètres totaux. Grâce à la fusion linéaire, elle ne nécessite aucun routage de domaine lors de l'inférence, atteignant des vitesses d'inférence plus rapides (0,1348 s/échantillon) par rapport à des bases comme LDB (0,2836 s/échantillon).

5. Signification et Revendications

Le papier affirme que l'OKR établit un nouvel état de l'art pour la détection d'objets incrémentale de domaine. Sa signification réside dans :

• Résolution du Dilemme Stabilité-Plasticité : En décomposant l'apprentissage en sous-espaces orthogonaux, l'OKR parvient à une adaptation rapide aux nouveaux domaines sans sacrifier la rétention des connaissances anciennes.
• Déploiement Pratique : Il opère sous des contraintes strictes sans exemplaire, ce qui le rend adapté aux applications du monde réel (ex: conduite autonome) où le stockage de données historiques est irréalisable.
• Efficacité Architecturale : Contrairement aux méthodes nécessitant un routage complexe ou une expansion de modèle, l'OKR maintient une taille de modèle et un coût d'inférence fixes grâce à la fusion linéaire transparente des branches LoRA.
• Robustesse : Le cadre gère efficacement divers décalages, des changements de style artistique aux corruptions météorologiques sévères, sans la dégradation des performances typique des approches d'apprentissage incrémental précédentes.