Focus, Align, and Sustain: Counteracting Gradient Dilution in Incremental Object Detection

Résumé Technique : Focus, Align, and Sustain (FAS) pour la détection d'objets incrémentale

1. Énoncé du Problème

L'article traite du défi critique de la détection d'objets incrémentale (IOD) appliquée aux Transformers de détection (DETR). Alors que les approches classiques d'apprentissage profond pour la détection d'objets supposent un ensemble statique de catégories, les scénarios du monde réel exigent que les modèles apprennent de nouvelles classes de manière séquentielle sans oublier celles précédemment apprises.

Les auteurs identifient que l'adaptation de DETR à l'IOD introduit une instabilité systémique appelée Dilution du Gradient. Contrairement aux détecteurs basés sur les CNN qui reposent sur des ancres fixes et des grilles denses, DETR utilise une optimisation basée sur des ensembles via l'attention globale et l'appariement biparti. Les auteurs soutiennent que l'application directe des stratégies d'IOD existantes (comme la distillation de connaissances ou le rejeu d'exemplaires) à ce cadre dynamique basé sur des ensembles provoque une érosion en cascade des signaux d'optimisation nécessaires à la préservation des connaissances anciennes.

Cette dégradation est pilotée par trois facteurs étroitement couplés :

1. Dispersion du Signal : Dans DETR, le nombre de requêtes ($N \approx 300\text{--}900$) dépasse largement le nombre d'objets de vérité terrain ($M$). Par conséquent, la majorité des requêtes sont assignées à l'arrière-plan. Pendant l'apprentissage incrémental, ces gradients dominés par l'arrière-plan submergent les signaux de premier plan (foreground) épars, supprimant l'apprentissage des anciennes classes.
2. Dérive d'Assignation (Assignment Drift) : DETR repose sur un appariement biparti stochastique. À mesure que les paramètres du modèle sont mis à jour, l'assignation d'une requête spécifique à un objet de vérité terrain fluctue au fil des itérations. Cela provoque des trajectoires de gradient pour un même concept ancien qui sont directionnellement incohérentes, entraînant une auto-annulation des mises à jour et empêchant une accumulation cohérente des connaissances.
3. Attrition du Support (Support Attrition) : Les stratégies de rejeu standard sélectionnent souvent des échantillons proches des centroïdes de classe (vue monocentrée). Cela crée un biais centripète qui comprime la variété (manifold) des caractéristiques, provoquant un rétrécissement du support géométrique des anciennes classes. Cette érosion affaiblit les frontières de décision, particulièrement dans les régions périphériques, les rendant vulnérables à l'interférence des nouvelles classes.

2. Méthodologie : Le Cadre FAS

Pour contrer la Dilution du Gradient, les auteurs proposent FAS (Focus–Align–Sustain), un cadre unifié conçu pour restaurer des dynamiques de gradient robustes grâce à trois mécanismes spécifiques :

A. Focus : Formulation de Requête par Injection de Prior (PIQ)

• Objectif : Atténuer la Dispersion du Signal en améliorant le rapport signal sur bruit (SNR) au stade de l'initialisation des requêtes.
• Mécanisme : Au lieu d'initialiser les requêtes avec des plongements (embeddings) sémantiquement neutres, les auteurs introduisent une banque de prototypes de classes apprenables (ancres sémantiques). Ils calculent une carte de saillance sémantique en mesurant la similitude cosinus entre les caractéristiques de l'encodeur et ces prototypes.
• Action : Une stratégie de sélection "Top-P" identifie les régions de premier plan les plus saillantes, filtrant physiquement les régions d'arrière-plan à faible confiance avant qu'elles n'entrent dans le décodeur. Les requêtes sont initialisées directement à partir de ces caractéristiques de haute valeur.
• Effet : Cela restreint l'espace de recherche de l'optimisation de l'image entière ($H \times W$) vers des candidats de haute valeur ($N$), garantissant que les mises à jour de gradient se concentrent sur les signaux de premier plan plutôt que d'être noyées par le bruit de l'arrière-plan.

B. Align : Distillation d'Ancre Déterministe (DAD)

• Objectif : Atténuer la Dérive d'Assignation en stabilisant la direction des mises à jour de gradient à travers les étapes d'apprentissage.
• Mécanisme : Plutôt que de s'appuyer sur l'appariement biparti dynamique du modèle étudiant (qui cause des oscillations), DAD établit des ancres spatiales invariantes dérivées d'un modèle enseignant gelé.
• Action : Le modèle étudiant est contraint de mimer l'interprétation sémantique et les logits de sortie de l'enseignant à ces coordonnées d'ancres fixes. Cela crée une contrainte de stabilité en boucle fermée où les requêtes de l'étudiant sont naturellement liées aux mêmes instances que celles de l'enseignant, indépendamment de la gigue (jitter) d'appariement interne de l'étudiant.
• Effet : Cela impose une accumulation de gradient cohérente (linéaire avec les pas de temps) plutôt qu'une accumulation sous-linéaire causée par un comportement de marche aléatoire, assurant un apprentissage cohérent des anciens concepts.

C. Sustain : Rejeu de Support de la Variété (MSR)

• Objectif : Contrecarrer l'Attrition du Support en préservant l'intégrité géométrique des variétés de caractéristiques des anciennes classes.
• Mécanisme : S'éloignant de la sélection basée sur le centroïde (ex: Herding), MSR décompose la distribution des caractéristiques de chaque ancienne classe en plusieurs sous-distributions latentes via le partitionnement K-Means.
• Action : Le tampon de rejeu est construit en sélectionnant les médoids (échantillons représentatifs) de ces pics de densité locale plutôt qu'un seul centroïde global.
• Effet : Cette approche préserve explicitement les modes locaux diversifiés et les régions de bordure de la variété des caractéristiques, empêissant la "réduction de covariance" qui conduit à l'érosion des frontières de décision. Elle maintient l'étendue géométrique nécessaire pour résister à l'oubli catastrophique.

3. Principales Contributions

L'article revendique les contributions primaires suivantes :

1. Formalisation Théorique : Les auteurs formalisent systématiquement la Dilution du Gradient dans les Transformers incrémentaux, en la déconstruisant en Dispersion du Signal, Dérive d'Assignation et Attrition du Support. Cela fournit une perspective théorique nouvelle sur l'oubli catastrophique spécifique aux architectures basées sur des ensembles.
2. Innovation Méthodologique : La proposition de FAS, un cadre aligné sur les mécanismes qui traite les trois facteurs de dégradation identifiés par la Formulation de Requête par Injection de Prior, la Distillation d'Ancre Déterministe et le Rejeu de Support de la Variété.
3. Performance Empirique : Des expériences approfondies démontrent que FAS restaure des dynamiques d'optimisation robustes et atteint des performances de pointe (state-of-the-art).

4. Résultats Expérimentaux

Les auteurs ont évalué FAS sur PASCAL VOC 2007 et MS COCO 2017 sous divers protocoles incrémentaux (environnements à deux phases et multi-phases).

• Configuration à Deux Phases (COCO 40+40 & 70+10) :
  • FAS a atteint 44.8 AP dans la division 40+40, surpassant le précédent meilleur (SDDGR) de 1.8 point.
  • Dans la division exigeante 70+10, FAS a atteint 45.5 AP, dépassant la deuxième meilleure méthode de 3.1 points.
  • La méthode a considérablement réduit l'écart par rapport à la limite supérieure de l'entraînement conjoint (Joint-training), réduisant l'écart absolu à seulement 1.5 dans la configuration 70+10.
• Configuration Multi-Phases (COCO 40+10×4) :
  • Dans l'apprentissage incrémental à long terme, FAS surpasse systématiquement les bases de référence à toutes les phases.
  • Dans la phase finale de la configuration 40+10×4, FAS a atteint 42.9 AP, une amélioration substantielle par rapport au précédent meilleur (DCA) et un gain de plus de 5.0 AP par rapport aux bases de référence fortes antérieures dans ce cadre rigoureux spécifique.
• Études d'Ablation :
  • Le retrait de l'un des trois composants (PIQ, DAD, MSR) a entraîné des chutes de performance significatives.
  • PIQ s'est avéré critique pour récupérer de l'oubli catastrophique initial causé par la dispersion du signal.
  • DAD a été prouvé essentiel pour stabiliser les trajectoires de gradient, réduisant considérablement le pourcentage de points d'oubli (FPP).
  • MSR (avec $K=3$) s'est avéré surpasser les stratégies de rejeu à centroïde unique, validant l'importance de préserver les frontières de la variété.

5. Signification et Revendications

L'article positionne FAS comme une évolution nécessaire pour l'application des détecteurs basés sur les Transformers aux environnements dynamiques du monde réel. Les auteurs affirment que leur travail déplace l'attention de la simple application d'heuristiques d'IOD standard aux DETR vers l'adresse de la fragilité structurelle inhérente à l'optimisation basée sur des ensembles.

En identifiant la Dilution du Gradient comme la cause racine de la dégradation des performances, l'article soutient que l'apprentissage incrémental futur pour les Transformers doit explicitement gérer la magnitude du signal, la cohérence de l'assignation et la géométrie de l'espace des caractéristiques. Les auteurs déclarent que leur perspective centrée sur le gradient fournit des informations utiles pour développer des détecteurs d'objets incrémentaux plus stables, atteignant un nouvel état de l'art sans dépendre d'expansions architecturales complexes ou de charges de calcul lourdes au-delà des mécanismes proposés.