Beyond Prompt Degradation: Prototype-guided Dual-pool Prompting for Incremental Object Detection

Ce papier propose PDP, un cadre novateur pour la détection d'objets incrémentielle qui surpasse les méthodes existantes en utilisant un découplage de prompts à double pool pour séparer les connaissances générales et spécifiques, ainsi qu'un module de génération de pseudo-étiquettes prototypiques pour corriger la dérive des prompts et atteindre des performances de pointe sur les benchmarks MS-COCO et PASCAL VOC.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot à reconnaître des objets dans des photos, mais avec une contrainte très difficile : il ne doit jamais oublier ce qu'il a déjà appris, même quand on lui montre de nouveaux objets. C'est ce qu'on appelle la "détection d'objets incrémentale".

Le problème, c'est que les méthodes actuelles utilisent une sorte de "mémoire magique" (appelée prompt) pour aider le robot. Mais cette mémoire a deux gros défauts :

1. Le mélange des genres (Couplage) : On met tout dans le même tiroir. Les connaissances générales (comme "c'est un animal") se mélangent avec les détails spécifiques (comme "c'est un chat roux"). Résultat : le robot devient confus.
2. La dérive (Drift) : Quand on lui apprend de nouvelles choses, le robot commence à oublier les anciennes. Par exemple, s'il apprend à reconnaître des "voitures", il peut commencer à penser que les "chats" qu'il connaissait avant sont en fait du "décor" (fond) et les ignorer.

Les auteurs de cet article, Yaoteng Zhang et son équipe, ont créé une solution géniale appelée PDP. Voici comment ça marche, avec des analogies simples :

1. La Bibliothèque à Deux Rayons (Le "Dual-Pool")

Au lieu d'avoir un seul grand tiroir pour toutes les connaissances, PDP construit une bibliothèque avec deux rayons distincts :

• Le Rayon "Général" (Shared Pool) : C'est comme une bibliothèque de connaissances universelles. Ici, on range tout ce qui est utile pour tout le monde, comme "les objets ont des formes" ou "les ombres existent". Ce rayon est mis à jour tout le temps pour aider le robot à comprendre le monde de manière stable.
• Le Rayon "Spécialisé" (Private Pool) : C'est comme un casier personnel pour chaque nouvelle tâche. Quand le robot apprend à reconnaître les "chats", il crée un casier spécial juste pour ça. Quand il apprend les "voitures", il en crée un autre. Cela empêche les connaissances de se mélanger et de se perturber mutuellement.

L'analogie : Imaginez un chef cuisinier.

• Le Rayon Général, c'est sa connaissance des épices de base (sel, poivre) qu'il utilise pour tous les plats.
• Le Rayon Spécialisé, c'est son carnet de recettes secrètes pour chaque nouveau plat qu'il invente.
  Grâce à cette séparation, le chef ne risque pas de mettre du sucre dans un plat salé par erreur, et il n'oublie pas ses bases tout en apprenant de nouvelles recettes.

2. Le Détective de Prototype (Le module PPG)

Le deuxième problème est que, quand le robot apprend de nouvelles choses, il se trompe souvent sur les anciennes. Il pense : "Ah, ce chat, je ne l'ai pas vu depuis longtemps, donc ce n'est pas un chat, c'est juste un fond d'écran." C'est ce qu'on appelle la "dérive des invites".

Pour régler ça, PDP utilise un Détective de Prototype :

• Au lieu de se fier à un simple "score de confiance" (qui peut être trompeur), le robot garde en mémoire une "photo idéale" (un prototype) de chaque objet qu'il a déjà appris.
• Quand il voit une image floue ou douteuse, il ne dit pas "je ne suis pas sûr". Il compare l'image à sa "photo idéale".
• L'analogie : Imaginez que vous avez une photo de votre ami dans votre téléphone. Si vous voyez quelqu'un de loin qui ressemble à votre ami, même si vous n'êtes pas sûr à 100 %, votre cerveau dit : "Attends, il ressemble beaucoup à la photo de mon ami, donc c'est probablement lui."
• Grâce à ce système, le robot peut créer de nouvelles "étiquettes" (pseudo-labels) fiables pour les objets anciens, même quand il est en train d'apprendre quelque chose de nouveau. Il ne les oublie pas.

Les Résultats

Grâce à cette double bibliothèque et ce détective intelligent, le robot PDP a battu tous les records précédents :

• Il a appris de nouvelles choses sans oublier les anciennes (il est stable).
• Il a appris très vite les nouvelles choses (il est plastique/adaptable).
• Sur les tests standards (comme MS-COCO), il a amélioré les performances de plus de 9 %, ce qui est énorme dans ce domaine.

En résumé

L'article propose de séparer clairement ce que le robot apprend de nouveau et ce qu'il garde en mémoire générale, tout en utilisant des photos idéales (prototypes) pour s'assurer qu'il ne perd jamais de vue les objets qu'il connaît déjà. C'est une façon intelligente de dire au robot : "Apprends de nouvelles choses, mais garde toujours tes anciennes connaissances bien rangées et accessibles."

Résumé technique

1. Problématique

La Détection d'Objets Incrémentale (IOD) vise à apprendre continuellement de nouvelles catégories d'objets à partir d'un flux de données séquentiel, tout en maintenant les performances sur les classes précédemment apprises, sans avoir accès aux données passées. Ce défi incarne le dilemme stabilité-plasticité : le modèle doit être assez plastique pour intégrer de nouvelles connaissances, mais assez stable pour éviter l'oubli catastrophique.

Bien que les méthodes basées sur les prompts (inspirées des modèles de langage) aient gagné en popularité pour leur efficacité paramétrique et leur capacité à éviter la réutilisation de données (replay), elles souffrent actuellement d'un phénomène de dégradation des prompts lors de l'adaptation continue. Cette dégradation se manifeste par deux problèmes majeurs :

1. Couplage des prompts (Prompt Coupling) : Les méthodes existantes utilisent souvent un seul pool de prompts pour stocker à la fois des connaissances générales (transférables) et des connaissances spécifiques à la tâche. Cela force ces prompts à entrer en compétition dans un espace paramétrique limité, entraînant des interférences et une dégradation des représentations.
2. Dérive des prompts (Prompt Drift) : Dans un contexte IOD, les objets des anciennes classes sont souvent étiquetés comme « arrière-plan » lors de l'apprentissage de nouvelles tâches. Cette incohérence de supervision force le modèle à mettre à jour des prompts déjà optimisés, les faisant dériver vers des directions sémantiques incorrectes. De plus, les méthodes actuelles de génération de pseudo-étiquettes reposent sur des seuils de confiance statiques, qui sont mal calibrés face aux disparités de distribution entre les classes.

2. Méthodologie : Le Framework PDP

Les auteurs proposent PDP (Prototype-guided Dual-pool Prompting), un cadre novateur conçu pour résoudre ces problèmes par la découplage des prompts et l'utilisation de prototypes.

A. Prompting à Double Pool Découplé (Decoupled Dual-Pool Prompting - DDP)

Pour éliminer le couplage, PDP introduit une architecture à deux pools distincts :

• Pool Partagé (Shared Pool) : Contient des tokens de prompts « généraux » transférables entre toutes les tâches. Il est continuellement optimisé pour capturer des connaissances visuelles généralisées, facilitant le transfert de connaissances vers l'avant (forward transfer).
• Pool Privé (Private Pool) : Contient des prompts « spécifiques » à chaque tâche. Pour chaque nouvelle tâche, un ensemble de paramètres de prompts est privatise et mis à jour uniquement pour cette tâche, tandis que les paramètres des tâches précédentes sont figés. Cela préserve les représentations discriminatives spécifiques sans interférence.
• Contrainte de Diversité Inter-Pool : Une fonction de perte (Directional Decoupled Loss) est ajoutée pour maximiser la séparation angulaire entre les vecteurs des deux pools, garantissant qu'ils apprennent des représentations orthogonales et complémentaires.

B. Génération de Pseudo-étiquettes Guidée par Prototype (Prototypical Pseudo-Label Generation - PPG)

Pour contrer la dérive des prompts causée par l'incohérence de supervision (anciennes classes traitées comme arrière-plan), PDP remplace les seuils de confiance statiques par une approche basée sur les prototypes :

• Construction de l'espace de prototypes : Pour chaque classe apprise, un prototype (moyenne des embeddings des objets correctement classés) est maintenu dans l'espace de caractéristiques.
• Validation Hiérarchique :
  • Les échantillons à haute confiance sont acceptés directement.
  • Les échantillons à confiance intermédiaire ou faible sont validés en calculant leur similarité avec les prototypes de classe figés des anciennes tâches. Si la similarité dépasse un seuil, ils sont conservés comme pseudo-étiquettes fiables, même si leur score de confiance est bas.
• Cela permet de maintenir une supervision cohérente tout au long du processus incrémental, en protégeant les connaissances anciennes contre la dérive.

3. Contributions Clés

1. Premier framework à double pool pour l'IOD : PDP est la première méthode à découpler explicitement les prompts généraux et spécifiques via des pools séparés, améliorant significativement l'équilibre stabilité-plasticité.
2. Module PPG innovant : Utilisation de la similarité prototype-caractéristique dans l'espace d'embedding pour générer des pseudo-étiquettes fiables et sémantiquement cohérentes, éliminant le besoin de seuils de confiance fixes.
3. Performance de pointe (SOTA) : La méthode atteint les meilleurs résultats sur plusieurs benchmarks, prouvant son efficacité à prévenir l'oubli catastrophique tout en apprenant de nouvelles classes.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks MS-COCO et PASCAL VOC dans divers scénarios incrémentaux.

• MS-COCO : PDP atteint un mAP@A de 59,4 %, surpassant les méthodes de l'état de l'art (comme MD-DETR) avec une amélioration de 9,2 %. Il démontre une résistance exceptionnelle à l'oubli (mAP@P élevé) et une forte capacité d'adaptation (mAP@C).
• PASCAL VOC : PDP atteint un mAP@A de 79,4 %, avec une amélioration de 3,3 % par rapport à la deuxième meilleure méthode.
• Études d'ablation :
  • L'utilisation conjointe du Pool Partagé et du Pool Privé est cruciale pour la performance globale.
  • Le module PPG améliore la rétention des connaissances anciennes de +13,9 % (mAP@P) par rapport aux méthodes sans pseudo-étiquettes guidées par prototype.
  • La taille du pool partagé (Ns=100) et du pool privé (Np=80) a été optimisée pour maximiser la stabilité et la plasticité.

5. Signification et Impact

Ce travail est significatif car il identifie et résout les causes racines de l'échec des méthodes de prompts actuelles en détection incrémentale. En séparant explicitement les connaissances générales et spécifiques, et en introduisant une supervision robuste basée sur les prototypes, PDP offre une solution élégante au problème de la dégradation des représentations.

La méthode démontre qu'il est possible d'atteindre un équilibre optimal entre stabilité (ne pas oublier le passé) et plasticité (apprendre le nouveau) sans recourir à la réutilisation de données (replay), ce qui est essentiel pour le déploiement de systèmes de vision par ordinateur dans des environnements ouverts et dynamiques. Le code et les données sont publics, favorisant la reproductibilité et l'adoption future.