Beyond Prompt Degradation: Prototype-guided Dual-pool Prompting for Incremental Object Detection

Titel: Beyond Prompt Degradation: Prototype-guided Dual-pool Prompting for Incremental Object Detection

Auteurs: Yaoteng Zhang, Qing Zhou, Junyu Gao, Qi Wang (Northwestern Polytechnical University)

---

1. Het Probleem: Prompt Degradatie in Incrementele Objectdetectie

Incrementele Objectdetectie (IOD) heeft als doel om continu nieuwe objectcategorieën te leren zonder de prestaties op eerder geleerde categorieën te verliezen (catastrofaal vergeten). Hoewel prompt-gebaseerde methoden populair zijn geworden vanwege hun efficiëntie en het ontbreken van replay-gebaseerde data, lijden ze onder een fenomeen dat "prompt degradatie" wordt genoemd.

De auteurs identificeren twee fundamentele oorzaken voor deze degradatie:

1. Prompt Koppeling (Prompt Coupling): Bestaande methoden gebruiken vaak één enkele "prompt pool" waarin zowel algemene taken (task-general) als specifieke taken (task-specific) prompts worden opgeslagen. Omdat deze prompts in dezelfde beperkte ruimte concurreren, interfereren ze met elkaar, wat leidt tot een verslechtering van de representatie.
2. Prompt Drift: Tijdens het leren van nieuwe taken worden objecten van oude categorieën in de nieuwe dataset vaak als "achtergrond" gemarkeerd (vanwege ontbrekende annotaties). Deze inconsistente supervisie zorgt ervoor dat prompts die al geoptimaliseerd waren voor oude taken, worden bijgewerkt in de verkeerde semantische richting, waardoor ze "driften".

---

2. Methodologie: Het PDP Framework

Om deze uitdagingen aan te pakken, stellen de auteurs PDP (Prototype-guided Dual-pool Prompting) voor. Dit is een volledig end-to-end trainbaar framework dat bestaat uit twee kernmodules:

A. Decoupled Dual-Pool Prompting (DDP)

In plaats van één pool, introduceert PDP een dubbele pool-architectuur om prompts expliciet te ontkoppelen:

• Shared Pool (Gedeelde Pool): Bevat "task-general" prompts die algemene visuele kennis vastleggen. Deze pool wordt continu geoptimaliseerd en dient voor stabiele kennisoverdracht naar toekomstige taken.
• Private Pool (Privé Pool): Bevat "task-specific" prompts die discriminatieve kenmerken voor specifieke taken leren. De parameters voor oude taken worden hier bevroren, terwijl nieuwe taken hun eigen prompts leren.
• Inter-Pool Diversiteitsbeperking: Een verliesfunctie ($L_{DDL}$) zorgt ervoor dat de vectoren in de gedeelde en privé pool orthogonaal (loodrecht) op elkaar staan. Dit voorkomt dat de twee pools elkaar verstoren en zorgt voor complementaire leermogelijkheden.

B. Prototypical Pseudo-Label Generation (PPG)

Om prompt drift te bestrijden veroorzaakt door inconsistente supervisie, introduceert PPG een module die gebruikmaakt van prototypes in de inbeddingsruimte (embedding space) in plaats van statische betrouwbaarheidsdrempels.

• Prototype Ruimte: Voor elke geleerde klasse wordt een prototype (het gemiddelde van de feature-embeddings van correct geclassificeerde objecten) bijgehouden.
• Hiërarchische Validatie:
  1. Eenvoudige samples: Hoogbetrouwbare detecties worden direct geaccepteerd.
  2. Moeilijke samples: Voor detecties met lage of middelhoge betrouwbaarheid wordt de gelijkenis berekend met het corresponderende klassen-prototype. Als de gelijkenis een drempel overschrijdt, wordt het label als betrouwbaar beschouwd, zelfs als de oorspronkelijke confidence laag is.
• Dit zorgt voor consistente supervisie gedurende het hele incrementele proces en voorkomt dat oude objecten onterecht als achtergrond worden behandeld.

---

3. Belangrijkste Bijdragen

1. Eerste Dual-Pool Framework voor IOD: PDP is het eerste framework dat task-general en task-specific prompts expliciet ontkoppelt via een gedeelde en privé pool, wat de balans tussen stabiliteit en plasticiteit aanzienlijk verbetert.
2. Prototype-gestuurde Pseudo-labels: De ontwikkeling van de PPG-module die prototype-gebaseerde gelijkenis gebruikt om betrouwbare pseudo-labels te genereren, ongeacht de class-distributieverschillen. Dit lost het probleem van statische drempels op.
3. State-of-the-Art Prestaties: De methode behaalt nieuwe records op standaard benchmarks, met name door het effectief voorkomen van catastrofaal vergeten en het behouden van hoge prestaties op nieuwe taken.

---

4. Resultaten

De methode is geëvalueerd op de MS-COCO en PASCAL VOC datasets onder verschillende incrementele instellingen.

• MS-COCO: PDP behaalde een mAP@A (gemiddelde prestatie over alle taken) van 59,4%. Dit is een verbetering van 9,2% ten opzichte van de bestaande state-of-the-art (MD-DETR). De methode toonde ook de laagste forgetting-rate (mAP@P), wat aantoont dat oude kennis uitstekend behouden blijft.
• PASCAL VOC: PDP behaalde een mAP@A van 79,4%, een verbetering van 3,3% ten opzichte van de tweede beste methode.
• Ablatie-studies:
  • Het gebruik van zowel de Shared als Private Pool bleek essentieel voor de prestaties.
  • De PPG-module verbeterde de stabiliteit (mAP@P) met 13,9% en de plasticiteit (mAP@C) met 2,7% ten opzichte van methoden zonder deze module.
  • De grootte van de pools is kritiek: een Shared Pool van 100 tokens en een Private Pool van 80 tokens (voor COCO) bleek de optimale configuratie.

---

5. Betekenis en Conclusie

Dit paper biedt een fundamentele oplossing voor het probleem van prompt degradatie in continu lerende objectdetectiesystemen. Door de ontkoppeling van kennis (via dual pools) en het behoud van semantische consistentie (via prototype-gestuurde pseudo-labels), slaagt PDP erin om de stabiliteit-plasticiteitsdilemma effectief op te lossen.

De resultaten tonen aan dat het niet nodig is om oude data te hergebruiken (replay-free) om uitstekende prestaties te behalen. De code en datasets zijn openbaar gemaakt, wat de weg vrijmaakt voor verdere onderzoek naar robuuste, adaptieve visuele systemen in open wereldscenario's.