Technische Samenvatting: DETR-ViP

Probleemstelling

Hoewel visuele prompting een flexibele en interactieve aanpak biedt voor open-vocabulaire objectdetectie—vaak prestaties van tekstprompts overtreffend bij het herkennen van zeldzame categorieën door directe domeincompatibiliteit—blijft de algehele prestatie suboptimaal in vergelijking met tegenhangers die op tekst zijn gebaseerd. Bestaand onderzoek heeft visuele prompting grotendeels behandeld als een bijproduct van het trainen van tekstgebaseerde detectoren, in plaats van het te optimaliseren als een primair doel.

De auteurs identificeren de oorzaak van deze suboptimale prestaties als een gebrek aan globale onderscheidbaarheid in visuele promptrepresentaties. Door analyse van een basismodel (VIS-GDINO) gebouwd op Grounding DINO, observeren zij dat:

1. Visuele prompts van verschillende instanties van dezelfde categorie een hoge variantie vertonen.
2. Visuele prompts van verschillende categorieën zwaar verweven zijn in de globale inbeddingsruimte, zonder duidelijke semantische grenzen.
3. Standaard trainingsstrategieën (bijv. "huidige afbeeldingsprompt, detectie in huidige afbeelding") de diversiteit van negatieve voorbeelden beperken, waardoor het model geen globaal optimale promptverdeling kan leren.

Methodologie

Het artikel stelt DETR-ViP (Detection Transformer met Robuuste Discriminerende Visuele Prompts) voor, een raamwerk ontworpen om de semantische coherentie en onderscheidbaarheid van visuele prompts te verbeteren. De methodologie bouwt voort op Grounding DINO en introduceert drie kerncomponenten:

1. Globale Promptintegratie

Om de beperkte categoriediversiteit in standaard trainingsbatches aan te pakken, aggregeert DETR-ViP visuele prompts van alle samples binnen een batch.

• Mechanisme: Prompts worden gegroepeerd per categorie en er wordt een klassenprototype (gemiddelde vector) berekend voor elke categorie. Deze prototypes worden samengevoegd en gedeeld over alle afbeeldingen in de batch om te dienen als classifier-weights.
• Effect: Deze strategie verhoogt effectief het aantal negatieve voorbeelden per categorie en simuleert impliciet prompting over meerdere afbeeldingen. Het stimuleert clustering binnen dezelfde klasse en scherpt de grenzen tussen klassen aan door het model tijdens het trainen bloot te stellen aan een bredere verdeling van visuele instanties.

2. Distillatie van Visueel-Tekstuele Promptrelaties

Om gebruik te maken van de sterke semantische priors die inherent zijn aan taalsmodellen, zonder te lijden onder de modale kloof die directe uitlijning belemmert, introduceren de auteurs een verliesfunctie voor relationele distillatie.

• Mechanisme: In plaats van een directe uitlijning af te dwingen tussen individuele afbeelding-tekstparen (wat imperfect kan zijn), draagt de methode de relationele structuur van tekstprompts over naar visuele prompts. Het minimaliseert de cross-entropy tussen de similariteitsmatrix van tekstprompts en de similariteitsmatrix van visuele prompts.
• Effect: Dit leidt visuele prompts ertoe de semantische organisatie van de tekst-inbeddingsruimte te erven (bijv. ervoor zorgen dat "vrachtwagen" en "auto" dichter bij elkaar liggen dan "vrachtwagen" en "stoel"), waardoor de variantie binnen een klasse wordt verminderd en de scheidbaarheid tussen klassen wordt verbeterd.

3. Selectieve Fusiestrategie

De auteurs identificeren dat naïeve fusie van alle promptinbeddingen met afbeeldingskenmerken leidt tot instabiliteit, vooral wanneer het aantal prompts varieert (bijv. het detecteren van één enkel object versus alle 80 COCO-categorieën).

• Mechanisme: Er wordt een gating-mechanisme geïntroduceerd in de fusilaag. Een hulpvertakking schat de aanwezigheid van elke categorie in de doelafbeelding in. Prompts die corresponderen met afwezige categorieën worden onderdrukt (uitgeschakeld), terwijl relevante prompts worden gefuseerd.
• Effect: Dit zorgt voor stabiele en robuuste detectie ongeacht het aantal door de gebruiker gespecificeerde prompts, en voorkomt de ineenstorting van prestaties die wordt waargenomen bij modellen die overfitten op scenario's met veel prompts.

Belangrijkste Bijdragen

• Analyse van Beperkingen van Visuele Prompting: Het artikel biedt een systematische analyse die aantoont dat de slechte prestaties van visuele prompting voortkomen uit een gebrek aan globale onderscheidbaarheid en semantische coherentie in de prompt-inbeddingsruimte.
• DETR-ViP-raamwerk: De voorstelling van een robuust detectieraamwerk dat globale promptintegratie, relationele distillatie en selectieve fusie integreert om visuele promptrepresentaties te optimaliseren.
• Nieuwe Metriek (IISR): De introductie van de Intra-Inter Similarity Ratio (IISR) om de kwaliteit van visuele prompts kwantitatief te meten door de similariteit binnen een klasse te evalueren tegenover de scheidbaarheid tussen klassen.
• Uitgebreide Evaluatie: Uitgebreide experimenten die aantonen dat DETR-ViP significant presteert boven state-of-the-art methoden voor visuele prompting (zoals T-Rex2 en YOLOE) over meerdere benchmarks.

Experimentele Resultaten

De auteurs hebben DETR-ViP geëvalueerd op COCO, LVIS, ODinW en Roboflow100 onder zero-shot instellingen.

• COCO (Visual-G-protocol): DETR-ViP-T (Swin-Tiny backbone) behaalde 43,2 mAP, wat T-Rex2-T (38,8 mAP) met +4,4 mAP overtreft. DETR-ViP-L (Swin-Large) bereikte 50,2 mAP, en presteerde met +3,7 mAP beter dan T-Rex2-L (46,5 mAP).
• LVIS: DETR-ViP-T behaalde 41,1 mAP, wat T-Rex2-T met +3,7 mAP overtreft. Opmerkelijk is dat het aanzienlijke winsten liet zien op zeldzame en algemene categorieën: +5,2 AP op APr en +9,4 AP op APc in vergelijking met T-Rex2.
• Domeinverschuiving (ODinW & Roboflow100): DETR-ViP-T overtrof T-Rex2-L met 3,4 mAP op ODinW en 5,1 mAP op Roboflow100, wat sterke generalisatie naar onbekende domeinen aantoont.
• Interactieve Detectie (Visual-I): Onder het Visual-I-protocol behaalde DETR-ViP-T 65,4 mAP op COCO, wat T-Rex2-Swin-T (56,6 mAP) significant overtreft.

Ablatiestudies bevestigden dat elke component (Globale Promptintegratie, Relationele Distillatie, Selectieve Fusie) bijdraagt aan de prestaties. Bovendien bevestigden t-SNE-visualisaties en IISR-metrieken dat deze verbeteringen de structuur van de prompt-inbeddingsruimte progressief optimaliseren, waardoor overlap tussen categorieën wordt verminderd en clusters binnen een klasse strakker worden.

Betekenis

Het artikel stelt dat DETR-ViP de basislijn van visueel geprompte detectie aanzienlijk verbetert. Door de fundamentele kwestie van semantische incoherentie in visuele prompts aan te pakken, toont het werk aan dat visuele prompting prestatieniveaus kan bereiken die vergelijkbaar zijn met of zelfs beter zijn dan tekstgebaseerde methoden, met name voor zeldzame categorieën en in open-wereldscenario's. Het voorgestelde raamwerk biedt een robuuste oplossing voor interactieve objectdetectie, waardoor stabiele prestaties mogelijk zijn ongeacht het aantal door de gebruiker verstrekte prompts, en biedt een nieuwe richting voor het optimaliseren van visuele representaties in open-vocabulaire taken zonder uitsluitend te vertrouwen op cross-modale uitlijning.