Technische Samenvatting: Het heroverwegen van Prototype-gebaseerd Gelijkenisleren voor Few-Shot Object Detectie

Probleemstelling

Few-Shot Object Detection (FSOD) beoogt nieuwe objectcategorieën te detecteren met slechts een klein aantal gelabelde voorbeelden, waardoor de kostbare annotatie op grote schaal wordt omzeild. Hoewel recente prototype-gebaseerde gelijkenisleer-benaderingen (bijv. DE-ViT, PiDiViT) succes hebben behaald door training-vrije adaptatie mogelijk te maken door query-features te matchen met klasse-prototypes, identificeren de auteurs twee fundamentele beperkingen in deze bestaande methoden:

1. Klasse-verwarring via Inter-klasse Gelijkenis-instorting: Visuele prototypes die uitsluitend worden geconstrueerd uit support-afbeeldingen, vangen onvermijdelijk stijl-gerelateerde componenten op die gedeeld worden tussen verschillende klassen. Deze spurieuze componenten induceren gelijkenis-responsen tussen semantisch ongerelateerde categorieën, wat de beslissingsgrenzen tussen klassen doet instorten en leidt tot systematische misclassificatie.
2. Onvoldoende Visuele Aanwijzingen voor Precieze Lokalisatie: In deze frameworks is lokalisatie primair afhankelijk van klasse-specifieke gelijkenis-scores. Omdat deze scores worden berekend via cosinus-gelijkenis, coderen ze klasse-niveau semantische affiniteit (vectorrichting), maar bieden ze beperkte ruimtelijke informatie met betrekking tot objectgrenzen, vormen en schaal, wat precieze bounding box regressie inherent uitdagend maakt.

Methodologie

Het voorgestelde framework, ReSet, pakt deze beperkingen aan via twee complementaire componenten die geïntegreerd zijn in een unieke pipeline:

1. Text-Anchored Semantic Mask (TSMa)

Om klasse-verwarring te mitigeren, gebruikt TSMa klasse-niveau tekstfeatures als semantische ankers om visuele prototypes te filteren.

• Feature Mapping: Een lichtgewicht mapping-functie projecteert CLIP tekstfeatures naar de DINOv2 visuele feature-ruimte middels contrastief leren.
• Kanaalinteractie: Voor elke klasse berekent de methode een elementgewijze product tussen de gemapte tekstfeature en de visuele features van support-instanties. Kanalen die door beide modaliteiten worden co-geactiveerd, worden geïdentificeerd als semantisch uitgelijnd.
• Clustering en Scoring: De co-geactiveerde kanalen worden geclusterd (k-means), en hun belang wordt gekwantificeerd met een TF-IDF scoring-mechanisme. Dit wijst hoge scores toe aan kanalen die frequent geactiveerd worden voor een specifieke klasse maar zelden voor anderen, wat de stijl-geïnduceerde, klasse-agnostische responsen effectief onderdrukt.
• Masking: Een leerbaar, op rang gebaseerd soft-mask wordt toegepast op het klasse-prototype, waarbij alleen de semantisch onderscheidende kanalen behouden blijven. Dit vergroot de inter-klasse gelijkenis-marge en verbetert de klasse-scheidbaarheid.

2. Stage-Aligned Hierarchical Autoregressive Regression (SHARe)

Om de afwezigheid van geometrische aanwijzingen voor lokalisatie aan te pakken, herformuleert SHARe de detectie-taak als een hiërarchisch autoregressief proces.

• Hiërarchische Feature Injectie: In plaats van te vertrouwen op een enkele gelijkenis-embedding, maakt SHARe gebruik van de laag-per-laag karakteristieken van de bevroren ViT backbone. Het splitst de ViT-lagen in groepen en injecteert deze in meerdere regressie-stadia.
• Reverse-Order Alignment: De methode hanteert een reverse injectie-strategie. Vroege regressie-stadia maken gebruik van diepere ViT-lagen (die hoog-niveau semantiek en globale context coderen) om grove object-extenten vast te stellen. Vervolgende stadia incorporeren progressief ondiepere lagen (rijk aan laag-niveau aanwijzingen zoals randen en texturen) om ruimtelijke details en grenzen te verfijnen.
• Autoregressieve Verfijning: Het proces werkt de embedding iteratief bij en voorspelt mask-logits over $S$ stadia. De mask-logit van het vorige stadium reguleert de injectie van de visuele aanwijzing van het huidige stadium, waardoor het model progressief de ruimtelijke informatie kan herstellen die verloren is gegaan in de initiële gelijkenis-berekening.

Belangrijkste Bijdragen

1. Identificatie van Bottlenecks: Het artikel wijst inter-klasse gelijkenis-instorting en onvoldoende geometrische aanwijzingen aan als de primaire structurele bottlenecks in huidige prototype-gebaseerde gelijkenisleer.
2. TSMa: Een nieuw mechanisme dat tekstfeatures gebruikt om visuele prototypes te verankeren en te filteren, waardoor stijl-geïnduceerde spurieuze gelijkenissen worden onderdrukt en de klasse-onderscheidbaarheid wordt verbeterd zonder fine-tuning.
3. SHARe: Een hiërarchisch autoregressief regressie-module die de abstractieniveaus van features afstemt op de regressie-stadia (in omgekeerde volgorde), wat effectief de afwezigheid van ruimtelijke aanwijzingen in gelijkenis-scores compenseert.
4. State-of-the-Art Prestaties: De integratie van deze componenten vestigt een nieuwe state-of-the-art op standaard benchmarks.

Experimentele Resultaten

De methode werd geëvalueerd op de COCO en Pascal VOC datasets onder one-shot, 10-shot en 30-shot instellingen.

• COCO 2014 (30-shot): ReSet presteert beter dan de vorige beste methode (PiDiViT) met +10.1 nAP, +7.1 nAP50, en +9.8 nAP75.
• COCO 2017 (One-shot): De methode bereikt een gemiddelde nAP50 van 43.7, waarmee de vorige SOTA (PiDiViT met 32.8) wordt overtroffen met +10.9.
• Pascal VOC: Consistente winsten werden waargenomen over alle splits en shot-instellingen, met een gemiddelde nAP50 verbetering van +6.9%.
• Ablatie-studies:
  • Het verwijderen van SHARe verslechtert de lokalisatie-precisie aanzienlijk (opgemerkt door een daling in nAP75).
  • Het verwijderen van TSMa vermindert de classificatie-accuratesse (opgemerkt door een daling in nAP50).
  • De "Reverse" injectie-strategie in SHARe presteert beter dan "Forward" injectie, wat de hypothese valideert dat hoog-niveau semantiek de vroege grove lokalisatie moet sturen terwijl laag-niveau details latere stadia verfijnen.
  • Top-k accuratesse analyse toont een +21.1% verbetering in Top-1 accuratesse ten opzichte van PiDiViT, wat de vergroting van de inter-klasse gelijkenis-marges bevestigt.

Betekenis

Het artikel claimt een sterk en reproduceerbaar baseline te hebben gevestigd voor prototype-gebaseerde gelijkenisleer in FSOD. Door de dubbele problemen van klasse-verwarring en lokalisatie-imprecisie aan te pakken zonder extra fine-tuning te vereisen, demonstreert ReSet dat het benutten van de complementaire sterktes van tekst-gebaseerde semantische verankering en hiërarchische visuele representaties de state-of-the-art aanzienlijk kan voortstuwen. Het werk biedt een systematische analyse die valideert dat het verbeteren van de betrouwbaarheid van gelijkenis-berekening en het aanvullen ervan met gestructureerde geometrische aanwijzingen cruciaal zijn voor robuuste few-shot detectie.