Class Geometry as Supervision for Sample-Efficient Open-World Detection

Technische Samenvatting: Class Geometry als Supervisie voor Sample-Efficiënte Open-World Detectie

Probleemstelling
Open-world objectdetectie (OWOD) vereist dat modellen bekende categorieën detecteren, onbekende objecten verwerpen en nieuwe klassen in de loop van de tijd incrementeel integreren. Dit is bijzonder uitdagend in scenario's met schaarse data, zoals in de biomedische en wetenschappelijke beeldvorming, waar zeldzame categorieën mogelijk slechts een paar geannoteerde voorbeelden hebben en fijnmazige klassen verschillen door subtiele morfologische kenmerken. Bestaande prototype-gebaseerde detectoren, die klassen representeren met behulp van kleine support-sets, leren klasse-prototypes doorgaans als onafhankelijke ankers. Deze aanpak negeert de relationele structuur tussen klassen (bijv. visuele of semantische gelijkenissen), wat leidt tot slecht gekalibreerde prototype-ruimtes waar onbekende objecten verkeerd geclassificeerd kunnen worden of nieuwe klassen niet effectief geïntegreerd kunnen worden zonder uitgebreide hertraining.

Methodologie: Class-Geometry Supervision (CGS)
De auteurs stellen Class-Geometry Supervision (CGS) voor, een framework dat de geleerde prototype- of klasse-representatieruimte dwingt om een doelgeometrie te behouden die afgeleid is van klasse-niveau dissimilariteiten.

• Kernmechanisme: In plaats van prototypes uitsluitend te leren van schaarse gelabelde voorbeelden, introduceert CGS een dissimilariteit-behoudende doelstelling. Deze doelstelling brengt de paarwise afstanden tussen geleerde klasse-representaties ($\hat{G}_{ij}$) in lijn met een doel-klasse-geometrie matrix ($\hat{D}_{ij}$) die geschat is uit de trainingsdata, terwijl de standaard taakverlies ($L_{task}$) behouden blijft.
• Doelgeometrie ($D$): De doel-dissimilariteitsmatrix kan worden afgeleid van:
  • Visuele Geometrie ($D^{vis}$): Berekend als de gemiddelde pixel-niveau Mean Squared Error (MSE) tussen uitgesneden support-regio's van verschillende klassen, wat grove morfologische relaties vastlegt.
  • Semantische/Tekstuele Geometrie ($D^{txt}$): Berekend als $1 - \cos(e_i, e_j)$, waarbij $e_i$ en $e_j$ tekst-embeddings zijn van visuele klassebeschrijvingen.
• Verliesfunctie: De geometrie-loss ($L_{CG}$) minimaliseert het gekwadrateerde verschil tussen genormaliseerde paarwise afstanden in de geleerde prototype-ruimte en de doel-dissimilariteitsmatrix:
  $$L_{CG} = \frac{1}{|E|} \sum_{(i,j) \in E} (\hat{G}_{ij} - \hat{D}_{ij})^2$$
  De totale doelstelling is $L = L_{task} + \lambda L_{CG}$, waarbij $\lambda$ de sterkte van de supervisie regelt.
• Theoretische Garanties: Het artikel bevat proposities die aantonen dat het minimaliseren van $L_{CG}$ de gemiddelde distortie begrenst tussen de geleerde prototype-graaf en de doel-klasse-dissimilariteitsgraaf. Bovendien, indien de doelgeometrie voldoende marges tussen klassen heeft, zorgt een lage distortie voor het behoud van de buurtvolgorde (neighborhood order), waardoor nieuwe klassen in de bestaande ruimte kunnen worden ingevoegd op basis van hun relationele nabijheid in plaats van als geïsoleerde ankers.

Belangrijkste Bijdragen

1. Formulering: CGS is geformuleerd als een mechanisme voor sample-efficiënte open-world detectie, gericht op de behoefte aan detectie van bekende klassen, ontdekking van onbekenden en de plaatsing van nieuwe klassen onder beperkte gelabelde data.
2. Doelstelling: Een nieuwe dissimilariteit-behoudende prototype-doelstelling die de geleerde afstand tussen klasse-representaties afstemt op de visuele of semantische klasse-dissimilariteitsstructuren, ter aanvulling op standaard matching en detectie-verliezen.
3. Instantiatie: De doelstelling wordt toegepast op drie verschillende instellingen:
   • Prototype Herkenning: Het isoleren van effecten op schaarse-data prototype-leren (ProtoNet-stijl).
   • Biomedische Detectie: Integratie in een prototype-gebaseerde DETR-detector voor parasitaire eitjes (ova), ondersteunend voor few-shot detectie, open-set detectie en novel-class insertie.
   • COCO OWOD Adaptatie: Evaluatie op het standaard OWOD-protocol met zowel frozen-head adaptatie als volledige model fine-tuning.
4. Empirische Analyse: Uitgebreide evaluatie die verbeteringen aantoont in low-shot herkenning, few-shot detectie en unknown recall, naast een analyse van de trade-off tussen bekende klasse mAP en open-world sensitiviteit.

Experimentele Resultaten

• Sample Efficiëntie: CGS verbetert de prestaties over zowel herkennings- als detectietaken, waarbij de meest significante winst wordt waargenomen in low-shot regimes (bijv. 5-shot en 10-shot). In prototype herkenning verbetert het de F1-scores; in de detectie van eitjes verhoogt het consequent de mAP ten opzichte van de FSP-DETR baseline.
• Nieuwe Klasse Insertie: CGS levert substantiële winst bij het invoegen van nieuwe klassen. In de eitjes-dataset steeg de novel-only mAP van 0.0629 naar 0.1558, en de mAR van 0.2595 naar 0.3728. Dit geeft aan dat nieuwe prototypes betekenisvolle posities innemen in het klasse-manifold in plaats van geleerd te worden als geïsoleerde ankers.
• Open-World Detectie (COCO):
  • Frozen-Head Adaptatie: Verbetert de Unknown Recall (U-Recall) aanzienlijk over taken heen, maar brengt een kostenpost met zich mee voor de bekende klasse mAP, met name in latere taken.
  • Full Fine-Tuning: Biedt een beter werkpunt, waarbij meer bekende klasse mAP behouden blijft terwijl de U-Recall nog steeds wordt verbeterd, wat suggereert dat het model de bekende klasse discriminatie kan herstellen terwijl de geometrie-voordelen behouden blijven.
• Ablatie van de Bron van Geometrie: Visuele geometrie afgeleid van de morfologie van de support-crops biedt de meest betrouwbare winst voor few-shot detectie. Willekeurige geometrie kan helpen bij het scheiden van nieuwe klassen, maar is minder consistent voor few-shot detectie en mist een interpreteerbare structuur.

Betekenis en Claims
Het artikel claimt dat relationele klasse-geometrie een effectief supervisie-signaal is voor het bouwen van gekalibreerde en uitbreidbare open-world detectoren onder beperkt toezicht. Door de prototype-ruimte te organiseren volgens visuele of semantische relaties, verbetert CGS het vermogen van het model om onbekenden te verwerpen en nieuwe klassen in te voegen zonder nieuwe detector-architecturen of uitgebreide hertraining te vereisen. De auteurs benadrukken dat hoewel CGS een trade-off introduceert tussen bekende klasse mAP en unknown recall (vooral in frozen-head settings), het een controleerbaar mechanisme biedt om het gedrag van het model te verschuiven naar open-world sensitiviteit. Het werk suggereert dat het benutten van klasserelaties cruciaal is voor fijnmazige, data-arme domeinen waar standaard prototype-leren faalt om de noodzakelijke structuur te vatten voor robuuste open-world beslissingen.