Technische Samenvatting: Relationele Retrieval voor Generalized Category Discovery

Probleemdefinitie

Het artikel behandelt Generalized Category Discovery (GCD), een taak die traditionele classificatie uitbreidt naar open-wereldscenario's. Het doel is om bekende klassen gezamenlijk te herkennen met behulp van gelabelde data ($D_L$) en nieuwe categorieën te ontdekken binnen ongelabelde data ($D_U$). Een kritieke uitdaging in bestaande GCD-benaderingen is dat ze gelabelde en ongelabelde data typisch behandelen als aparte leerstromen: gelabelde data ondergaat supervised learning, terwijl ongelabelde data vertrouwt op self-supervised signals. Deze scheiding leidt tot twee primaire beperkingen die door de auteurs zijn geïdentificeerd:

1. Verspilde Semantische Kennis: Ongelabelde samples die tot bekende klassen behoren, vertrouwen uitsluitend op self-supervision, waardoor ze de hoogst discriminerende kenmerken negeren die al zijn vastgelegd door gelabelde samples van dezelfde klassen.
2. Ineffectieve Ontdekking: Categorie-ontdekking verloopt vaak zonder rekening te houden met relationele patronen. Samples van dezelfde nieuwe categorie, hoewel verschillend van bekende klassen, behouden consistente relaties met prototypes van bekende klassen; een signaal dat vaak wordt genegeerd ten gunste van onbetrouwbare pseudo-labeling.

Methodologie: Relationele Patroonconsistentie (RPC)

Het voorgestelde kader, Relational Pattern Consistency (RPC), koppelt gelabelde en ongelabelde data expliciet via bidirectionele kennisoverdracht. De methode bouwt voort op de SimGCD-baseline voor representatieleren en integreert de One-vs-All (OVA)-decompositie van DebGCD om te identificeren of ongelabelde samples tot bekende (ID) of nieuwe (OOD) klassen behoren.

De kern van RPC bestaat uit twee mechanismen:

1. Behoud van Bekende Klassen via Semantische Overdracht

Om het verlies van semantische structuur in ongelabelde samples van bekende klassen te voorkomen, draagt RPC robuuste patronen over van gelabelde naar ongelabelde data.

• Zachte ID/OOD-Decompositie: OVA-classifiers genereren zachte gewichten ($w_{old}$ en $w_{new}$) om de waarschijnlijkheid te schatten dat een sample tot bekende of nieuwe klassen behoort.
• Vertrouwens-gewogen Embedding Fusie: Voor batches die zowel gelabelde als hoog-vertrouwens ongelabelde (ID) samples bevatten, construeert het model een fusiematrix. Deze matrix voert een circulaire verschuiving uit om informatie van gelabelde samples in te brengen in hun gekoppelde ongelabelde tegenhangers. De fusie wordt gewogen met $w_{old}$, zodat alleen ongelabelde ID-samples met hoog vertrouwen significant worden beïnvloed.
• Gedragsalignering: Het kader dwingt consistentie af tussen de door augmentatie veroorzaakte gedragsveranderingen ($\Delta$) van gelabelde samples en hun gefuseerde ongelabelde tegenhangers. Dit zorgt ervoor dat ongelabelde samples van bekende klassen robuuste representaties erven van gelabelde data.

2. Categorie-ontdekking via Relationele Matching

Voor de ontdekking van nieuwe categorieën gaat RPC voorbij aan slecht gestelde clustering door gebruik te maken van relationele consistentie.

• Relationele Signatures: De methode stelt dat samples van dezelfde nieuwe categorie invariante relaties vertonen met prototypes van bekende klassen. Specifiek zouden twee samples van dezelfde nieuwe klasse vergelijkbare afstanden (similariteitspatronen) moeten hebben tot alle prototypes van bekende klassen.
• Patroonmatching: Elke sample wordt gecodeerd als een vector van similariteiten met prototypes van bekende klassen ($r(x)$). Het model minimaliseert vervolgens de afstand tussen deze relationele signatures voor feature-achtige samples, gewogen naar hun nieuwheidsscores ($w_{new}$). Dit transformeert de ontdekingstaak in een goed gedefinieerd patroonmatching-probleem binnen het referentiekader van bekende klassen.

Het totale trainingsdoel combineert de baseline-verliezen (representatie en classifier) met het nieuwe aligneringsverlies ($L_{align}$) en het nieuwe ontdekkingsverlies ($L_{new}$).

Belangrijkste Bijdragen

De auteurs schetsen drie primaire bijdragen:

1. Bidirectionele Koppeling: RPC is het eerste GCD-kader dat gelabelde en ongelabelde data expliciet koppelt via bidirectionele kennisoverdracht, waarbij gebruik wordt gemaakt van zachte ID/OOD-decompositie om gerichte interacties mogelijk te maken in plaats van disjuncte leerstromen te handhaven.
2. Nieuwe Mechanismen:
   • Introductie van vertrouwens-gewogen embedding fusie met gedragsalignering om de semantiek van bekende klassen te behouden.
   • Ontwikkeling van relationele consistentielering, die nieuwe categorieën ontdekt op basis van hun invariante relaties met prototypes van bekende klassen, waardoor afhankelijkheid van onbetrouwbare pseudo-labels wordt vermeden.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat RPC superieure prestaties levert op zowel generieke als fijnkorrelige benchmarks, met consistente verbeteringen in de nauwkeurigheid van zowel bekende (Old) als nieuwe (New) klassen.

Experimentele Resultaten

De methode werd geëvalueerd op zes benchmarks: drie fijnkorrelige datasets (CUB, Stanford Cars, FGVC-Aircraft) en drie generieke datasets (CIFAR-10, CIFAR-100, ImageNet-100).

• Prestaties: RPC behaalde state-of-the-art resultaten op de meeste benchmarks. Opmerkelijk is dat op de CUB-dataset de "All"-nauwkeurigheid werd verbeterd tot 67,1% (tegenover 66,3% voor de vorige beste, DebGCD), met significante winsten in "Old"-nauwkeurigheid (73,2% versus 71,8%) en "New"-nauwkeurigheid (64,8% versus 63,5%).
• Ablatiestudies: Het verwijderen van de embedding-fusie of het aligneringsverlies ($L_{align}$) resulteerde in een daling van ongeveer 3% in de nauwkeurigheid van bekende klassen op CUB. Het verwijderen van het relationele ontdekkingsverlies ($L_{new}$) veroorzaakte een daling van 3,3% in de nauwkeurigheid van nieuwe klassen, wat de noodzaak van beide componenten bevestigt.
• Efficiëntie: De methode introduceert minimale rekenkundige overhead, met slechts een toename van 1,40% in het aantal parameters en 1,82% in FLOPs ten opzichte van de SimGCD-baseline.
• Visualisatie: t-SNE-visualisaties geven aan dat RPC een meer gestructureerde latente ruimte produceert met strakkere intra-klassengroepering en duidelijkere inter-klassengrenzen in vergelijking met baseline-methoden, wat effectief semantische verstrengeling tussen naburige categorieën reduceert.

Betekenis en Claims

Het artikel beweert dat RPC het GCD-paradigma fundamenteel verschuift van parallel leren (waarbij gelabelde en ongelabelde data afzonderlijk worden verwerkt) naar mutuele versterking. Door gebruik te maken van de gestructureerde interacties tussen bekende en nieuwe data, stelt het kader gelabelde data in staat om het representatieleren van ongelabelde bekende klassen te sturen, terwijl het tegelijkertijd de collectieve relationele signatures van ongelabelde data gebruikt om nieuwe categorieën te ontdekken. De auteurs stellen dat deze benadering de hypothese valideert dat gelabelde en ongelabelde data elkaar kunnen versterken door gestructureerde interacties, wat leidt tot robuustere feature-representaties en nauwkeurigere categorie-ontdekking in open-wereldsettings.