Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

1. Het Probleem: Generalized Category Discovery (GCD)

Generalized Category Discovery (GCD) is een uitdaging binnen het domein van open-set herkenning. Het doel is om zowel bekende als onbekende categorieën te identificeren in een dataset, waarbij slechts een deel van de data (de bekende categorieën) gelabeld is. De rest van de data is ongelabeld en kan zowel tot bekende als tot volledig nieuwe, onbekende categorieën behoren.

• Huidige uitdagingen: Bestaande state-of-the-art methoden voor GCD vertrouwen vaak op multi-modale representatieleren (bijv. het combineren van beeld- en tekstmodi). Echter, deze methoden leggen de nadruk sterk op inter-modale uitlijning (het aligneren van beeld en tekst met elkaar), vaak via CLIP-style contrastieve verliezen.
• De tekortkoming: Er wordt onvoldoende aandacht besteed aan intra-modale uitlijning (de interne structuur en consistentie binnen één modale, zoals alleen beelden of alleen tekst). Bestaande methoden leiden vaak tot een ongebalanceerde compressie van embeddings: bekende categorieën worden te sterk samengedrukt (over-compressie), terwijl onbekende categorieën minder goed worden geclusterd. Dit resulteert in een slechte prestatie bij het ontdekken van nieuwe patronen.

2. Methodologie: SSR2-GCD

De auteurs stellen SSR2-GCD (Semi-Supervised Rate Reduction for Generalized Category Discovery) voor, een nieuw framework dat drie kerncomponenten omvat:

A. Retrieval-based Text Aggregation (RTA)

Om rijkere semantische informatie te genereren voor ongelabelde beelden, wordt een strategie ontwikkeld die verder gaat dan het simpelweg zoeken naar één label:

• Er worden tag- en attribuutlexicons opgezet.
• In plaats van één prompt te gebruiken, worden de top-$c$ meest vergelijkbare tags en attributen opgehaald.
• Deze worden gewogen en samengevoegd tot één semantisch rijke tekstrepresentatie. De meest vergelijkbare items krijgen een hogere weging, maar informatie uit andere kandidaten wordt ook geïntegreerd om de tekstrepresentatie te verrijken.

B. Semi-Supervised Rate Reduction (SSR2) voor Representatieleren

Dit is het hart van de innovatie. De auteurs introduceren een SSR2-loss gebaseerd op het principe van Maximal Coding Rate Reduction.

• Doel: Het leren van gestructureerde representaties met een gewenste onderliggende verdeling.
• Werkingsprincipe: De loss fungeert als een "compressor" die de embeddings van zowel bekende als onbekende categorieën op een evenwichtige manier comprimeert.
  • Het maximaliseert de totale coderingsrate ($R(\mathbf{Z})$) om de embeddings over de hele ruimte te spreiden.
  • Het minimaliseert de rate voor specifieke categorieën ($R_c^s$ en $R_c^u$) om ervoor te zorgen dat embeddings binnen een categorie in een laag-dimensionale deelruimte vallen.
• Verschil met bestaande methoden: In tegenstelling tot traditionele contrastieve losses die leiden tot onbalans (waarbij bekende klassen te sterk worden samengedrukt), zorgt SSR2 voor een evenwichtige compressie. Dit lost het probleem op dat inter-modale uitlijning vaak leidt tot mislukte intra-modale uitlijning. SSR2 prioriteert de intra-modale consistentie, wat essentieel is voor accurate clustering.

C. Training Strategie (Twee Fasen)

Het framework gebruikt een dual-branch classifier (één voor beeld, één voor tekst) die gelijktijdig wordt getraind:

1. Warm-up Fase: De classifiers worden getraind met alleen gelabelde data (supervised) en de SSR2-loss voor bekende categorieën. De ongelabelde term wordt hier nog niet gebruikt om foutieve pseudo-labels te voorkomen.
2. Alignment Fase: De classifiers worden verder getraind met zowel gelabelde als ongelabelde data. Een co-teaching strategie wordt gebruikt om de pseudo-labels van de beeld- en tekstklassifiers op elkaar af te stemmen, waardoor ze elkaar kunnen verbeteren.

3. Belangrijkste Bijdragen

1. SSR2-GCD Framework: Een nieuw framework dat het principe van semi-supervised rate reduction toepast op multi-modale GCD, specifiek ontworpen om gestructureerde en evenwichtige representaties te leren.
2. RTA Strategie: Een effectieve methode voor het genereren van semantisch rijke tekstrepresentaties door informatie uit meerdere prompt-kandidaten te aggregeren, wat de kennisoverdracht verbetert.
3. Inzicht in Uitlijning: Het paper demonstreert dat het prioriteren van intra-modale uitlijning (via SSR2) cruciaal is en dat het blindelings toevoegen van inter-modale uitlijning (zonder intra-modale constraints) de clusteringprestaties kan verslechteren.
4. Solvatie van Onbalans: Het is de eerste werk dat het probleem van onbalans in compressie tussen bekende en onbekende categorieën in contrastieve representatielering aanpakt.

4. Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op acht benchmark datasets, waaronder generieke datasets (CIFAR-10/-100, ImageNet-100/-1k) en fijnkorrelige datasets (CUB-200-2011, Stanford Cars, Oxford Pets, Flowers102).

• Superieure Prestaties: SSR2-GCD presteert consistent beter dan alle bestaande single-modale en multi-modale baselines (zoals TextGCD, GET, CLIP-GCD) op alle testdatasets.
• Verbetering bij Onbekende Categorieën: Het model sluit de nauwkeurigheidskloof tussen "Oude" (bekende) en "Nieuwe" (onbekende) categorieën aanzienlijk in. Bijvoorbeeld, op Stanford Cars en Flowers102 wordt een verbetering van respectievelijk 3,1% en 6,3% behaald ten opzichte van de beste baselines.
• Ablatie Studies:
  • Het gebruik van alleen intra-modale loss (SSR2) presteert beter dan een combinatie van inter- en intra-modale loss, wat bevestigt dat expliciete inter-modale uitlijning de intra-modale consistentie kan verstoren.
  • De RTA-strategie verbetert de prestaties op nieuwe categorieën aanzienlijk.
  • Visualisaties (t-SNE) tonen aan dat SSR2-GCD leert tot een uniforme verdeling van embeddings, terwijl andere methoden leiden tot collapse (instorting) van de embeddings van bekende klassen.

5. Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuw perspectief op multi-modale representatieleren voor open-set problemen. De kerninzicht is dat intra-modale consistentie de basis moet vormen voor succesvolle clustering, en dat inter-modale informatie (tekst) vooral moet dienen om deze structuur te verrijken en kennisoverdracht te faciliteren, in plaats van als primair uitlijningsdoel.

Door het principe van Rate Reduction toe te passen, lost SSR2-GCD het langdurige probleem van onbalans in de compressie van embeddings op. Dit maakt het framework bijzonder robuust voor real-world scenario's waar data een mengeling is van bekende en volledig nieuwe categorieën, wat essentieel is voor toekomstige AI-systemen die in dynamische omgevingen moeten opereren. De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in het veld stimuleert.