SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning

1. Probleemdefinitie: De Kloof in Open-World Semi-Supervised Learning (OWSSL)

Context:
Open-World Semi-Supervised Learning (OWSSL), ook wel bekend als Generalized Class Discovery (GCD), omvat het trainen van modellen op gelabelde data van "bekende" klassen en ongelabelde data die zowel "bekende" als "nieuwe" (voorheen onbekende) klassen bevatten.

De Kernbeperking:
Bestaande OWSSL-methoden falen in het uitvoeren van Rigoureuze Classificatie (RC-OWSSL).

• Gebrek aan Semantische Verankering: Huidige methoden richten zich sterk op visuele feature-clustering, maar negeren de latente semantische informatie die visuele features koppelt aan linguïstische betekenissen.
• Afhankelijkheid van Post-Hoc Matching: Tijdens evaluatie vertrouwen bestaande methoden op Hongaarse matching om voorspelde cluster-ID's af te stemmen op ground-truth klassennamen. Dit is een post-processing-stap die de nauwkeurigheid kunstmatig opblaast door labels opnieuw toe te wijzen om overlap te maximaliseren, ongeacht of het model daadwerkelijk de juiste semantische correspondentie heeft geleerd.
• Praktische Onmogelijkheid: Bij implementatie in de echte wereld is een gelabelde testset voor Hongaarse matching niet beschikbaar. Daarom kunnen bestaande methoden niet direct het juiste tekstuele label (bijv. "Hond" of "Kat") voorspellen voor een nieuw monster; ze geven alleen een cluster-index uit.

Doel:
Het paper definieert RC-OWSSL, een taak waarbij het model direct het meest semantisch relevante tekstuele label moet voorspellen uit een kandidaatset (bekend + nieuw) zonder enige post-hoc labelhertoewijzing.

---

2. Methodologie: Het SECOS Framework

De auteurs stellen SECOS (SEmantic Capture for Open-world Semi-supervised learning) voor, een framework ontworpen om de kloof tussen visuele features en tekstuele semantics te overbruggen met behulp van externe kennis (CLIP). SECOS bestaat uit drie kermodules:

A. Semantische Compensatie voor Nieuwe Klassen (Globaal Niveau)

• Probleem: Ernstig supervisie-ongelijkgewicht; bekende klassen hebben labels, nieuwe klassen niet, wat leidt tot een sterke bias ten gunste van bekende klassen.
• Oplossing: Constructie van een Globaal Pseudo-Gelabeld Nieuw Dataset ($D_N$).
  1. Een bevroren "Teacher" CLIP-model wijst harde pseudo-labels toe aan ongelabelde data.
  2. Monsters worden gegroepeerd op basis van deze pseudo-labels.
  3. De top-$\phi\%$ hoogst-confidente monsters voor elke nieuwe klasse worden geselecteerd om $D_N$ te vormen.
  4. Semantische Versterking: Een Large Language Model (LLM) genereert beschrijvende prompts voor klassennamen om rijkere semantische representaties te creëren, die worden gebruikt om het pseudo-labeling-proces te verfijnen.
• Resultaat: Dit balanceert de supervisiesterkte tussen bekende en nieuwe klassen globaal.

B. Batch-Wijze Semantische Heropname (Lokaal/Instance Niveau)

• Probleem: Globale compensatie is grofkorrelig; het mist fijnkorrelige semantische nuances binnen specifieke batches en bekende klassen.
• Oplossing: Een dual-perspectief confidence-filteringsmechanisme toegepast op batches van ongelabelde data ($B$).
  1. Intra-instance: Voor een specifiek monster worden confidence-scores over klassen opgeteld totdat een drempel ($\tau$) is bereikt.
  2. Inter-instance: Voor een specifieke klasse wordt een drempel ($\theta$) bepaald op basis van de confidence-verdeling van alle monsters in de batch.
  3. Selectie: Een monster wordt geselecteerd als een hoogwaardig pseudo-gelabeld instance alleen als het aan beide criteria voldoet en de doorsnede van kandidaat-labels resulteert in exact één label.
• Resultaat: Dit filtert dubbelzinnige monsters uit en vangt fijnkorrelige semantische informatie, waardoor supervisiële signalen met hoge precisie worden geboden.

C. Adapter voor Semantische Feature-Alignering

• Probleem: Zelfs met pseudo-labels moet het model zijn visuele feature-ruimte afstemmen op de semantische ruimte van de tekstuele labels om directe classificatie uit te voeren.
• Oplossing: Een lichtgewicht Adapter mechanisme ingevoegd in een bevroren CLIP visuele encoder.
  1. Architectuur: Parallelle adapters worden ingevoegd na attention-blokken in de visuele encoder. De tekstencoder blijft bevroren.
  2. Alignering: Het model berekent de gelijkenis tussen de visuele features (verwerkt door de adapter) en de semantische features van de kandidaat-tekstuele labels (gegenereerd uit klassenbeschrijvingen).
  3. Training: Alleen de adapter- en projector-parameters worden bijgewerkt. Het verlies is een standaard Cross-Entropy-verlies tussen de voorspelde logit en het pseudo-label (of ground truth).
• Resultaat: Het model leert visuele invoer direct af te beelden op tekstuele labels, waardoor rigoureuze classificatie mogelijk wordt zonder Hongaarse matching.

---

3. Belangrijkste Bijdragen

1. Definitie van RC-OWSSL: Het paper identificeert formeel de intrinsieke afwijking tussen bestaande OWSSL (clustering) en de praktische vereiste van Rigoureuze Classificatie (directe tekstuele voorspelling), en benadrukt het falen van huidige methoden om semantische verankering te bereiken.
2. SECOS Framework: Stelt een nieuw framework voor dat externe kennis (CLIP + LLM) benut om semantische representaties te extraheren en af te stemmen. Het adresseert uniek het gebrek aan supervisie voor nieuwe klassen via globale compensatie en batch-wijze heropname.
3. Superieure Prestaties: Toont aan dat SECOS State-of-the-Art (SOTA) methoden overtreft, zelfs wanneer die methoden worden geëvalueerd onder de soepele "post-hoc matching"-instelling, terwijl SECOS opereert onder de strengere "directe classificatie"-instelling.

---

4. Experimentele Resultaten

Datasets:
Geëvalueerd op 7 datasets: 3 generiek (CIFAR-10, CIFAR-100, ImageNet-100) en 4 fijnkorrelig (CUB, Stanford Cars, Oxford Flowers, Oxford Pets).

Prestatiehoogtepunten:

• Directe Vergelijking: SECOS behaalt significante verbeteringen ten opzichte van SOTA-methoden (bijv. TextGCD, TP-OWSSL, SimGCD), zelfs hoewel SECOS geen Hongaarse matching gebruikt.
• Kwantitatieve Winsten:
  • Op generieke datasets verbetert SECOS de Nieuwe nauwkeurigheid met maximaal 7,37% en de Algemene nauwkeurigheid met 5,35% ten opzichte van de beste bestaande methoden.
  • Op fijnkorrelige datasets toont het verbeteringen van 1,78% (Nieuw) en 1,95% (Algemeen) ten opzichte van TP-OWSSL.
  • Over het geheel genomen overtreft SECOS bestaande methoden met maximaal 5,4% in rigoureuze classificatiemetrics.
• Ablatiestudies:
  • Het verwijderen van ofwel de Globale Compensatie of de Batch-Wijze Heropname-modules veroorzaakt een drastische daling in de nauwkeurigheid van nieuwe klassen (bijv. dalen van 82,6% naar 14,4% op CIFAR-100 zonder enige semantische opname).
  • De methode is robuust voor variaties in batchgrootte en adapter-downsampling-dimensies.
• Zelflerend: SECOS kan effectief functioneren zelfs zonder een apart "Teacher"-model (met behulp van een EMA-bijgewerkte student), met slechts een kleine prestatiedaling (~0,83%) terwijl het toch teacher-afhankelijke baselines overtreft.

---

5. Betekenis en Impact

• Paradigmaverschuiving: Het paper daagt de gemeenschap uit om weg te bewegen van "clustering-gebaseerde" evaluatie (Hongaarse matching) naar "classificatie-gebaseerde" evaluatie, wat de enige haalbare aanpak is voor implementatie in de echte wereld waar ground-truth labels voor nieuwe klassen onbekend zijn.
• Semantische Verankering: Het stelt vast dat succesvolle OWSSL expliciete alignering vereist tussen visuele structuren en linguïstische semantics, niet alleen visuele feature-clustering.
• Praktische Toepasbaarheid: Door directe tekstuele voorspelling mogelijk te maken, maakt SECOS open-world learning toepasbaar op real-world scenario's (bijv. autonoom rijden, medische diagnose) waarbij modellen nieuwe categorieën onderweg moeten identificeren en benoemen zonder de testset opnieuw te labelen.
• Efficiëntie: Het gebruik van lichtgewicht adapters stelt het model in staat krachtige voorgeöorde CLIP-kennis te benutten zonder de rekenkosten van volledige fine-tuning.

Kortom, SECOS lost de kritieke bottleneck op in open-world learning door een mechanisme in te voeren om latente semantics te "vangen", waardoor modellen nieuwe objecten rigoureus kunnen classificeren in hun juiste tekstuele categorieën, direct.