FOCUS: Bridging Fine-Grained Recognition and Open-World Discovery across Domains

1. Probleemdefinitie: FG-DG-GCD

Het paper introduceert en formaliseert een nieuw, uitdagend probleem in het domein van computervisie: Fine-Grained Domain-Generalized Generalized Category Discovery (FG-DG-GCD).

• De Context: Bestaande methoden voor Generalized Category Discovery (GCD) gaan er vaak van uit dat gelabelde brondata en ongelabelde doeldata uit dezelfde verdeling komen. Domain Generalization (DG) probeert modellen te trainen die robuust zijn tegen domeinverschuivingen, maar vaak alleen voor bekende klassen.
• De Uitdaging: In real-world scenario's (zoals biodiversiteitsmonitoring of industriële inspectie) moeten systemen werken in open-wereldomgevingen met:
  1. Domeinverschuiving: De doeldata (bijv. schetsen of schilderijen) heeft een andere verdeling dan de brondata (fotorealistische foto's).
  2. Fine-Grained Discriminatie: De klassen verschillen door subtiele, lokale kenmerken (bijv. snavelvorm bij vogels) in plaats van grove semantische cues.
  3. Open-World Discovery: Het model moet niet alleen bekende klassen herkennen, maar ook nieuwe, onbekende klassen ontdekken en clusteren in de doeldata, zonder toegang tot gelabelde doeldata tijdens het trainen.
• De Complexiteit: Dit is moeilijker dan standaard DG omdat het model invariantheid moet leren voor domein-specifieke variaties (zoals textuur of stijl) zonder de subtiele, domein-ongebonden geometrische cues te verliezen die nodig zijn om fijne klassen van elkaar te onderscheiden.

2. Methodologie: Het FOCUS Framework

De auteurs stellen FOCUS (Fine-grained Open-world Category discovery with Uncertainty and partS) voor. Het is een single-stage framework dat alleen leert van gelabelde brondata en bestaat uit twee kernmodules:

A. Domain-Consistent Parts Discovery (DCPD)

Deze module lost het probleem op dat bestaande part-based methoden vaak overfit op domein-variabele texturen in plaats van geometrische structuren.

• Geometrie-stabiele Priors: In plaats van statische, globaal gedeelde queries (zoals in eerdere werken), gebruikt DCPD image-conditioned part queries. Deze worden dynamisch afgeleid uit de self-attention van een ViT-encoder, gefilterd op geometrisch stabiele regio's (contouren, randen).
• Adaptieve Toewijzing: Het gebruikt een differentieerbare "patch-to-part" toewijzing (via Gumbel-Softmax) die patches toewijst aan specifieke onderdelen op basis van de intrinsieke geometrie van het beeld.
• Dual-Stream Fusie: Het combineert de lokale part-features met de globale [CLS] token. Dit zorgt ervoor dat het model zowel de holistische context behoudt als de domein-robuste lokale details benut.

B. Uncertainty-Aware Feature Augmentation (UFA)

Deze module voorkomt dat het model nieuwe, onbekende klassen onterecht in bekende klassen "absorbeert" (overconfidence).

• Feature-Space Sampling: In plaats van dure beeldgeneratie, genereert UFA synthetische "outlier" features direct in de embeddingruimte.
• Tripartite OOD Strategie:
  1. Tail-Variation: Steekproeven rondom de covariance van bekende klassen (nabije onbekende).
  2. Between-Class Mixing: Steekproeven in de ruimte tussen klassencentroïden (semantische ambiguïteit).
  3. Far-Away Unknown: Steekproeven op de hypersfeer ver weg van bekende clusters.
• Regularisatie: Deze synthetische features worden gebruikt om de classifier te regulariseren via Energy-Based Outlier Exposure (hoge energie voor outliers) en Entropy Maximization (hoge entropie/onzekerheid voor onbekende data). Dit creëert een goed gekalibreerde beslissingsgrens.

3. Belangrijkste Bijdragen

1. Formalisatie van FG-DG-GCD: Het definiëren van een nieuw probleem dat fine-grained discriminatie, domeingeneralisatie en open-world ontdekking combineert.
2. Nieuwe Benchmarks: De auteurs hebben de eerste specifieke benchmarks gecreëerd voor dit probleem door bestaande datasets (CUB-200-2011, Stanford Cars, FGVC-Aircraft) te transformeren naar schilderij- en schets-domeinen met behulp van een gecontroleerde SDXL-adapter pipeline. Deze behouden de semantische identiteit en geometrie, maar veranderen de textuur en stijl drastisch.
3. Het FOCUS Framework: Een synthese-vrij en episoden-vrij framework dat aanzienlijk efficiënter is dan state-of-the-art methoden (bijna 3x sneller dan HIDISC en 300x lichter dan DG2CD-Net) door geen zware domein-synthese of meta-learning te vereisen.

4. Resultaten

Extensieve experimenten tonen aan dat FOCUS de huidige state-of-the-art significantly verbetert:

• Fine-Grained Prestaties: FOCUS overtreft sterke baselines voor GCD, FG-GCD en DG-GCD met respectievelijk 3,28%, 9,68% en 2,07% in clustering-accuracy op de nieuwe benchmarks.
• Coarse-Grained Generalisatie: Het model presteert ook zeer competitief op standaard coarse-grained DG-GCD benchmarks (PACS, Office-Home, DomainNet), zelfs zonder synthetische data-augmentatie.
• Efficiëntie: FOCUS bereikt deze resultaten met aanzienlijk minder FLOPs dan concurrerende methoden die afhankelijk zijn van synthetische domeinen of hyperbolische regularisatie.
• Kwalitatieve Analyse: Visualisaties (t-SNE) tonen dat FOCUS compacte, goed gescheiden clusters vormt, terwijl andere methoden vaak overvloeien of verspreide clusters produceren onder domeinverschuiving.

5. Betekenis en Impact

Dit paper is significant omdat het de kloof overbrugt tussen twee vaak gescheiden onderzoeksgebieden: fine-grained visuele categorisatie en open-wereld ontdekking onder domeinverschuiving.

• Praktische Toepassingen: Het biedt een oplossing voor systemen die moeten werken in dynamische omgevingen waar nieuwe soorten of objecten kunnen verschijnen en de beeldkwaliteit/stijl kan variëren (bijv. drone-beelden in verschillende weersomstandigheden of artsen die nieuwe ziektepatronen moeten herkennen in verschillende ziekenhuizen).
• Efficiëntie: Door te laten zien dat synthetische data en complexe meta-learning niet altijd nodig zijn, maakt het robuuste open-world AI toegankelijker en schaalbaarder.
• Basis voor Toekomst: De geïntroduceerde benchmarks en het DCPD/UFA ontwerp vormen een nieuwe standaard voor het evalueren van modellen in realistische, open-wereld scenario's.