Free-Grained Hierarchical Visual Recognition

Titel: Free-Grained Hierarchical Visual Recognition (Vrijkorrelige Hiërarchische Visuele Herkenning)

Auteurs: Seulki Park, Zilin Wang, Stella X. Yu (Universiteit van Michigan & UC Berkeley)

---

1. Het Probleem: De Kloof tussen Theorie en Realiteit

Herkenningsystemen voor hiërarchische beeldclassificatie proberen doorgaans labels te voorspellen langs een semantische taxonomie (bijv. Vogel → Roofdier → Arend). Bestaande methoden maken echter een onrealistische aanname: dat elk trainingsbeeld volledig is geannoteerd langs het volledige pad van de taxonomie.

In de praktijk is annotatie "rommelig" en varieert de korrelgrootte (granulariteit) per afbeelding om twee redenen:

1. Intrinsiek: Een afbeelding bevat misschien niet genoeg visuele details om een fijnkorrelig label te rechtvaardigen (bijv. een verre vogel kan alleen als "Vogel" worden gelabeld, terwijl een close-up als "Bald Eagle" kan worden gelabeld).
2. Extrinsiek: Beperkingen in kosten, expertise van de annotator of veranderende protocollen leiden tot onvolledige annotaties.

Bestaande methoden presteren slecht in deze omgeving omdat ze zijn getraind op volledige supervisie. Wanneer ze worden blootgesteld aan gemengde korrelgrootte-supervisie (waarbij labels op willekeurige niveaus van de taxonomie ontbreken), daalt hun prestatie drastisch (tot wel 40% verlies in nauwkeurigheid).

2. De Oplossing: Free-Grained Learning

De auteurs introduceren een nieuw taakparadigma genaamd Free-Grained Hierarchical Recognition.

• Training: Labels kunnen op elk niveau van de taxonomie verschijnen (van grof tot fijn) en verschillen per voorbeeld. Het model moet leren van incompleet en ongelijk verdeeld toezicht.
• Inferentie: Het model past de diepte van de voorspelling dynamisch aan. Als een fijnkorrelig label onzeker is, keert het een betrouwbaar grof label terug in plaats van een foutief fijn label.

3. Methodologie

A. Benchmarks en Dataset Constructie

Om dit probleem te bestuderen, hebben de auteurs nieuwe benchmarks ontwikkeld:

• ImageNet-3L: De originele ImageNet-taxonomie (WordNet) is te onregelmatig en diep. De auteurs hebben deze herschikt in een schone, consistente drie-niveau hiërarchie (Basis, Sub-ordinatie, Fijnkorrelig) gebaseerd op cognitieve psychologie (Rosch's theorie).
• Foundation-based Variants (Realistisch): Datasets zoals ImageNet-F en CUB-F zijn gegenereerd door labels te "prunen" (verwijderen) op basis van de voorspellingen van grote visuele foundation-modellen (zoals CLIP en BioCLIP). Als een model een fijnkorrelig label niet met zekerheid kan voorspellen, wordt het label verwijderd, wat resulteert in realistische gemengde supervisie.
• Randomized Variants: Datasets waarbij labels willekeurig worden verwijderd om systematisch de impact van label-schaarste te testen.

B. Twee Nieuwe Trainingsmethoden

Om het gebrek aan supervisie te compenseren, stellen de auteurs twee methoden voor:

1. Text-Guided Pseudo-Attributes (Text-Attr):

   • Concept: Gebruikt een Vision-Language Model (VLM, specifiek Llama-3.2) om tekstuele beschrijvingen van de visuele kenmerken van een afbeelding te genereren (bijv. "korte poten", "puntige oren").
   • Mechanisme: Deze tekst wordt gecodeerd en gebruikt als extra supervisie via een contrastief verlies. Het model leert visuele attributen die consistent zijn over verschillende hiërarchische niveaus, zelfs als het specifieke class-label ontbreekt.
   • Voordeel: Helpt het model om discriminatieve kenmerken te leren wanneer fijnkorrelige labels ontbreken.

2. Taxonomy-Guided Semi-Supervised Learning (Taxon-SSL):

   • Concept: Behandelt ontbrekende labels op specifieke taxonomieniveaus als ongelabelde data.
   • Mechanisme: Genereert pseudo-labels voor ongelabelde niveaus en gebruikt een taxonomie-gealigneerde contrastieve loss. Dit zorgt ervoor dat twee afbeeldingen alleen als positief paar worden beschouwd als ze consistent zijn op alle niveaus van de hiërarchie.
   • Voordeel: Benut de structuur van de taxonomie om informatie te verspreiden tussen gelabelde en ongelabelde voorbeelden.

C. Free-Grained Inference

In plaats van een vaste diepte te forceren, kiest het model adaptief hoe diep het voorspelt.

• Consistency-based Stopping: Het model stopt met het voorspellen van diepere niveaus zodra de hiërarchische consistentie wordt geschonden. Dit bleek betrouwbaarder te zijn dan op vertrouwen (confidence) gebaseerde methoden, omdat het voorkomt dat het model een onzeker, foutief fijnkorrelig label kiest.

4. Belangrijkste Resultaten

• Prestatieverval bij bestaande methoden: State-of-the-art methoden (zoals H-CAST en HRN) lijden onder free-grained supervisie, met een daling van de Full-Path Accuracy (FPA) van 19% tot 40% op verschillende datasets.
• Verbetering door nieuwe methoden:
  • Text-Attr presteert uitstekend op grote, diverse datasets (ImageNet-F), waar tekstuele cues rijk zijn aan visuele details.
  • Taxon-SSL presteert beter op datasets met minder data per klasse of in biologische domeinen (iNat21-mini), waar structurele propagatie cruciaal is.
  • Combinatie: Het combineren van beide methoden levert over het algemeen de beste resultaten op, met verbeteringen van 5% tot 25% ten opzichte van de beste bestaande hiërarchische classifiers.
• Inferentie: Consistency-based stopping levert betrouwbaardere en diepere correcte voorspellingen op dan confidence-based stopping.

5. Bijdragen en Significantie

1. Nieuw Taakparadigma: Introduceert "Free-Grained Learning", een realistischere setting die de variabiliteit in annotatiekwaliteit en -diepte in de echte wereld weerspiegelt.
2. Benchmarks: Creëert ImageNet-3L en diverse varianten (Foundation-based en Randomized) die dienen als robuuste testbeds voor hiërarchisch leren onder onvolledige supervisie.
3. Methodologische Innovatie: Biedt twee effectieve oplossingen (Text-Attr en Taxon-SSL) die het probleem van gemengde korrelgrootte-supervisie aanpakken door respectievelijk semantische tekstuele cues en semi-supervised consistentie te benutten.
4. Praktische Relevantie: Het werk benadrukt dat een correct grof label vaak waardevoller is dan een foutief fijn label, en biedt methoden om dit adaptief te handhaven.

Conclusie:
Deze paper verschuift het veld van hiërarchische beeldherkenning van een theoretisch, perfect geannoteerd ideaal naar een praktische, realistische setting. Het toont aan dat bestaande methoden kwetsbaar zijn voor onvolledige data, maar dat nieuwe benaderingen die tekstuele semantiek en hiërarchische consistentie combineren, deze kloof kunnen overbruggen. Dit is een belangrijke stap naar robuustere AI-systemen die kunnen omgaan met de onzekerheid en variabiliteit van menselijke annotatie in de echte wereld.