Technische Samenvatting: Level-Restricted Contrastive Learning voor Hiërarchische Fijnmazige Visuele Classificatie

1. Probleemstelling

Multimodale contrastieve leermodellen, zoals CLIP, hebben sterke capaciteiten getoond in zero-shot visuele classificatie door beeld- en tekstembeddings uit te lijnen. Deze modellen opereren echter doorgaans onder een flat-label aanname, waarbij alle niet-overeenkomende tekstlabels als gelijke negatieve voorbeelden worden behandeld. Deze aanname valt uiteen wanneer deze wordt toegepast op hiërarchisch gestructureerde labelruimtes (bijv. biologische taxonomieën).

In hiërarchische settings genereert standaard contrastief leren conflicterende supervisiesignalen. Bijvoorbeeld, terwijl een leeuw (Panthera leo) en een wolf (Canis lupus) verschillend zijn op het niveau van soort en geslacht, delen zij hogere-orde voorouders (bijv. de orde Carnivora). In een standaard flat-label contrastieve setup kan het tekstlabel voor "wolf" worden behandeld als een negatief doelwit voor een afbeelding van een "leeuw", ook al zijn ze semantisch compatibel op het niveau van de orde. Dit creëert valse negatieven over taxonomische niveaus heen, wat leidt tot hiërarchische inconsistentie, waarbij het voorspelde fijnmazige label van een model niet toebehoort aan de voorspelde hogere-orde categorie.

2. Methodologie

De auteurs stellen een Level-Restricted Contrastive Learning framework voor dat is ontworpen om cross-level valse negatieven te elimineren en een gebalanceerde optimalisatie over de taxonomie te waarborgen.

2.1. Probleemformulering

De taxonomie wordt gedefinieerd als een set $\mathcal{T} = (C_1, \dots, C_L)$ met $L$ hiërarchische niveaus (van grof naar fijn). Elke afbeelding $x_i$ is geassocieerd met een taxonomische labelvector $t_i = (t_i^1, \dots, t_i^L)$.

• Tekstconstructie: Voor elk niveau $\ell$ wordt een tekstlabel $y_i^\ell$ geconstrueerd die de taxonomische prefix bevat tot aan dat niveau: $y_i^\ell = (t_i^1, \dots, t_i^\ell)$.
• Codering: Afbeeldingen en tekstlabels worden gecodeerd met behulp van CLIP-gebaseerde beeld- ($f$) en tekstencoders ($g$) om embeddings $v_i$ en $z_i^\ell$ te produceren, respectievelijk.

2.2. Level-Restricted Contrastive Loss

In plaats van een gezamenlijke contrastieve loss uit te voeren over alle niveaus, wordt de doelstelling gedecomposeerd in onafhankelijke vergelijkingen binnen elk taxonomisch niveau.

• Intra-Level Vergelijking: De contrastieve loss wordt afzonderlijk berekend voor elk niveau $\ell$. Een label op soortniveau wordt alleen vergeleken met andere labels op soortniveau, om de ambiguïteit te vermijden van het vergelijken van soorten met orden of rijken.
• Group-Balanced Supervision: Om mini-batches te behandelen waarin meerdere afbeeldingen hetzelfde grovere label delen (bijv. twee verschillende soorten uit dezelfde orde), aggregeert de methode de labels. Alle beeld-tekstparen die hetzelfde label delen op een specifiek niveau, worden behandeld als positieve paren.
  • Image-to-Text Loss ($L_{I \to T}$): Berekent de gelijkenis tussen een beeldembedding en de set unieke tekstembeddings op dat niveau.
  • Text-to-Image Loss ($L_{T \to I}$): Berekent de gelijkenis tussen een tekstanker en de set beeldembeddings die dat label delen.
• Finale Doelstelling: De totale loss is het gemiddelde van de losses over alle $L$ niveaus:
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  Deze gelijke weging zorgt ervoor dat fijnmazige niveaus voldoende supervisie ontvangen en niet worden gedomineerd door hoog-betrouwbare grove-niveau signalen.

2.3. Implementatiedetails

• Base Model: Het framework finetunet BioCLIP (een foundation model dat is voorgetraind op de Tree of Life).
• Trainingsdata: Het model wordt getraind op TreeOfLife-10M.
• Embedding Ruimtes: De methode wordt geïnstantieerd in zowel Euclidische als Hyperbolische ruimtes, waarbij de laatste potentieel voordelen biedt voor het representeren van hiërarchische structuren.

3. Belangrijkste Bijdragen

1. Identificatie van Valse Negatieven: Het paper identificeert dat het behandelen van voorouder-afstammeling labels als negatieven in standaard contrastief leren conflicterende signalen creëert die de flat-label aanname schenden.
2. Level-Restricted Framework: Een nieuw trainingsrecept dat contrastieve vergelijkingen beperkt tot labels binnen hetzelfde taxonomische niveau, wat zorgt voor goed gedefinieerde positieve en negatieve paren.
3. Group-Balanced Design: Een mechanisme om label-collisies in mini-batches af te handelen door alle samples met hetzelfde label op een specifiek niveau als positieven te behandelen, wat bias naar frequente grove categorieën voorkomt.
4. Empirische Validatie: Uitgebreide evaluatie over meerdere hiërarchische benchmarks die verbeterde consistentie en nauwkeurigheid aantonen.

4. Experimentele Resultaten

Het model werd geëvalueerd op drie benchmarks: iNaturalist 2021 (iNat21), Rare Species, en CrypticBio.

4.1. Verbeteringen in Nauwkeurigheid

• iNat21: De voorgestelde methode verbeterde de gemiddelde nauwkeurigheid over alle taxonomische niveaus met 30,47% ten opzichte van de BioCLIP baseline.
• Vergelijking: De methode presteerde beter dan OpenCLIP, BioCLIP en RCME (een eerdere hiërarchie-georiënteerde methode) over alle datasets.
• Granulariteit: Significante winsten werden waargenomen op intermediaire niveaus (Orde tot Geslacht), waar standaard contrastieve loss doorgaans het meest lijdt onder cross-level ambiguïteit. Ook de prestaties op soortniveau verbeterden, ondanks dat de optimalisatie niet uitsluitend daarop gericht was.

4.2. Hiërarchische Consistentie

• Top-Down Constrained Inference: Onder een strikt protocol waarbij voorspellingen van grof naar fijn verlopen (door kandidaten te beperken tot geldige afstammelingen), behield de methode een superieure prestatie.
• Normalized LCA (nLCA): De hyperbolische variant bereikte een nLCA score van 0,71 vergeleken met 0,43 voor RCME, wat aangeeft dat zelfs wanneer het exacte soortlabel onjuist is, de voorspelling dichter bij de juiste taxonomische tak blijft.
• Ruimte Vergelijking: De Euclidische variant presteerde het best op iNat21, terwijl de Hyperbolische variant een sterkere prestatie toonde op Rare Species en CrypticBio, met name op diepere taxonomische niveaus.

4.3. Visualisatie

t-SNE visualisaties van tekstembeddings toonden aan dat de voorgestelde methode een duidelijkere hiërarchische structuur produceert met minder cross-level mixing vergeleken met BioCLIP. Sibling-categorieën zijn duidelijker gescheiden, en embeddings van nabijgelegen taxonomische niveaus vormen coherente groepen.

5. Betekenis en Claims

Het paper claimt dat het voorgestelde Level-Restricted Contrastive Learning framework effectief het probleem van hiërarchische inconsistentie in multimodale modellen oplost. Door vergelijkingen te beperken tot wederzijds uitsluitende labelsets binnen hetzelfde niveau en supervisie te balanceren over niveaus, bereikt de methode:

• Eliminatie van conflicterende supervisiesignalen veroorzaakt door valse negatieven in hiërarchische ruimtes.
• Gelijktijdige verbetering van zowel platte classificatie-nauwkeurigheid als hiërarchische consistentie.
• Bevordering van de emergentie van gestructureerde hiërarchische relaties in de embeddingruimte zonder dat complexe geometrie-specifieke doelstellingen of gespecialiseerde architecturen nodig zijn buiten de contrastieve herformulering.

De auteurs benadrukken dat deze aanpak bijzonder effectief is voor zero-shot classificatie in domeinen met complexe taxonomieën, zoals biodiversiteit, waar het behouden van logische consistentie over niveaus heen cruciaal is voor praktische toepasbaarheid in de echte wereld.