MAPLE: Multi-Path Adaptive Propagation with Level-Aware Embeddings for Hierarchical Multi-Label Image Classification

Hieronder volgt een gedetailleerde technische samenvatting van het paper "MAPLE: Multi-Path Adaptive Propagation with Level-Aware Embeddings for Hierarchical Multi-Label Image Classification" in het Nederlands.

Probleemstelling

De classificatie van afbeeldingen uit de aardobservatie (Remote Sensing Images - RSI) vereist methoden die de hiërarchische organisatie van landdekkings-types respecteren, zoals gedefinieerd in standaarden als CORINE. Bestaande diepe leermethodes zijn vaak uitstekend in "vlakke" (flat) multi-label classificatie, maar negeren de taxonomische structuur. Dit leidt tot drie hoofdbeperkingen:

1. Single-path aannames: Veel bestaande modellen gaan ervan uit dat een afbeelding slechts één tak in de hiërarchie activeert, terwijl realiteit vaak meerdere takken omvat (multi-path).
2. Rekenkracht en afhankelijkheden: Netwerkgebaseerde ontwerpen zijn vaak te zwaar, terwijl verliesgebaseerde methoden lange-afstandsafhankelijkheden missen.
3. Data-schaarste: De meeste methoden zijn puur toezicht (supervised), terwijl satellietbeelden vaak slechts beperkt gelabeld zijn (few-shot regimes).

Het doel is om een framework te ontwikkelen dat hiërarchische label-afhankelijkheden effectief benut, zelfs bij beperkte annotatie en complexe, multi-path scenario's.

Methodologie: MAPLE Framework

MAPLE (Multi-Path Adaptive Propagation with Level-Aware Embeddings) is een architectuur die visuele kenmerken combineert met semantische hiërarchie-informatie. De kerncomponenten zijn:

1. Hiërarchische Semantische Initialisatie:

   • In plaats van willekeurige initialisatie, worden label-nodes in de hiërarchie geïnitieerd met semantische embeddings.
   • Dit gebeurt door contextuele beschrijvingen te genereren die de labelnaam combineren met de ouder- en kindrelaties (bijv. "Het label 'schip' is een subcategorie van 'havens'").
   • Deze tekst wordt verwerkt door een voorgetrainde sentence transformer (bijv. MPNet) en geprojecteerd naar de model-dimensie, wat semantisch betekenisvolle startpunten biedt.

2. Multi-Token Vision Transformer (ViT):

   • Het model gebruikt een ViT-encoder (bijv. ViT-B/16) die is uitgebreid met $M$ leerbare "class tokens", één voor elk label in de hiërarchie.
   • Deze tokens worden voorafgeplaatst aan de patch-tokens van de afbeelding. Dit stelt elk token in staat om zich te specialiseren in het detecteren van specifieke labelpatronen door te attenderen op relevante beeldregio's.

3. Grafische Hiërarchische Verfijning (Graph-Based Refinement):

   • Om de label-hiërarchie expliciet te benutten, worden de output-tokens van de ViT verwerkt door een Graph Neural Network (GNN), specifiek een GraphSAGE-architectuur.
   • Via iteratieve message passing worden informatie uit ouder- en kind-nodes geaggregeerd. Dit creëert robuuste, hiërarchie-bewuste embeddings die zowel lokale visuele details als globale semantische relaties coderen.

4. Adaptieve Multi-modale Fusie:

   • Een adaptieve "gating"-mechanisme combineert de visuele representatie (van de ViT) met de verfijnde semantische embeddings.
   • Voor elk label wordt een gewicht ($\gamma$) berekend dat dynamisch bepaalt hoeveel vertrouwen het model moet stellen in visuele aanwijzingen versus de geleerde taxonomische context. Dit laat toe dat het model per label beslist welke modale bron het meest betrouwbaar is.

5. Unificatie en Trainingsdoel:

   • Een enkele voorspellingskop genereert log-odds voor alle hiërarchienodes.
   • Een adaptief verliesfunctie past automatisch het type verlies toe per niveau: Cross-Entropy (CE) voor single-label niveaus en Binary Cross-Entropy (BCE) voor multi-label niveaus. Dit elimineert de noodzaak voor handmatige afstemming van verliesgewichten per niveau.

Belangrijkste Bijdragen

1. Multi-token Transformer met Grafische Redenering: Introductie van een nieuw architectuurpatroon dat multi-path HMLC (Hierarchical Multi-Label Classification) mogelijk maakt in RSI-classificatie door het combineren van ViT en GNN.
2. Uitgebreide Evaluatie en Hiërarchie-construktie: Constructie van CORINE-gealigneerde multi-path hiërarchieën voor drie grote RSI-datasets (AID, DFC-15, MLRSNet) en evaluatie op negen datasets over drie domeinen (aardobservatie, medische beeldvorming, en fijnkorrelige visuele categorisatie).
3. Efficiëntie en Few-Shot Prestaties: Demonstratie van sterke prestaties onder beperkte annotatiebudgetten, met aanzienlijke winsten ten opzichte van vlakke baselines zonder significante toename in modelgrootte.

Resultaten

De evaluatie toont consistente verbeteringen ten opzichte van state-of-the-art methoden:

• Algemene Prestaties: MAPLE overtreft vlakke baselines (die alleen leaf-labels voorspellen) met verbeteringen variërend van 0,56% tot 3,61% in AUPRC (Area Under the Precision-Recall Curve) op aardobservatiedatasets.
• Few-Shot Learning: In scenario's met weinig data (4-shot per klasse) worden enorme winsten behaald, tot wel +42% verbetering ten opzichte van vlakke baselines. Dit bevestigt dat de hiërarchische propagatie fungeert als een sterke inductieve bias.
• Vergelijking met State-of-the-Art: MAPLE presteert beter dan bestaande HMLC-methoden zoals C-HMCNN, HiMulConE en HMI op alle drie de RSI-datasets.
• Generalisatie: Het model generaliseert succesvol naar andere domeinen, met name medische beeldvorming (bijv. +21,9% op PadChest) en fijnkorrelige classificatie.
• Efficiëntie: De methode voegt slechts 2,6% parameters toe aan het basismodel en veroorzaakt een verwaarloosbare vertraging in inferentietijd (2,4% - 5,3% overhead).

Betekenis en Impact

MAPLE biedt een efficiënte en nauwkeurige oplossing voor het modelleren van hiërarchische semantics in aardobservatie en andere visuele domeinen. De belangrijkste implicaties zijn:

• Robuustheid bij Data-Schaarste: De methode is bij uitstek geschikt voor operationele scenario's waar annotaties schaars of duur zijn, omdat de taxonomische structuur fungeert als een krachtige regularisator.
• Semantische Coherentie: Door de hiërarchie expliciet te coderen, worden inconsistente labeltoewijzingen (bijv. het voorspellen van een kind-label zonder het bijbehorende ouder-label) geminimaliseerd.
• Interpreteerbaarheid: Het model biedt inzicht in hoe beslissingen zich door de hiërarchie voortplanten, wat essentieel is voor vertrouwen in toepassingen zoals milieumonitoring en medische diagnose.
• Toekomstgericht: Het werk opent de weg voor semi-supervised learning en automatisch ontdekken van hiërarchieën, wat de afhankelijkheid van handmatig gedefinieerde taxonomieën kan verminderen.

Kortom, MAPLE bewijst dat het expliciet integreren van hiërarchische kennis in diepe leermodellen niet alleen de nauwkeurigheid verhoogt, maar ook de stabiliteit en data-efficiëntie aanzienlijk verbetert.