MAPLE: Multi-Path Adaptive Propagation with Level-Aware Embeddings for Hierarchical Multi-Label Image Classification

1. Problemstellung

Die Klassifizierung von Fernerkundungsbildern (Remote Sensing Images, RSI) erfordert Methoden, die die hierarchische Organisation von Landbedeckungstypen (z. B. gemäß dem CORINE-Standard) respektieren. Bestehende Ansätze für das flache Multi-Label-Klassifizieren (MLC) ignorieren diese taxonomische Struktur, was zu suboptimalen Ergebnissen in Bereichen wie Umweltmonitoring und Stadtplanung führt.

Das Hauptproblem liegt in der Hierarchischen Multi-Label-Klassifizierung (HMLC):

• Multi-Pfad-Szenarien: Bilder können oft mehrere taxonomische Äste gleichzeitig aktivieren (z. B. ein Bild enthält sowohl „Wasser" als auch „Industriegebiete"). Viele bestehende Modelle gehen von einzelnen Pfaden aus und scheitern in diesen komplexen Szenarien.
• Limitationen bestehender Methoden: Netzwerkbasierte Ansätze sind oft rechenintensiv, verlustbasierte Formulierungen erfassen keine langreichweitigen Abhängigkeiten, und die meisten Modelle sind rein überwacht, obwohl in der Fernerkundung oft nur wenige gelabelte Daten verfügbar sind (Few-Shot-Szenarien).

2. Methodik: MAPLE Framework

MAPLE (Multi-Path Adaptive Propagation with Level-Aware Embeddings) ist ein Framework, das visuelle Merkmale mit hierarchischem semantischem Wissen integriert. Die Architektur besteht aus vier Hauptkomponenten:

A. Hierarchische semantische Initialisierung

Anstatt Label-Knoten zufällig zu initialisieren, nutzt MAPLE kontextuelle Textbeschreibungen. Für jeden Knoten im Label-Graphen wird ein Prompt generiert, der den Namen des Labels, seine Eltern- und Kind-Relationen enthält (z. B. „Die Kategorie 'Schiff', die eine Unterkategorie von 'Hafenbereiche' ist...").

• Diese Texte werden durch einen vortrainierten Sentence Transformer (z. B. MPNet) in Embeddings kodiert.
• Die resultierenden Vektoren dienen als semantisch reiche Initialisierung für die Label-Knoten, was das Modell in die Lage versetzt, die Hierarchie bereits zu Beginn zu verstehen.

B. Visuelle Repräsentation und Multi-Token Transformer

Das Modell erweitert den Standard-Vision-Transformer (ViT):

• Statt eines einzigen [CLS]-Tokens werden M lernbare Class-Tokens eingeführt, wobei M der Anzahl der Knoten im Hierarchiegraphen entspricht.
• Jedes Token lernt spezifische Muster für sein zugehöriges Label, indem es relevante Bildregionen über den Self-Attention-Mechanismus attendiert.
• Die visuellen Merkmale werden in einen gemeinsamen latenten Raum projiziert, um eine Fusion mit den semantischen Embeddings zu ermöglichen.

C. Graph-basierte hierarchische Verfeinerung

Um die Abhängigkeiten innerhalb der Hierarchie explizit zu nutzen, wird ein Graph Neural Network (GNN), spezifisch ein GraphSAGE-Modell, eingesetzt:

• Die Token-Embeddings aus dem ViT dienen als initiale Knotenmerkmale im Label-Graphen.
• Durch iterative Nachrichtenweitergabe (Message Passing) über Lg Schichten werden Informationen zwischen Eltern- und Kind-Knoten ausgetauscht.
• Dies erzeugt robuste, hierarchiebewusste Embeddings, die sowohl lokale visuelle Details als auch globale taxonomische Kontexte integrieren.

D. Adaptive multimodale Fusion und Lernziel

• Adaptive Fusion: Ein Gating-Mechanismus berechnet pro Knoten Gewichte, die dynamisch entscheiden, wie stark sich das Modell auf visuelle Evidenz oder auf die verfeinerten semantischen Priors verlässt. Dies ermöglicht eine label-spezifische Anpassung.
• Level-Aware Objective: Ein einheitlicher Vorhersagekopf nutzt eine adaptive Verlustfunktion. Je nach Ebene der Hierarchie wird entweder Cross-Entropy (bei Single-Label-Ebenen) oder Binary Cross-Entropy (bei Multi-Label-Ebenen) angewendet. Dies ermöglicht eine simultane Überwachung über alle semantischen Auflösungen hinweg ohne manuelles Abwägen der Verlustgewichte.

3. Wichtige Beiträge

1. Multi-Token Transformer mit Graph-Reasoning: Einführung eines neuen Ansatzes für HMLC in der Fernerkundung, der Multi-Pfad-Strukturen explizit kodiert und graphbasiertes Schlussfolgern mit Transformer-Architekturen kombiniert.
2. Umfassende Evaluation: Erstellung von CORINE-abgestimmten Hierarchien für drei Fernerkundungsdatensätze (AID, DFC-15, MLRSNet) und Evaluation auf neun Datensätzen insgesamt (inkl. medizinische Bildgebung und Feinabstimmung), um die Generalisierbarkeit über die Erdbeobachtung hinaus zu testen.
3. Effizienz und Few-Shot-Learning: Demonstration, dass MAPLE auch bei stark limitierten Annotationsbudgets (Few-Shot) überlegen ist, mit nur einem minimalen Overhead an Parametern.

4. Ergebnisse

Die Evaluation wurde auf Fernerkundungs-, medizinischen und feinabgestimmten Datensätzen durchgeführt. Die wichtigsten Ergebnisse sind:

• Verbesserung gegenüber flachen Baselines: MAPLE übertrifft konsistent flache Multi-Label-Modelle (nur Blattknoten). Die Verbesserungen liegen zwischen +0,56 % und +3,61 % in Bezug auf die mittlere Fläche unter der Precision-Recall-Kurve (AUPRC).
• Few-Shot-Leistung: Der größte Vorteil zeigt sich bei wenig gelabelten Daten. Bei 4-Shot-Szenarien wurden Verbesserungen von bis zu +42 % (auf dem AID-Datensatz) gegenüber dem flachen Baseline erreicht. Dies bestätigt, dass die hierarchische Propagation als starker induktiver Bias wirkt.
• Vergleich mit State-of-the-Art: MAPLE erreicht auf allen drei Fernerkundungsdatensätzen die besten Ergebnisse im Vergleich zu aktuellen HMLC-Methoden (wie C-HMCNN, HiMulConE).
• Effizienz: Das Modell fügt nur 2,6 % mehr Parameter und einen vernachlässigbaren Latenz-Overhead hinzu, was es für großflächige Anwendungen geeignet macht.
• Generalisierung: Das Modell generalisiert erfolgreich auf medizinische Daten (z. B. PadChest mit +21,9 % Verbesserung) und Feinabstimmungsaufgaben (Oxford Pets, Stanford Cars).

5. Bedeutung und Ausblick

MAPLE adressiert eine kritische Lücke in der Fernerkundungsbildanalyse, indem es die inhärente Hierarchie von Landbedeckungsklassen effektiv nutzt.

• Robustheit: Durch die Einschränkung der Vorhersagen auf gültige hierarchische Pfade werden inkonsistente Label-Zuweisungen reduziert, was die Stabilität und Robustheit gegenüber Label-Rauschen erhöht.
• Interpretierbarkeit: Die Struktur des Modells macht die Entscheidungsfindung nachvollziehbarer, da die Propagation durch die Hierarchie sichtbar ist.
• Praktische Relevanz: Die hohe Label-Effizienz macht MAPLE besonders wertvoll für operative Szenarien in der Erdbeobachtung, wo manuelle Annotationen teuer und begrenzt sind.

Zukünftige Arbeiten werden sich auf semi-überwachtes Lernen, kontrastives Lernen und die automatische Entdeckung von Hierarchien konzentrieren, um die Abhängigkeit von experten-definierten Taxonomien weiter zu verringern.