MAPLE: Multi-Path Adaptive Propagation with Level-Aware Embeddings for Hierarchical Multi-Label Image Classification

1. Il Problema: Classificazione Multi-Etichetta Gerarchica (HMLC)

La classificazione di immagini da telerilevamento (Remote Sensing Images - RSI) richiede metodi che rispettino la struttura gerarchica dei tipi di copertura del suolo (ad esempio, lo standard CORINE). Sebbene il deep learning moderno eccella nella classificazione multi-etichetta "piatta" (Flat Multi-Label Classification - MLC), spesso ignora le relazioni tassonomiche tra i livelli.

Le sfide principali identificate dagli autori sono:

• Ambienti Multi-Path: Le immagini possono attivare rami tassonomici multipli contemporaneamente (es. un'immagine può contenere sia "aree urbane" che "corpi idrici"), ma molte soluzioni esistenti assumono gerarchie a singolo percorso.
• Limitazioni Computazionali e Strutturali: I metodi basati su reti neurali complesse sono pesanti computazionalmente, mentre quelli basati solo sulla funzione di perdita (loss-based) spesso falliscono nel catturare dipendenze a lungo raggio.
• Scarsità di Dati: Nella telerilevamento satellitare, le annotazioni sono spesso limitate (regimi few-shot), rendendo difficile l'addestramento di modelli puramente supervisionati senza sfruttare la struttura gerarchica come induttivo bias.

2. Metodologia: Il Framework MAPLE

MAPLE è un framework progettato per codificare esplicitamente la struttura multi-path e gerarchica. L'architettura si compone di quattro fasi principali:

A. Inizializzazione Semantica Gerarchica

Invece di inizializzare casualmente i nodi del grafo delle etichette, MAPLE genera embedding semantici contestuali.

• Per ogni nodo della gerarchia, viene creata una descrizione testuale che combina il nome dell'etichetta con le sue relazioni padre/figlio (es. "La categoria 'nave' che è una sottocategoria di 'Aree portuali'...").
• Queste descrizioni vengono codificate utilizzando un sentence transformer pre-addestrato (MPNet) e proiettate nello spazio dimensionale del modello per ottenere embedding iniziali significativi ($e^{(0)}$).

B. Rappresentazione Visiva e Transformer Multi-Token

Il modello estende l'architettura standard Vision Transformer (ViT):

• Invece di un singolo token CLS, introduce M token di classe apprendibili, uno per ogni nodo della gerarchia.
• Questi token vengono preposti alle patch dell'immagine. Questo design permette a ogni token di specializzarsi nell'attenzione su regioni specifiche dell'immagine rilevanti per la sua etichetta specifica, apprendendo pattern label-specifici.

C. Raffinamento Gerarchico Basato su Grafi (GNN)

Per sfruttare le relazioni tra le etichette, gli embedding dei token visivi vengono raffinati attraverso un Graph Neural Network (GNN), specificamente un'architettura stile GraphSAGE.

• Il processo avviene tramite message passing iterativo sul grafo delle etichette.
• I nodi aggregano informazioni dai genitori e dai figli, permettendo al modello di creare embedding robusti e consapevoli della gerarchia, aggiornando le rappresentazioni visive con il contesto tassonomico.

D. Fusione Multimodale Adattiva e Obiettivo di Addestramento

• Fusione Adattiva: Un meccanismo di gating adattivo fonde dinamicamente le rappresentazioni visive raffinate con le evidenze semantiche. Per ogni nodo, il modello impara a bilanciare quanto affidarsi ai segnali visivi rispetto al contesto tassonomico appreso.
• Obiettivo di Addestramento Unificato: Viene utilizzata una funzione di perdita adattiva a livello aware. A seconda della struttura delle etichette a un certo livello della gerarchia, il modello applica automaticamente la Cross-Entropy (se l'etichetta è singola) o la Binary Cross-Entropy (se multi-etichetta), mediando la perdita su tutti i livelli. Questo elimina la necessità di un tuning manuale dei pesi della loss per ogni livello.

3. Contributi Chiave

1. Architettura Multi-Token con Ragionamento su Grafo: Introduzione di un transformer con token multipli e ragionamento gerarchico basato su grafi per gestire la classificazione HMLC a percorsi multipli nelle immagini RSI.
2. Costruzione di Gerarchie CORINE: Creazione di gerarchie multi-path allineate allo standard CORINE per tre dataset principali (AID, DFC-15, MLRSNet) e valutazione su nove dataset totali (inclusi imaging medico e categorizzazione visiva fine-grained) per dimostrare la generalizzabilità.
3. Efficienza e Prestazioni: Dimostrazione di prestazioni superiori in scenari con dati limitati (few-shot), ottenendo guadagni significativi con un sovraccarico parametrico minimo.

4. Risultati Sperimentali

Il modello è stato valutato su dataset di telerilevamento (AID, DFC-15, MLRSNet) e confrontato con baseline "piatte" e metodi HMLC dello stato dell'arte (SOTA).

• Prestazioni Generali: MAPLE supera costantemente le baseline piatte su tutti i dataset. I miglioramenti variano dallo 0,56% al 3,61% in termini di AUPRC (Area Under the Precision-Recall Curve).
• Regimi Few-Shot: Il vantaggio è più marcato quando i dati di addestramento sono scarsi. In scenari 4-shot, MAPLE mostra miglioramenti relativi fino al +42% rispetto alla baseline MLC (es. +25% su AID, +18.5% su MLRSNet). Questo conferma che la propagazione gerarchica agisce come un forte induttivo bias.
• Confronto SOTA: Su tutti e tre i dataset RSI, MAPLE ottiene il miglior punteggio AUPRC a livello foglia, superando metodi come C-HMCNN, HiMulConE e HMI.
• Generalizzazione: Il modello si è dimostrato efficace anche in domini non RSI, come l'imaging medico (PadChest, +21.9%) e la categorizzazione fine-grained (ETHEC, +10.4%).
• Efficienza: L'approccio aggiunge solo il 2,6% di parametri e un overhead computazionale trascurabile (circa +0,7% GFLOPs) rispetto alla baseline, rendendolo adatto per applicazioni operative su larga scala.

5. Significato e Impatto

Il lavoro di MAPLE è significativo perché:

• Risolve il problema della struttura: Dimostra che incorporare esplicitamente le gerarchie non solo migliora l'accuratezza, ma aumenta la stabilità e la robustezza al rumore nelle etichette, prevenendo assegnazioni di etichette incoerenti.
• Abilita l'uso in scenari reali: La sua efficienza e la capacità di funzionare bene con poche annotazioni lo rendono pratico per scenari operativi di osservazione della Terra (EO) e diagnostica medica, dove le etichette sono costose da ottenere.
• Interpretabilità: Fornisce previsioni interpretabili, mostrando come le decisioni si propagano attraverso la gerarchia, un aspetto cruciale per la trasparenza in settori critici come il monitoraggio ambientale e la medicina.

In sintesi, MAPLE rappresenta un avanzamento significativo nel campo della classificazione di immagini, offrendo un equilibrio ottimale tra accuratezza, efficienza computazionale e capacità di sfruttare la conoscenza strutturale delle etichette.