Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning

Sintesi Tecnica: Miglioramento del Rilevamento di Nodi Rari nell'Apprendimento Multi-Etichetta Gerarchico

Definizione del Problema
La classificazione Multi-Etichetta Gerarchica (HML) presenta una sfida persistente: consentire ai modelli di effettuare previsioni a livelli più profondi e granulari di una gerarchia. Questa difficoltà deriva dalla naturale rarità di determinate classi (nodi) e dal vincolo gerarchico per cui i nodi figli sono quasi sempre meno frequenti dei loro genitori. Di conseguenza, i modelli standard spesso non riescono a prevedere nodi rari e fini, che sono frequentemente critici per le intuizioni scientifiche (ad esempio, il rilevamento di specie rare in immagini del fondale marino o di prodotti genici rari in domini medici).

Gli approoli esistenti all'imbalance dell'HML si affidano spesso al campionamento basato sulle osservazioni (ad esempio, l'over-sampling di osservazioni rare). Gli autori sostengono che questo sia subottimale perché rischia di enfatizzare eccessivamente i nodi genitori comuni che sono co-annotati con i figli rari. Inoltre, trattare l'intera osservazione come un'unica unità non riesce ad affrontare l'imbalance specifica inerente ai singoli nodi all'interno della gerarchia. Inoltre, le funzioni di perdita standard non tengono adeguatamente conto dell'incertezza del modello, il che è cruciale per identificare quali nodi richiedono maggiore attenzione durante l'addestramento.

Metodologia
Gli autori propongono un obiettivo di perdita pesata per reti neurali che combina due componenti distinte per affrontare l'imbalance a livello di nodo e l'incertezza, basandosi sul framework Coherent Hierarchical Multi-Label Classification Neural Network (C-HMCNN).

1. Pesatura dell'Imbalance per Nodo:
   Invece di pesare in base alla frequenza delle osservazioni, il metodo assegna pesi in base alla frequenza dei singoli nodi e dei loro discendenti.

• Riscalatura: Per evitare che i nodi comuni ricevano pesi vicini allo zero (il che eliminerebbe i loro gradienti informativi), gli autori introducono un parametro di peso minimo ($\tilde{w}_0$).
• Applicazione: I pesi sono applicati solo alle annotazioni positive ($y_i=1$) dei nodi, mentre le annotazioni negative rimangono non pesate (peso di 1). Ciò incoraggia il modello a imparare i nodi rari senza ignorare completamente quelli comuni.

2. Pesatura Focal tramite Quantificazione dell'Incertezza:
   Ispirata alla Focal Loss, questa componente enfatizza i nodi in cui l'ensemble di modelli presenta un'elevata incertezza. Gli autori utilizzano un ensemble di modelli ($\Theta$) per quantificare l'incertezza, esplorando diverse metriche:

• Binary Bayesian Model Average (bBMA): Utilizza la varianza della media delle predizioni dell'ensemble, regolata per la confidenza binaria.
• Gated Margin Uncertainty (GMU): Una metrica basata sul rapporto segnale-rumore che cattura la varianza tra le predizioni del modello incorporando un gate di confidenza.
• Incertezza Epistemica: Misurata tramite la divergenza Kullback–Leibler (KL) o Jensen-Shannon (JS) tra le predizioni del modello nell'ensemble.
• Implementazione: Il termine focale è calcolato come $(U_0 + U(\Theta(X))^k)$, dove $U$ è la misura di incertezza, $U_0$ è un gate minimo e $k$ è un fattore esponenziale. Questo termine è calcolato senza gradienti per prevenire il collasso dell'ensemble.

La funzione di perdita finale ($L_{focal}$) moltiplica il termine di pesatura dell'imbalance, il termine di pesatura focale e la standard "max constraint loss" ($L_{MC}$) utilizzata in C-HMCNN per soddisfare i vincoli gerarchici.

Contributi Chiave

1. Pesatura dell'Imbalance: Il documento fornisce prove che definire la pesatura dell'imbalance a livello di nodo (indipendentemente dalla distribuzione delle osservazioni) è più efficace rispetto al campionamento basato sulle osservazioni per i compiti HML. Dimostra che un parametro di peso minimo specifico ($\tilde{w}_0$) è cruciale per bilanciare il compromesso tra recall e precisione.
2. Pesatura Focale: Gli autori adattano il concetto di quantificazione dell'incertezza per il contesto HML. Forniscono prove che l'incorporazione di termini di incertezza (specificamente bBMA e GMU) nella funzione di perdita migliora significativamente il rilevamento di nodi rari.
3. Valutazione Comprensiva: Lo studio valuta questi metodi attraverso 16 dataset di prodotti genici (gerarchie FUN e GO) e un dataset di immagini bentoniche (BenthicNet-E), coprendo sia strutture ad albero che a Grafo Aciclico Diretto (DAG).

Risultati Sperimentali

• Dataset dei Prodotti Genici: La proposta di pesatura per nodo (con $\tilde{w}_0 = 0.25$) ha migliorato la recall fino a un fattore di cinque rispetto ai baseline (None, LPROS, HROS-PD) su specifici dataset. Sebbene ciò comporti talvolta un compromesso nella precisione, l'F1 score complessivo ha mostrato guadagni statisticamente significativi.
• Pesatura Focale: Quando combinata con la pesatura dell'imbalance, i termini focali (bBMA e GMU) hanno ulteriormente migliorato gli F1 score e la recall. Le prestazioni della pesatura focale sono cresciute positivamente con la dimensione dell'ensemble, suggerendo che un ensemble più grande fornisce una stima dell'incertezza più affidabile.
• Incertezza Epistemica: Contrariamente alle ipotesi iniziali, le misure di incertezza epistemica (divergenza KL/JS) hanno ottenuto prestazioni inferiori rispetto a bBMA e GMU. Gli autori suggeriscono che ciò possa essere dovuto al fatto che l'incertezza aleatoria domina l'incertezza totale nei modelli ben addestrati.
• Modelli di Visione (BenthicNet-E): L'approccio ha mostrato i benefici più significativi quando l'encoder era subottimale (rumoroso o inizializzato casualmente) o quando i dati di addestramento erano limitati. Man mano che l'encoder diventava pienamente addestrato e i dati abbondanti, i guadagni relativi diminuivano, sebbene i miglioramenti sui nodi rari persistessero.
• Approcci Combinati: Combinare il metodo di pesatura proposto con LPROS (un metodo di campionamento) ha prodotto ulteriori miglioramenti in F1 e precisione sui dataset dei prodotti genici, suggerendo effetti sinergici. Tuttavia, questa combinazione non ha performato fortemente sul dataset di visione.

Significatività e Rivendicazioni
Il documento afferma che il suo approccio consente un rilevamento coerente di nodi rari più profondi in una gerarchia, un problema spesso ignorato dai modelli HML standard a causa dell'imbalance naturale dei dati. La significatività risiede nello spostare il focus dalle "osservazioni rare" ai "nodi rari", evitando così l'errore di rinforzare i nodi genitori comuni. Gli autori asseriscono che il loro metodo è particolarmente efficace per compiti HML impegnativi in cui il rilevamento di nodi rari è un problema grave, come nei domini con encoder subottimali o dati limitati. Concludono che, sebbene i benefici diminuiscano con encoder perfetti e dati abbondanti, il metodo rimane una strategia robusta per migliorare recall e F1 score in contesti gerarchici reali e sbilanciati.