Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning

Technische Samenvatting: Verbeteren van de Detectie van Zeldzame Nodes in Hiërarchisch Multi-Label Leren

Probleemstelling
Hiërarchische Multi-Label (HML) classificatie vormt een hardnekkige uitdaging: het in staat stellen van modellen om voorspellingen te doen op diepere, meer fijnmazige niveaus van een hiërarchie. Deze moeilijkheid komt voort uit de natuurlijke zeldzaamheid van bepaalde klassen (nodes) en de hiërarchische beperking dat kind-nodes bijna altijd minder frequent voorkomen dan hun ouder-nodes. Bijgevolg falen standaardmodellen vaak in het voorspellen van zeldzame, fijnmazige nodes, die vaak cruciaal zijn voor wetenschappelijke inzichten (bijv. het detecteren van zeldzame soorten in zeebodembeelden of zeldzame genproducten in medische domeinen).

Bestaande benaderingen van HML-imbalans vertrouwen vaak op observatie-gebaseerde resampling (bijv. het oversamplen van zeldzame observaties). De auteurs stellen dat dit suboptimaal is omdat het risico loopt op het overbenadrukken van veelvoorkomende ouder-nodes die samen geannoteerd zijn met zeldzame kinderen. Bovendien faalt het behandelen van de gehele observatie als een enkele eenheid in het aanpakken van de specifieke onbalans die inherent is aan individuele nodes binnen de hiërarchie. Daarnaast houden standaard verliesfuncties onvoldoende rekening met modelonzekerheid, wat cruciaal is voor het identificeren van welke nodes meer aandacht vereisen tijdens de training.

Methodologie
De auteurs stellen een gewogen verliesdoelstelling voor neurale netwerken voor die twee afzonderlijke componenten combineert om node-niveau onbalans en onzekerheid aan te pakken, gebouwd op het Coherent Hierarchical Multi-Label Classification Neural Network (C-HMCNN) framework.

1. Node-Wise Imbalans Weging:
   In plaats van te wegen op basis van de frequentie van observaties, wijst de methode gewichten toe op basis van de frequentie van individuele nodes en hun afstammelingen.

• Rescaling: Om te voorkomen dat veelvoorkomende nodes bijna nul gewicht krijgen (wat hun informatieve gradiënten zou elimineren), introduceren de auteurs een minimum gewichtsparameter ($\tilde{w}_0$).
• Toepassing: Gewichten worden alleen toegepast op positieve annotaties ($y_i=1$) van nodes, terwijl negatieve annotaties ongewogen blijven (gewicht van 1). Dit moedigt het model aan om zeldzame nodes te leren zonder veelvoorkomende nodes volledig te negeren.

2. Focal Weging via Onzekerheidskwantificatie:
   Geïnspireerd door Focal Loss, legt deze component de nadruk op nodes waar het modelensemble een hoge onzekerheid vertoont. De auteurs maken gebruik van een ensemble van modellen ($\Theta$) om onzekerheid te kwantificeren, waarbij zij verschillende metrieken verkennen:

• Binary Bayesian Model Average (bBMA): Gebruikt de variantie van de gemiddelde voorspellingen van het ensemble, aangepast voor binaire betrouwbaarheid.
• Gated Margin Uncertainty (GMU): Een signaal-ruisverhouding metriek die de variantie over modelvoorspellingen opvangt terwijl een betrouwbaarheidsgate wordt geïntegreerd.
• Epistemische Onzekerheid: Gemeten via de Kullback–Leibler (KL) of Jensen-Shannon (JS) divergentie tussen de modelvoorspellingen in het ensemble.
• Implementatie: De focale term wordt berekend als $(U_0 + U(\Theta(X))^k)$, waarbij $U$ de onzekerheidsmaat is, $U_0$ een minimale gate, en $k$ een exponentiële factor. Deze term wordt berekend zonder gradiënten om ensemble-instorting te voorkomen.

De uiteindelijke verliesfunctie ($L_{focal}$) vermenigvuldigt de imbalans-wegingsterm, de focale wegingsterm en de standaard "max constraint loss" ($L_{MC}$) die gebruikt wordt in C-HMCNN om hiërarchische beperkingen te voldoen.

Belangrijkste Bijdragen

1. Imbalans Weging: Het artikel levert bewijs dat het definiëren van imbalans-weging op node-niveau (onafhankelijk van de observatieverdeling) effectiever is dan observatie-gebaseerde resampling voor HML-taken. Het demonstreert dat een specifieke minimum gewichtsparameter ($\tilde{w}_0$) cruciaal is voor het balanceren van de afweging tussen recall en precisie.
2. Focal Weging: De auteurs passen het concept van onzekerheidskwantificatie aan voor de HML-context. Zij leveren bewijs dat het integreren van onzekerheidstermen (specifiek bBMA en GMU) in de verliesfunctie de detectie van zeldzame nodes aanzienlijk verbetert.
3. Uitgebreide Evaluatie: De studie evalueert deze methoden over 16 genproduct-datasets (FUN en GO hiërarchieën) en een benthic imagery dataset (BenthicNet-E), die zowel boomstructuren als Directed Acyclic Graph (DAG) structuren beslaan.

Experimentele Resultaten

• Genproduct Datasets: De voorgestelde node-wise weging (met $\tilde{w}_0 = 0.25$) verbeterde de recall met een factor tot wel vijf vergeleken met baselines (None, LPROS, HROS-PD) op specifieke datasets. Hoewel dit soms een afruil met de precisie met zich meebracht, vertoonde de algehele F1-score statistisch significante winst.
• Focal Weging: Wanneer gecombineerd met imbalans-weging, verbeterden focale termen (bBMA en GMU) de F1-scores en de recall verder. De prestaties van de focale weging schaalden positief met de ensemble-omvang, wat suggereert dat een groter ensemble een betrouwbaardere onzekerheidsschatting biedt.
• Epistemische Onzekerheid: In tegenstelling tot de initiële hypothesen, presteerden epistemische onzekerheidsmaten (KL/JS divergentie) minder goed dan bBMA en GMU. De auteurs suggereren dat dit kan komen doordat aleatorische onzekerheid de totale onzekerheid domineert in goed getrainde netwerken.
• Visiemodellen (BenthicNet-E): De aanpak toonde de meest significante voordelen wanneer de encoder suboptimal (ruizig of willekeurig geïnitialiseerd) was of wanneer de trainingsdata beperkt was. Naarmate de encoder volledig getraind en de data overvloedig werd, namen de relatieve winsten af, hoewel verbeteringen op zeldzame nodes aanhielden.
• Gecombineerde Benaderingen: Het combineren van de voorgestelde weging met LPROS (een resamplingmethode) leverde verdere verbeteringen op in F1 en precisie op genproduct-datasets, wat wijst op synergetische effecten. Deze combinatie presteerde echter niet sterk op de visiedataset.

Betekenis en Claims
Het artikel claimt dat de aanpak een consistente detectie mogelijk maakt van zeldzame nodes dieper in een hiërarchie, een probleem dat vaak wordt genegeerd door standaard HML-modellen vanwege de natuurlijke data-imbalans. De betekenis ligt in de verschuiving van de focus van "zeldzame observaties" naar "zeldzame nodes", waardoor de valkuil wordt vermeden van het versterken van veelvoorkomende ouder-nodes. De auteurs stellen dat hun methode bijzonder effectief is voor uitdagende HML-taken waarbij de detectie van zeldzame nodes een ernstig probleem is, zoals in domeinen met suboptimale encoders of beperkte data. Zij concluderen dat hoewel de voordelen afnemen bij perfecte encoders en overvloedige data, de methode een robuuste strategie blijft voor het verbeteren van recall en F1-scores in real-world, ongebalanceerde hiërarchische settings.