Online Continual Learning with Dynamic Label Hierarchies

Technische Samenvatting: Online Voortdurend Leren met Dynamische Labelhiërarchieën

Probleemdefinitie: DHOCL
Bestaande methoden voor Online Voortdurend Leren (OCL) gaan overwegend uit van een "vlakke" labelruimte waar categorieën onafhankelijk en semantisch equidistant zijn. Deze aanname faalt in het vastleggen van de hiërarchische organisatie van real-world concepten (bijvoorbeeld biodiversiteitsmonitoring), die zowel horizontaal (nieuwe zusterklassen) als verticaal (verfijning of abstractie van bestaande takken) evolueert. Bovendien is real-world supervisie vaak gedeeltelijk; een waarnemer kan een afbeelding labelen als "Vogel" (grof) of "Monarcha melanopsis" (fijnkorrelig), afhankelijk van expertise, zonder de volledige taxonomische stamboom te verstrekken.

Om deze kloof aan te pakken, introduceren de auteurs Dynamic Hierarchical Online Continual Learning (DHOCL). In tegenstelling tot eerdere werken over hiërarchisch voortdurend leren die een rigide, vooraf gedefinieerd "grof-naar-fijn" curriculum afdwingen, staat DHOCL toe dat data-instanties op elk moment aankomen met annotaties op willekeurige hiërarchische niveaus. De taxonomie is niet vast; deze groeit organisch naarmate nieuwe klassen ontstaan, wat mogelijk onbalans en onvolledige boomstructuren creëert. De setting presenteert twee fundamentele uitdagingen:

1. Gedeeltelijke Supervisie en Structurele Ontkoppeling: Elke steekproef levert slechts een "puntsgewijs" signaal op een "padgewijze" hiërarchie. Dit beperkt plasticiteit en verhindert de propagatie van semantische beperkingen over korrelgroottes, wat leidt tot een gefragmenteerde latente ruimte waar taxonomische takken structureel ontkoppeld raken.
2. Korrelgrootte-geïnduceerde Interferentie: Verschillende taxonomische dieptes vertonen heterogene leer- en vergeettempo's. Grofkorrelig leren kan fijne nuances destabiliseren en vice versa. Bestaande replay- en regularisatiemechanismen, ontworpen voor vlakke ruimtes, houden geen rekening met deze kruisbestuiving, wat leidt tot bevooroordeelde regularisatie en catastrofale vergeetachtigheid.

Methodologie: HALO
De auteurs stellen HALO (Hierarchical Adaptive Learning with Organized Prototypes) voor, een raamwerk ontworpen om snelle adaptatie te balanceren met langetermijnstabiliteit terwijl hiërarchische consistentie wordt behouden. HALO bestaat uit twee kerncomponenten:

1. Hierarchical Prototypes Regularization (HPR):

   • HALO introduceert een lichtgewicht adapter die backbone-features afbeeldt op een prototypenruimte. Voor elke klasse op elk hiërarchieniveau wordt een set leerbare prototypen onderhouden.
   • Structurele Uitlijning: Een op marge gebaseerde rangschikkingverliesfunctie dwingt uit dat voorouder-nakomeling prototypenparen meer op elkaar lijken dan niet-verwante paren, waardoor de evoluerende boomstructuur expliciet in de feature-ruimte wordt ingebakken.
   • Temporele Saliëntieconsistentie: De methode straft responsveranderingen op de meest informatieve locaties (Top-K patches) tussen het huidige model en de opgeslagen prototypen van de vorige stap. Dit zorgt voor stabiliteit voor grove semantics terwijl gecontroleerde drift voor nieuwe fijnkorrelige updates wordt toegestaan.
   • Deze prototypen fungeren als "topologische lijm", waardoor de ontkoppeling van taxonomische takken wordt voorkomen naarmate de hiërarchie evolueert.

2. Hierarchical Adaptive Aggregation (PredLA):

   • Om het conflict op te lossen tussen de noodzaak van snelle adaptatie (voor nieuwe knopen) en stabiliteit (voor oude kennis), hanteert PredLA een hiërarchische adaptieve ensemble van twee complementaire classifiers op elk niveau:
     • Een Lineaire Kop getraind op trainbare features met behulp van cross-entropy-verlies, geoptimaliseerd voor aanpasbaarheid.
     • Een Analytische Kop (ACIL) getraind op bevroren features met behulp van Recursive Least Squares (RLS), geoptimaliseerd voor stabiliteit en weerstand tegen vergeetachtigheid.
   • Aggregatie: In plaats van samenvoegen op parameterniveau, aggregeert PredLA voorspellingen in de waarschijnlijkheidsruimte. Het gebruikt temperatuurschaal en leert aggregatiegewichten ($\alpha$) uitsluitend op gereplayde steekproeven via een bilevel-doelstelling. Dit stelt het systeem in staat de "plastische" lineaire voorspellingen te balanceren met de "stabiele" analytische voorspellingen zonder hun interne optimalisatiedynamiek te verstoren.

Belangrijkste Bijdragen

• Formalisatie van DHOCL: Het artikel vestigt een realistischer en algemener OCL-setting die de dynamische evolutie van hiërarchische kennis in streamende data vastlegt, verdergaand dan rigide grof-naar-fijn-aannames.
• Het HALO-raamwerk: Een nieuw architectuur dat hiërarchische adaptieve aggregatie en op prototypen gebaseerde regularisatie combineert om de specifieke uitdagingen van dynamische labelhiërarchieën aan te pakken.
• Uitgebreide Evaluatie: De auteurs stellen een rigoureuze evaluatieprotocol vast met vijf metrieken (AAUC, FAUC, MS, FFAcc, FAAcc) over diverse benchmarks (CIFAR-100, FGVC-Aircraft, CUB-200, iNaturalist en ImageNet-H) die verschillende hiërarchische structuren en domeinen bestrijken.

Experimentele Resultaten
Uitgebreide experimenten tonen aan dat HALO consequent beter presteert dan bestaande OCL-baselines (waaronder op replay gebaseerde, op regularisatie gebaseerde en hiërarchie-bewuste methoden) over alle datasets en metrieken.

• Prestatie: HALO bereikt een superieure Area Under the Curve (AAUC) en Fijnkorrelige Nauwkeurigheid (FAUC) terwijl het de Fouternauwkeurigheid (MS) aanzienlijk verlaagt.
• Stabiliteit-Plasticiteit Trade-off: Leercurven tonen aan dat HALO nieuwe klassen en hiërarchieniveaus snel leert terwijl het catastrofale vergeetachtigheid effectief beperkt, en dat het beter presteert dan zowel pure replay-methoden (die fijne details vergeten) als pure analytische methoden (die worstelen met aanpassing op grof niveau).
• Robuustheid: De methode toont robuustheid ten opzichte van verschillende backbone-architecturen (ResNet-50, ViT-B) en pretraining-strategieën (Supervised, CLIP, DINO, MAE). Het vertoont ook een genadevolle degradatie onder hiërarchische ruis (bijvoorbeeld verwijdering van randen of willekeurige verstoringen in de taxonomie).
• Ablatiestudies: Het verwijderen van PredLA of HPR leidt tot prestatiedalingen, wat bevestigt dat zowel de adaptieve aggregatie van classifiers als de op prototypen gebaseerde structurele regularisatie essentieel zijn voor succes.

Betekenis en Claims
De auteurs positioneren dit werk als een noodzakelijke stap richting het dichten van de kloof tussen hiërarchische classificatie en voortdurend leren. Zij beweren dat DHOCL een uniek flexibel en realistische setting biedt die de natuurlijke evolutie van taxonomieën in open-wereldomgevingen weerspiegelt. Hoewel zij erkennen dat hun setting nog niet de volledige complexiteit van real-world scenario's bestrijkt (zoals sterk scheefgetrokken of beschadigde boomstructuren), zien zij HALO als een fundamenteel raamwerk dat een praktische benchmark en observaties biedt om toekomstig onderzoek in beide velden te informeren. Het werk benadrukt dat succesvol DHOCL strategieën vereist die feature-evolutie expliciet uitlijnen met hiërarchische topologie, in plaats van uitsluitend te vertrouwen op supervisie op output-niveau of generieke mitigatie van vergeetachtigheid.