Technische Samenvatting: Voorbij Puntsgewijze Neuronale Ineenstorting

1. Probleemstelling

Klasse-geïnduceerd Leren (CIL) heeft tot doel modellen in staat te stellen nieuwe categorieën sequentieel te leren zonder catastrofale vergetelheid van eerder verworven kennis. Hoewel de Nearest Class Mean (NCM)-classificator de facto standaard is geworden voor CIL vanwege zijn robuustheid tegen vergetelheid, berust zijn optimaliteit sterk op de theorie van Neuronale Ineenstorting (NC). De NC-theorie stelt dat tijdens de terminale fase van training intra-klassale kenmerken ineenstorten tot enkele punten (klassgemiddelden), waardoor de NCM-classificator gelijkwaardig wordt aan een optimale lineaire classificator.

De auteurs betogen echter dat in praktische CIL-scenario's deze ideale toestand vaak wordt geschonden door drie factoren:

1. Onvoldoende Convergentie: Modellen worden vaak niet getraind tot het punt van ineenstorting om overfitting te voorkomen.
2. Beperkte Training: Incrementele stappen gebruiken vaak regularisatie of distillatie die volledige convergentie op nieuwe klassen verhindert.
3. Kenmerkdrift: Naarmate de backbone wordt bijgewerkt voor nieuwe taken, verschuiven de representaties van oude klassen.

Het artikel demonstreert via Procrustes-afstandsanalyse dat deze kenmerkdrift geen eenvoudige rigide transformatie is, maar aanzienlijke niet-lineaire vervormingen omvat (met genormaliseerde afstanden van 0,3–0,4). Bijgevolg bevinden klassenkenmerken zich op complexe, hoogdimensionale variëteiten (bijvoorbeeld "dumbbell"- of "maanvormige" structuren) in plaats van ingestorte punten. Dit maakt de single-prototype NCM suboptimaal, omdat deze deze complexe geometrieën niet kan representeren, wat leidt tot prestatieachteruitgang.

2. Methodologie

Het voorgestelde kader bestaat uit twee hoofdcomponenten: een topologiebewuste classificator (HC-SOINN) en een driftadaptatiemechanisme (STAR).

2.1. HC-SOINN (Hierarchical-Cluster SOINN)

Om de intrinsieke structuur van klassenvariëteiten te vangen, stellen de auteurs HC-SOINN voor, wat de single-prototype-aanname vervangt door een "lokaal-naar-globaal" topologische representatie.

• Hiërarchische Initialisatie: In plaats van incrementele clustering direct toe te passen op ruwe datastromen (wat gevoelig is voor ruis en volgorde), accumuleert de methode eerst kenmerken in een buffer en voert Agglomeratieve Hiërarchische Clustering uit (met UPGMA en cosinusafstand) om een stabiel variëteitskader te initialiseren.
• Sferische SOINN-Verfijning: De initiële knopen worden verfijnd met een vereenvoudigd Self-Organizing Incremental Neural Network (SOINN) dat is aangepast voor de eenheidshypersfeer.
  • Topologieleer: Randen worden aangemaakt tussen de winnaar en de runner-up knopen op basis van Competitieve Hebbiaanse Leer (CHL).
  • Sferische Update: De posities van de knopen worden bijgewerkt met Sferische Lineaire Interpolatie (SLERP) om ervoor te zorgen dat sub-prototypen evolueren langs het oppervlak van de variëteit in plaats van weg te drijven naar het inwendige van de hypersfeer.
• Dual-View Inferentie: De uiteindelijke beslissingsscore combineert een Globale Weergave (cosinusgelijkenis met het klassgemiddelde $\mu_c$) en een Lokale Weergave (maximale cosinusgelijkenis met een lokaal sub-prototype $v \in V_c$). De score is een gewogen som:
  $$S(x, c) = \alpha \cdot \cos\langle \tilde{f}_\theta(x), \mu_c \rangle + (1-\alpha) \cdot \max_{v \in V_c} \cos\langle \tilde{f}_\theta(x), v \rangle$$

2.2. STAR (Structure-Topology Alignment via Residuals)

Om de niet-lineaire kenmerkdrift aan te pakken die statische topologische methoden niet volledig kunnen weerstaan, introduceert STAR een paradigma van "driftadaptatie".

• Puntsgewijze Trajectvolging: STAR stelt een één-op-één mapping vast tussen topologische knopen en ankerstalen. Het volgt de drift van elke knoop individueel door huidige kenmerken te vergelijken met opgeslagen referentiekenmerken.
• Residuale Alignering: Een Exponentiële Glijdende Gemiddelde (EMA) gladde de driftvectoren ($\delta_i$). Deze residuen worden toegepast om de sub-prototypen in de huidige kenmerkruimte te transporteren, waardoor de variëteitsstructuur actief kan vervormen en zich kan aligneren met de evoluerende kenmerkverdeling zonder de backbone opnieuw te trainen.
• Globale Synchronisatie: Het globale klassgemiddelde wordt synchroon bijgewerkt met het gemiddelde van de drift van alle knopen.

3. Belangrijkste Bijdragen

1. Herbezinning op NCM-Optimaliteit: De auteurs gebruiken Procrustes-analyse om empirisch aan te tonen dat kenmerkdrift in CIL aanzienlijke niet-lineaire structurele vervormingen veroorzaakt, waardoor de beperkingen van single-prototype-methoden in praktische scenario's aan het licht komen.
2. HC-SOINN Classificator: Een nieuwe topologiebewuste classificator die klassenvariëteiten representeert met een hiërarchische structuur van lokale centra en een globaal centrum, wat een nauwkeurigere geometrische representatie biedt dan single prototypen.
3. STAR Mechanisme: Een verschuiving van "driftweerstand" naar "driftadaptatie". Door puntsgewijze trajectvolging te benutten, stelt STAR de geleerde topologie in staat zich actief te vervormen om complexe niet-lineaire kenmerkevolutie te matchen.
4. Uitgebreide Validatie: De aanpak is geïntegreerd in zeven state-of-the-art CIL-methoden (inclusief prompt-gebaseerde, adapter-gebaseerde en representatie-gebaseerde paradigma's) over drie benchmarks, wat consistente verbeteringen aantoont.

4. Experimentele Resultaten

De methode werd geëvalueerd op Split CIFAR-100, Split CUB-200 en Split ImageNet-R.

• Prestatiewinst: Het integreren van HC-SOINN (met of zonder STAR) in zeven baselines (zoals SimpleCIL, DualPrompt, CODA-Prompt, SEMA, CL-LoRA) resulteerde in consistente verbeteringen in zowel Gemiddelde Nauwkeurigheid (AAvg) als Laatste-Taken Nauwkeurigheid (ALast).
  • Opmerkelijke winsten omvatten SEMA + HC-SOINN met een +21,00% verbetering op Split CUB-200 (ALast) en CODA-Prompt + HC-SOINN dat andere SOTA-methoden overtreft op Split CUB-200.
• Classificatoranalyse: Bij het isoleren van de bijdrage van de classificator (met een vaste backbone) presteerde het voorgestelde HC-SOINN + STAR consistent beter dan parametrische FC-lagen, standaard NCM en de niet-lineaire Kolmogorov-Arnold Classificator (KAC), met name bij lange sequenties en taken buiten de verdeling.
• Efficiëntie:
  • Training: De volledige methode voegt slechts ~3,96% overhead toe ten opzichte van de baseline, bereikt via klassewijze parallelisatie.
  • Inferentie: De methode introduceert vrijwel geen latentie-overhead (+0,01%) omdat de backbone (99,7% van de rekentijd) de inferentiekost domineert en de topologische afstandsberekeningen op de GPU worden vectoriëerd.
• Opslag: De adaptieve topologie vereist het opslaan van gemiddeld ~18–21 knopen per klasse, wat vergelijkbaar is met of lager is dan de buffers van 20 exemplaren die worden gebruikt in traditionele op herhaling gebaseerde methoden, maar dan zonder de noodzaak van op gradiënten gebaseerde hertraining.

5. Betekenis en Claims

Het artikel claimt dat de afhankelijkheid van single-prototype classificators in CIL theoretisch onhoudbaar is wanneer Neuronale Ineenstorting onvolledig is. Door klassen te modelleren als complexe variëteiten in plaats van punten, overbrugt het voorgestelde kader de kloof tussen theoretische optimaliteit en praktische CIL-beperkingen.

• Paradigmaverschuiving: Het werk pleit voor een verschuiving van "driftweerstand" (proberen kenmerkverschuivingen te voorkomen) naar "driftadaptatie" (actief de beslissingsgrens vervormen om de verschuiving te matchen).
• Robuustheid: De methode wordt gepresenteerd als "tuning-vrij", met behoud van hoge prestaties over diverse datasets en backbones met één uniforme set hyperparameters.
• Beperkingen: De auteurs erkennen dat de prestatiewinst gepaard gaat met een gematigde rekenkundige overhead voor topologisch onderhoud en extra opslag voor ankerbuffers. Bovendien vertrouwt de huidige scoremechaniek uitsluitend op knoopafstanden, waardoor de rijke randconnectiviteit van de geleerde graaf tijdens classificatie onbenut blijft.

De auteurs concluderen dat hun topologische kader een betrouwbaardere oplossing biedt voor complexe incrementele verschuivingen dan bestaande lineaire of vaste niet-lineaire grenzen, en nieuwe state-of-the-art prestaties vestigt over de geëvalueerde datasets.