Technische Samenvatting: HERMAN voor Class-Incremental Learning

Probleemstelling

Class-Incremental Learning (CIL) streeft ernaar om continu nieuwe klassen te verwerven terwijl de kennis van eerder geleerde categorieën behouden blijft. Een primaire uitdaging in deze setting is catastrofale vergetelheid (catastrophic forgetting), waarbij het leren van nieuwe informatie de prestaties op oude taken verslechtert. Hoewel recente benaderingen gebruikmaken van voorgetrainde modellen zoals CLIP om sterke cross-modale uitlijning en voorkennis te bieden, lijden bestaande CLIP-gebaseerde CIL-methoden onder twee kritieke beperkingen:

1. Broze Kennisrepresentatie: De meeste methoden vertrouwen op een enkelvoudige, grofmazige uitlijning tussen de laatste visuele laag en vaste tekstuele sjablonen (bijv. "een foto van een [CLASS]"). Dit dwingt fijnmazige updates (bijv. het onderscheiden van een "wolf" van een "hond") in dezelfde semantische ruimte als die gebruikt wordt voor grofmazige scheidingen (bijv. "canine" vs. "feline"). Gevolgelijk kunnen updates voor nieuwe details onbedoeld de beslissingsgrenzen verschuiven, wat de prestaties op oude klassen aantast.
2. Onderbenutting van Hiërarchische Semantiek: De visuele en tekstuele encoders van CLIP vangen inherent multi-level kenmerken en beschrijvingen op, variërend van grove concepten tot fijnmazige attributen. Bestaande methoden negeren echter doorgaans deze intermediaire representaties en richten zich uitsluitend op de laatste laag.

Methodologie: HERMAN

De auteurs stellen HERMAN voor (HiErarchical Representation MAtchiNg), een framework ontworpen om hiërarchische semantiek binnen CLIP-gebaseerde CIL te structureren, uit te lijnen en adaptief te routeren. De methode bestaat uit drie kerncomponenten:

1. Hiërarchische Representatie-uitlijning

In plaats van een enkele vaste prompt, maakt HERMAN gebruik van Large Language Models (LLMs) om een set van $M$ tekstuele beschrijvingen voor elke klasse te genereren, variërend van grofmazige identiteitskenmerken tot fijnmazige visuele details.

• Tekstgeneratie: Voor een klasse $i$ genereert een LLM recursief beschrijvingen $T_i = \{t_{i,1}, \dots, t_{i,M}\}$. Bijvoorbeeld, voor "Aston Martin Virage" variëren de beschrijvingen van "sportwagen" (grof) tot "gesculptuurde zijpanelen" (fijn).
• Multi-level Uitlijning: Deze beschrijvingen worden gecodeerd via de CLIP-tekstencoder om een hiërarchische tekstuele ruimte te vormen. Het model lijnt deze tekstuele embeddings expliciet uit met de intermediaire visuele lagen van de CLIP-visuele encoder (niet alleen de laatste laag).
• Top-K Aggregatie: Om ruis te verminderen, selecteert het model de top-$K$ meest uitgelijnde beschrijvingen voor elke visuele laag en aggregeert deze tot een compacte tekstuele embedding $h_i^b$ voor laag $b$.

2. Adaptieve Hiërarchische Routering

In het besef dat het belang van verschillende hiërarchische niveaus varieert per input en taak, introduceert HERMAN een input-geconditioneerde adaptieve router.

• Dynamische Weging: Een lichtgewicht lineaire laag genereert niet-negatieve gewichten $\beta_i$ op basis van de uiteindelijke visuele representatie. Deze gewichten balanceren dynamisch de bijdragen van de geaggregeerde hiërarchische tekstuele embeddings van verschillende lagen om de uiteindelijke representatie $\tilde{h}_i$ te vormen.
• Projectie-gebaseerde Update (Anti-vergetelheid): Om te voorkomen dat de router de geleerde beleidsregels voor vorige taken vergeet, worden de routergewichten bijgewerkt met een projectie-gebaseerde strategie.
  • De gewichtsmatrix $W_r$ wordt gedekomponeerd via Singular Value Decomposition (SVD).
  • Een projectiematrix $P_{old}$ wordt geconstrueerd om de subspace te behouden die de routeringspatronen van vorige taken bevat.
  • Nieuwe updates worden gedecomposed in componenten binnen deze behouden subspace (stabiliteit) en orthogonale richtingen (plasticiteit). De uiteindelijke update combineert deze om zich aan te passen aan nieuwe taken zonder gevestigde kennis te verstoren.

3. Cross-Modale Uitlijning en Training

Het framework maakt gebruik van een lichtgewicht visuele adapter en een contrastieve doelstelling.

• Gemengde Embeddings: De uiteindelijke voorspelling maakt gebruik van een convexe interpolatie van de geaggregeerde hiërarchische embedding $\tilde{h}_i$ en de standaard template embedding $e_i$, gecontroleerd door een factor $\lambda$.
• Generatieve Replay: Om vergetelheid verder te beperken zonder ruwe afbeeldingen op te slaan, gebruikt de methode feature-level generatieve replay. Het modelleert de distributie van de finale visuele token ($x_{cls}^B$) voor elke klasse als een Gaussische distributie, waarbij pseudo-features worden gesampled tijdens incrementele training om kennis uit het verleden te stabiliseren.

Belangrijkste Bijdragen

1. Hiërarchische Semantische Structurering: Het artikel introduceert een methode om multi-level tekstuele beschrijvingen te genereren en uit te lijnen met intermediaire visuele kenmerken, waarmee de focus verschuift van enkelvoudige laag-uitlijning naar een gestructureerde semantische ruimte.
2. Adaptief Routeringsmechanisme: Een nieuwe router balanceert dynamisch de hiërarchische bijdragen per instantie, waardoor het model de voorkeur kan geven aan grove of fijne kenmerken indien nodig.
3. Projectie-gebaseerde Continue Adaptatie: Een projectie-gebaseerde update-strategie voor de router zorgt ervoor dat het leren van nieuwe taken de routeringsbeleid die essentieel is voor oude taken niet overschrijft, wat catastrofale vergetelheid effectief tegengaat.
4. State-of-the-Art Prestaties: De integratie van deze componenten resulteert in een framework dat de discriminatie en robuustheid in continue leerscenario's verbetert.

Experimentele Resultaten

De auteurs hebben HERMAN geëvalueerd op negen benchmark-datasets (waaronder CIFAR100, ImageNet-R, CUB200, StanfordCars en SUN397) onder diverse incrementele instellingen (bijv. Base0 Inc10, Base50 Inc10).

• Prestaties: HERMAN presteert consequent beter dan state-of-the-art methoden (inclusief L2P, DualPrompt, CODA-Prompt, RAPF en PROOF) met 1% tot 5% in termen van gemiddelde nauwkeurigheid ($\bar{A}$) en finale nauwkeurigheid ($A_B$).
• Robuustheid: De methode vertoont stabiliteit over verschillende random seeds voor klasse-partitionering en blijft robuust tegen variaties in hyperparameters (bijv. Top-K beschrijvingen, mengfactor $\lambda$, en projectieparameters $\delta, \rho$).
• Efficiëntie: HERMAN vereist minder trainingstijd dan concurrerende methoden terwijl het superieure prestaties behoudt, wat het computationeel efficiënt maakt voor grootschalige taken.
• Ablatie-studies: Experimenten bevestigen dat elke component (LLM-beschrijvingen, adaptieve router en projectie-updates) positief bijdraagt aan de uiteindelijke prestaties. Het projectiemechanisme is speciferwijs aangetoond de hoge cosinus-gelijkenis tussen visuele en tekstuele embeddings van oude klassen in de loop van de tijd te behouden, in tegen tegenover methoden zonder projectie die snelle degradatie vertonen.

Betekenis en Claims

Het artikel claimt dat HERMAN de fundamentele broosheid van bestaande CLIP-gebaseerde CIL-methoden aanpakt door het leren over verschillende semantische granulariteiten te ontkoppelen. Door het leren van fijnmazige details te isoleren tot specifieke niveaus in de hiërarchie, terwijl grove scheidingen verankerd blijven, voorkomt de methode destructieve grenswissingen. De auteurs stellen dat hun aanpak effectief gebruikmaakt van de inherente hiërarchische capaciteit van voorgetrainde modellen, door deze te transformeren tot robuustere continue leerders die in staat zijn zich aan te passen aan nieuwe categorieën zonder eerdere kennis te vergeten. Het werk benadrukt het potentieel van het combineren van de door LLM gegenereerde semantische rijkdom met gestructureerde, adaptieve uitlijning in vision-language modellen.