🤖 AI

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN ist ein neuartiges Framework für Class-Incremental Learning für CLIP, das LLMs nutzt, um hierarchische textuelle Deskriptoren zu generieren und diese adaptiv mit mehrstufigen visuellen Repräsentationen abzugleichen, wodurch es durch eine bessere Erfassung feiner Unterscheidungen und die Milderung von katastrophalem Vergessen eine State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr klugen, weltgewandten Bibliothekar (der KI) bei, neue Tiere zu erkennen. Sie beginnen mit einer Katze und einem Hund. Der Bibliothekar lernt schnell, sie problemlos voneinander zu unterscheiden.

Dann stellen Sie ihm einen Wolf vor. Das ist knifflig, denn ein Wolf sieht einem Hund sehr ähnlich. Wenn Sie dem Bibliothekar einfach nur sagen würden: „Hey, denk daran, dass ein Wolf spitze Ohren hat“, und ihn zwingen, seine gesamte mentale Bibliothek auf einmal zu aktualisieren, könnte er versehentlich seine Definition von „Hund“ durcheinanderbringen. Plötzlich würde er vielleicht anfangen zu glauben, ein Golden Retriever sei ein Wolf, weil er diese spitzen Ohren hat, und er würde ganz vergessen, wie man eine Katze von einem Hund unterscheidet. Dies nennt man katastrophales Vergessen (Catastrophic Forgetting) – das Lernen von etwas Neuem ruiniert das, was man bereits wusste.

Dieses Paper stellt ein neues System namens HERMAN vor, um dieses Problem zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Einheitsmaß“-Fehler

Aktuelle KI-Methoden sind wie ein Bibliothekar, der nur ein einziges, riesiges, unordentliches Regal hat. Sie versuchen, den großen Unterschied zwischen „Katze“ und „Hund“ auf dasselbe Regal zu packen wie den winzigen Unterschied zwischen „Hund“ und „Wolf“. Wenn sie versuchen, die Details des „Wolfs“ hinzuzufügen, werfen sie versehentlich die Bücher über „Katze vs. Hund“ um. Das System wird verwirrt, weil es versucht, alles auf derselben Detailebene zu bearbeiten.

2. Die Lösung: Eine Bibliothek mit mehreren Ebenen (Hierarchische Repräsentation)

HERMAN ändert die Struktur der Bibliothek. Anstatt eines einzigen unordentlichen Regals baut es eine hierarchische Struktur mit mehreren Ebenen:

Das oberste Regal (Grobe Ebene): Hier liegen große, breite Kategorien wie „Tier“, „Fahrzeug“ oder „Obst“. Es ist sehr stabil.
Das mittlere Regal: Hier liegen mittlere Details wie „Hat Fell“, „Hat Räder“ oder „Ist rot“.
Das unterste Regal (Feine Ebene): Hier liegen winzige, spezifische Details wie „Spitze Ohren“, „Rostige Radkappen“ oder „Ein kleiner Stiel“.

So baut HERMAN dies auf:
Anstatt den Bibliothekar nur zu fragen: „Was ist ein Wolf?“, nutzt HERMAN einen superintelligenten Assistenten (LLM), um eine ganze Liste von Beschreibungen für jedes Tier zu schreiben, die von sehr allgemein bis sehr spezifisch reicht.

Allgemein: „Es ist ein Canide (Hundeartiger).“
Spezifisch: „Es hat eine lange Schnauze und dickes Fell.“

Die KI gleicht diese schriftlichen Beschreibungen dann mit den verschiedenen Schichten ihres eigenen „Gehirns“ (den visuellen Schichten) ab. Die oberen Schichten des Gehirns betrachten das große Ganze, während die unteren Schichten die winzigen Details betrachten. Dies hält die „Katze vs. Hund“-Regeln sicher im obersten Regal, während die „Hund vs. Wolf“-Regeln ihren eigenen spezifischen Platz im unteren Regal erhalten.

3. Der kluge Manager: Der adaptive Router

Nun, wie weiß die KI, in welches Regal sie schauen muss?

Wenn man ihr ein Auto gegenüber einem Fahrrad zeigt, muss sie nur das „obere Regal“ nutzen (Räder vs. keine Räder).
Wenn man ihr einen Haus sperlings gegenüber einem Fink zeigt, benötigt sie das „untere Regal“ (winzige Farbmuster).

HERMAN nutzt einen klugen Manager (Router). Dieser Manager schaut sich das Bild an und entscheidet: „Okay, für dieses spezifische Bild muss ich dem oberen Regal zu 80 % zuhören und dem unteren Regal zu 20 %.“ Er passt die Lautstärke für jede Detailebene je nach dem, was er gerade betrachtet, dynamisch an.

4. Das Sicherheitsnetz: Update auf Basis von Projektionen

Hier kommt der knifflige Teil: Wenn der Manager eine neue Regel für eine neue Aufgabe lernt, wie stellen wir sicher, dass er die alten Regeln nicht vergisst?

Stellen Sie sich vor, der Raum des Managers ist ein Zimmer voller Möbel (Wissen).

Der alte Weg: Wenn Sie neue Möbel (neues Wissen) hereinbringen, schieben Sie sie einfach hinein und stoßen dabei die alten Stühle um.
HERMANs Weg: Bevor der Manager neue Möbel hereinbringt, macht er eine „Momentaufnahme“ des leeren Raums, in dem die alten Stühle stehen. Beim Hinzufügen von neuem Wissen wird er gezwungen, die neuen Gegenstände in die leeren Räume zu passen oder sie so zu stapeln, dass sie die alten Stühle nicht berühren.

Technisch gesehen handelt es sich hierbei um eine projektionsbasierte Strategie. Sie stellt sicher, dass das neue Lernen in eine Richtung erfolgt, die „orthogonal“ (im rechten Winkel) zum alten Wissen steht, sodass das alte Wissen perfekt intakt bleibt.

Das Ergebnis

Indem es Wissen in Schichten organisiert (Hierarchie), einen klugen Manager nutzt, um die richtige Detailebene auszuwählen, und ein Sicherheitsnetz verwendet, um altes Wissen zu schützen, ermöglicht HERMAN der KI, neue Klassen zu lernen (wie das Hinzufügen von 100 neuen Arten von Autos oder Vögeln), ohne die alten zu vergessen.

Das Paper behauptet, dass diese Methode alle bisherigen Methoden in Standardtests schlägt und die besten Ergebnisse (SOTA) darin erzielt, die KI intelligent und vergessfrei zu halten. Dies geschieht, ohne dass alte Fotos gespeichert werden müssen, sondern nur durch den Einsatz dieser cleveren mathematischen Tricks zur Organisation des Gedächtnisses der KI.

Technisches Resümee: HERMAN für Class-Incremental Learning

Problemstellung

Class-Incremental Learning (CIL) zielt darauf ab, kontinuierlich neue Klassen zu erwerben und gleichzeitig das Wissen über zuvor gelernte Kategorien zu bewahren. Eine primäre Herausforderung in diesem Szenario ist das katastrophale Vergessen (catastrophic forgetting), bei dem das Lernen neuer Informationen die Leistung bei alten Aufgaben verschlechtert. Während jüngere Ansätze vortrainierte Modelle wie CLIP nutzen, um eine starke cross-modale Ausrichtung und Vorwissen bereitzustellen, leiden bestehende CLIP-basierte CIL-Methoden unter zwei kritischen Einschränkungen:

Spröde Wissensrepräsentation: Die meisten Methoden verlassen sich auf eine einstufige, grobkörnige Ausrichtung zwischen der finalen visuellen Schicht und festen Textvorlagen (z. B. „ein Foto von einem [KLASSE]“). Dies zwingt feinkörnige Aktualisierungen (z. B. die Unterscheidung zwischen einem „Wolf“ und einem „Hund“) in denselben semantischen Raum, der auch für grobe Trennungen (z. B. „Canidae“ vs. „Felidae“) verwendet wird. Infolgedessen können Aktualisierungen für neue Details unbeabsichtigt die Entscheidungsgrenzen verschieben, was die Leistung bei alten Klassen verschlechtert.
Unterausnutzung hierarchischer Semantik: Die Vision- und Text-Encoder von CLIP erfassen inhärent Merkmale und Deskriptoren auf mehreren Ebenen, die von groben Konzepten bis hin zu feinkörnigen Attributen reichen. Bestehende Methoden ignorieren jedoch typischerweise diese intermediären Repräsentationen und konzentrieren sich ausschließlich auf die finale Schicht.

Methodik: HERMAN

Die Autoren schlagen HERMAN (HiErarchical Representation MAtchiNg) vor, ein Framework, das darauf ausgelegt ist, hierarchische Semantik innerhalb von CLIP-basiertem CIL zu strukturieren, auszurichten und adaptiv zu routen. Die Methode besteht aus drei Kernkomponenten:

1. Hierarchische Repräsentationsanpassung (Hierarchical Representation Matching)

Anstatt einen einzelnen festen Prompt zu verwenden, nutzt HERMAN Large Language Models (LLMs), um eine Menge von $M$ Textdeskriptoren für jede Klasse zu generieren, die von grobkörnigen Identitätsmerkmalen bis hin zu feinkörnigen visuellen Details reichen.

Textuelle Generierung: Für eine Klasse $i$ generiert ein LLM rekursiv Deskriptoren $T_i = \{t_{i,1}, \dots, t_{i,M}\}$ . Beispielsweise reichen die Deskriptoren für „Aston Martin Virage“ von „Sportwagen“ (grob) bis „skulpturierte Seitenpaneele“ (fein).
Mehrstufige Ausrichtung: Diese Deskriptoren werden über den CLIP-Text-Encoder kodiert, um einen hierarchischen Textraum zu bilden. Das Modell richtet diese textuellen Embeddings explizit an den intermediären visuellen Schichten des CLIP-Vision-Encoders aus (nicht nur an der finalen Schicht).
Top-K Aggregation: Um Rauschen zu reduzieren, wählt das Modell die Top- $K$ am besten ausgerichteten Deskriptoren für jede visuelle Schicht aus und aggregiert sie zu einem kompakten textuellen Embedding $h_i^b$ für Schicht $b$ .

2. Adaptives Hierarchie-Routing (Adaptive Hierarchy Routing)

In der Erkenntnis, dass die Bedeutung verschiedener hierarchischer Ebenen je nach Input und Aufgabe variiert, führt HERMAN einen input-bedingten adaptiven Router ein.

Dynamische Gewichtung: Eine leichtgewichtige lineare Schicht generiert nicht-negative Gewichte $\beta_i$ basierend auf der finalen visuellen Repräsentation. Diese Gewichte balancieren dynamisch die Beiträge der vereinheitlichten hierarchischen textuellen Embeddings aus verschiedenen Schichten aus, um die finale Repräsentation $\tilde{h}_i$ zu bilden.
Projektionsbasierte Aktualisierung (Anti-Vergessen): Um zu verhindern, dass der Router die für vorherige Aufgaben gelernten Strategien vergisst, werden die Router-Gewichte mittels einer projektionsbasierten Strategie aktualisiert.
- Die Gewichtmatrix $W_r$ wird mittels Singularwertzerlegung (SVD) dekomponiert.
- Eine Projektionsmatrix $P_{old}$ wird konstruiert, um den Subraum zu bewahren, der die Routing-Muster früherer Aufgaben enthält.
- Neue Updates werden in Komponenten innerhalb dieses bewahrten Subraums (Stabilität) und orthogonale Richtungen (Plastizität) zerlegt. Das finale Update kombiniert diese, um sich an neue Aufgaben anzupassen, ohne etabliertes Wissen zu stören.

3. Cross-Modale Anpassung und Training

Das Framework verwendet einen leichtgewichtigen visuellen Adapter und eine kontrastive Zielsetzung.

Gemischte Embeddings: Die finale Vorhersage nutzt eine konvexe Interpolation des aggregierten hierarchischen Embeddings $\tilde{h}_i$ und des Standard-Template-Embeddings $e_i$ , gesteuert durch einen Faktor $\lambda$ .
Generatives Replay: Um das Vergessen weiter zu minimieren, ohne Rohbilder zu speichern, verwendet die Methode feature-basiertes generatives Replay. Sie modelliert die Verteilung des finalen visuellen Tokens ( $x_{cls}^B$ ) für jede Klasse als Gauß-Verteilung und sampelt Pseudo-Features während des inkrementellen Trainings, um vergangenes Wissen zu stabilisieren.

Zentrale Beiträge

Hierarchische semantische Strukturierung: Die Arbeit führt eine Methode zur Generierung und Ausrichtung mehrstufiger Textdeskriptoren mit intermediären visuellen Merkmalen ein und bewegt sich damit über die einlagige Ausrichtung hinaus, um einen strukturierten semantischen Raum zu schaffen.
Adaptiver Routing-Mechanismus: Ein neuartiger Router balanciert die hierarchischen Beiträge pro Instanz dynamisch aus, wodurch das Modell in der Lage ist, je nach Bedarf grobe oder feine Merkmale zu priorisieren.
Projektionsbasierte kontinuierliche Anpassung: Eine projektionsbasierte Update-Strategie für den Router stellt sicher, dass das Lernen neuer Aufgaben nicht die für alte Aufgaben essenziellen Routing-Policys überschreibt, was das katastrophale Vergessen effektiv mildert.
State-of-the-Art Performance: Die Integration dieser Komponenten führt zu einem Framework, das die Diskriminierung und Robustheit in kontinuierlichen Lernszenarien verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten HERMAN auf neun Benchmark-Datensätzen (einschließlich CIFAR100, ImageNet-R, CUB200, StanfordCars und SUN397) unter verschiedenen inkrementellen Einstellungen (z. B. Base0 Inc10, Base50 Inc10).

Leistung: HERMAN übertrifft konsistent State-of-the-Art-Methoden (einschließlich L2P, DualPrompt, CODA-Prompt, RAPF und PROOF) um 1 % bis 5 % in Bezug auf die durchschnittliche Genauigkeit ( $\bar{A}$ ) und die finale Genauigkeit ( $A_B$ ).
Robustheit: Die Methode zeigt Stabilität über verschiedene Random Seeds für die Klassenteilung hinweg und bleibt robust gegenüber Variationen der Hyperparameter (z. B. Top-K Deskriptoren, Mischfaktor $\lambda$ und Projektionsparameter $\delta, \rho$ ).
Effizienz: HERMAN benötigt weniger Trainingszeit als konkurrierende Methoden bei gleichzeitig überlegener Leistung, was es recheneffizient für groß angelegte Aufgaben macht.
Ablationsstudien: Experimente bestätigen, dass jede Komponente (LLM-Deskriptoren, adaptiver Router und Projektions-Updates) positiv zur finalen Leistung beiträgt. Der Projektionsmechanismus zeigt insbesondere, dass er im Gegensatz zu Methoden ohne Projektion, die eine schnelle Degradation erleiden, über die Zeit eine hohe Kosinus-Ähnlichkeit zwischen den visuellen und textuellen Embeddings alter Klassen aufrechterhält.

Bedeutung und Ansprüche

Das Paper behauptet, dass HERMAN die fundamentale Sprödigkeit bestehender CLIP-basierter CIL-Methoden adressiert, indem es das Lernen über semantische Granularitäten hinweg entkoppelt. Durch die Isolierung feinkörniger Updates auf spezifische Ebenen der Hierarchie bei gleichzeitiger Verankerung grober Trennungen verhindert die Methode destruktive Grenzverschiebungen. Die Autoren behaupten, dass ihr Ansatz die inhärente hierarchische Kapazität vortrainierter Modelle effektiv nutzt und diese in robustere kontinuierliche Lernmodelle verwandelt, die in der Lage sind, sich an neue Kategorien anzupassen, ohne vorheriges Wissen zu vergessen. Die Arbeit unterstreicht das Potenzial der Kombination von LLM-generierter semantischer Reichhalt mit strukturierter, adaptiver Ausrichtung in Vision-Language-Modellen.