From Isolation to Integration: Building an Adaptive Expert Forest for Pre-Trained Model-based Class-Incremental Learning

Die Arbeit stellt die semantisch geführte adaptive Expertenwald-Methode (SAEF) vor, die vortrainierte Modelle durch die strukturierte Hierarchisierung und Verschmelzung von Adaptern in konzeptionellen Clustern nutzt, um beim klasseninkrementellen Lernen ein State-of-the-Art-Ergebnis zu erzielen und dabei das Vergessen alter Klassen zu vermeiden.

Das Wesentliche

Stell dir vor, du bist ein genialer Koch, der ständig neue Rezepte lernt.

Das Problem: Der chaotische Kochschrank
Bisher haben KI-Modelle, die neue Dinge lernen sollen (wie das Erkennen neuer Tierarten oder Autos), ein großes Problem gehabt: Sie vergessen oft das Alte, wenn sie Neues lernen. Um das zu verhindern, haben Forscher eine clevere Methode entwickelt: Sie nehmen einen riesigen, vorgefertigten Kochbuch-Koch (ein "vortrainiertes Modell") und hängen für jedes neue Rezept nur einen winzigen, speziellen Zettel (einen "Adapter") daran.

Das Problem bei dieser alten Methode war aber: Der Koch legte alle diese Zettel einfach in einen riesigen, unordentlichen Haufen in den Schrank. Wenn er heute ein Gericht kochen wollte, musste er alle Zettel durchsuchen, um zu sehen, welcher passt. Das war langsam und ineffizient. Außerdem wusste der Koch nicht, dass ein Rezept für "Hund" und eines für "Katze" sich ähneln – er behandelte sie als völlig getrennte Dinge.

Die Lösung: Der "SAEF"-Wald
Die Autoren dieses Papers haben eine neue Idee namens SAEF (Semantic-guided Adaptive Expert Forest) entwickelt. Stell dir das nicht mehr als einen Haufen Zettel vor, sondern als einen gut organisierten Wald mit Bäumen.

Hier ist, wie es funktioniert, einfach erklärt:

1. Der Wald (Die Struktur):
   Statt alle Rezepte in einen Haufen zu werfen, sortiert SAEF sie zuerst in große Kategorien.

   • Ein Baum steht für "Tiere".
   • Ein anderer Baum steht für "Fahrzeuge".
   • Ein weiterer für "Nahrungsmittel".
     Das nennt man semantische Gruppierung. Der Koch weiß sofort: "Ah, ich muss nur in den Tier-Baum schauen, nicht im Fahrzeug-Baum."

2. Die Äste (Die Verschmelzung):
   Innerhalb eines Baumes (z. B. "Tiere") werden ähnliche Rezepte zusammengefasst.

   • Das Rezept für "Hund" und das für "Katze" werden zu einem neuen Ast zusammengefasst, den wir "Haustiere" nennen.
   • Das Rezept für "Löwe" und "Tiger" wird zu "Wildkatzen".
     Diese neuen Äste sind wie erfahrene Experten, die das Wissen aus beiden untergeordneten Rezepten vereint haben. So entsteht eine Hierarchie: Von ganz oben (große Kategorien) bis runter zu den einzelnen Blättern (spezifische Tiere).

3. Die Suche (Der adaptive Pfad):
   Wenn jetzt ein neues Bild kommt (z. B. ein Foto eines Hundes), muss der Koch nicht mehr alle Zettel durchsuchen.

   • Er schaut zuerst auf die Spitze des Baumes: "Ist das ein Tier?" -> Ja.
   • Dann geht er den Ast hinunter: "Ist es ein Haustier?" -> Ja.
   • Dann zum Blatt: "Ist es ein Hund?" -> Ja!
     Er aktiviert nur die wenigen Experten auf diesem Weg. Das ist extrem schnell.

4. Die Entscheidung (Vertrauen):
   Am Ende fragt der Koch nicht nur den einen Experten, sondern eine kleine Gruppe von Experten auf diesem Weg. Aber er gibt denjenigen mehr Gewicht, die sich am sichersten fühlen. Wenn der "Haustier"-Experte sich zu 99% sicher ist, dass es ein Haustier ist, und der "Hund"-Experte auch sicher ist, dann ist das Ergebnis sehr stark. Wenn ein Experte unsicher ist (hohes "Entropie"-Level), wird er weniger stark gewichtet.

Warum ist das so toll?

• Kein Vergessen: Da jedes Rezept seinen eigenen Platz hat, wird das Alte nicht überschrieben.
• Geschwindigkeit: Der Koch muss nicht den ganzen Schrank durchwühlen. Er folgt einem klaren Pfad durch den Wald. Das ist viel schneller als bei den alten Methoden.
• Intelligenz: Das System versteht Zusammenhänge. Es weiß, dass ein Hund und eine Katze mehr gemeinsam haben als ein Hund und ein Auto. Deshalb können sie Wissen austauschen, ohne sich zu stören.

Fazit
SAEF verwandelt einen chaotischen Haufen von KI-Wissen in einen gut strukturierten, organisierten Wald. Anstatt alles auf einmal zu prüfen, navigiert das System intelligent durch die Äste, aktiviert nur die richtigen Experten und trifft eine schnelle, präzise Entscheidung. Es ist der Unterschied zwischen einem chaotischen Lagerhaus und einer modernen, automatisierten Bibliothek.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung des Class-Incremental Learning (CIL) im Kontext von vortrainierten Modellen (Pre-Trained Models, PTMs).

• Herausforderung: CIL-Modelle müssen neue Klassen lernen, ohne das Wissen über zuvor gelernte Klassen zu vergessen (katastrophales Vergessen).
• Bestehende Ansätze: Ein gängiger Ansatz ist das Einfrieren des PTM-Rückgrats und das Training eines separaten, leichten Adapters für jede neue Aufgabe.
• Limitierung: Diese Adapter werden typischerweise als eine unstrukturierte, flache Sammlung behandelt. Bei der Inferenz werden entweder alle Adapter aktiviert (ineffizient) oder der „beste" Adapter gesucht. Dies ignoriert die semantischen Beziehungen zwischen Aufgaben (z. B. sind „Hund" und „Katze" semantisch näher als „Hund" und „Auto"). Ein globaler Wissensaustausch über alle Aufgaben hinweg ist suboptimal, da er zu negativem Interferenz-Effekten führt.

2. Methodik: Semantic-guided Adaptive Expert Forest (SAEF)

Die Autoren schlagen SAEF vor, eine Methode, die isolierte Adapter in eine strukturierte, hierarchische Wissensbasis (einen „Expert Forest") organisiert. Der Prozess gliedert sich in drei Hauptphasen:

A. Konzeptuelles Clustering (Conceptual Clustering)

• Aufgaben werden basierend auf ihren semantischen Beziehungen gruppiert.
• Es werden zwei Prototypen pro Aufgabe definiert:
  1. Semantischer Prototyp ($p^s_t$): Berechnet aus Text-Embeddings der Klassennamen (unter Verwendung eines eingefrorenen CLIP-Text-Encoders).
  2. Visueller Prototyp ($p^f_t$): Der Mittelwert der Merkmalsvektoren der Trainingsdaten, extrahiert durch das PTM mit dem Adapter der ersten Aufgabe (zur Überbrückung der Domänenlücke).
• Mithilfe des K-Means-Algorithmus (optimiert durch den Silhouette-Score) werden die Aufgaben in $K$ konzeptionelle Cluster (z. B. „Tiere", „Fahrzeuge") unterteilt. Dies bildet die „Wälder" der Expertensysteme.

B. Hierarchischer Aufbau (Hierarchical Construction)

• Innerhalb jedes Clusters wird ein ausgeglichener binärer Expert-Baum von unten nach oben (Bottom-Up) konstruiert.
• Merging-Prozess: In jedem Schritt werden die zwei visuell ähnlichsten Knoten (Adapter) identifiziert (basierend auf der Kosinus-Ähnlichkeit ihrer visuellen Prototypen).
• Parameter-Merging: Die Parameter der neuen Eltern-Knoten werden durch eine vektorielle Operation fusioniert, die das dominante Signal beider Kinder bewahrt:
  $$\theta_p \leftarrow \text{sign}(\theta_i + \theta_j) \odot \max(|\theta_i|, |\theta_j|)$$
• Dies erzeugt eine Hierarchie von Experten auf verschiedenen Abstraktionsebenen. Die Wurzeln der einzelnen Bäume werden schließlich zu einem einzigen Globalen Experten fusioniert.

C. Adaptive Inferenz (Adaptive Inference)

• Für ein Eingabebild durchläuft SAEF einen parallelen Suchprozess durch alle Bäume.
• Entropie-gesteuerte Pfadwahl: Beginnend an der Wurzel wird in jedem Schritt der Kind-Knoten ausgewählt, der die niedrigste Vorhersage-Entropie (höchste Sicherheit) für das aktuelle Eingabebild aufweist. Dies führt zu einem optimalen Pfad von der Wurzel zum Blatt.
• Fusion: Die Vorhersagen aller aktivierten Experten (der globale Root + alle Knoten auf den gefundenen Pfaden) werden gewichtet fusioniert. Das Gewicht basiert auf der inversen Entropie (Konfidenz) des jeweiligen Experten.
• Früher Exit: Ein Schwellenwert für die Entropie ermöglicht es, die Suche abzubrechen, wenn ein Knoten bereits hochkonfident ist, was die Inferenzgeschwindigkeit drastisch erhöht.

3. Hauptbeiträge

1. SAEF-Architektur: Eine neuartige Methode, die isolierte Adapter automatisch in eine semantische Expertenhierarchie überführt, um strukturiertes Wissen wiederzuverwenden.
2. Dynamische Inferenzstrategie: Ein Ansatz, der die Hierarchie adaptiv navigiert, indem er Multi-Pfad-Suchen und eine entropie-gesteuerte Fusionsmechanik nutzt, um robuste Vorhersagen zu treffen.
3. State-of-the-Art (SOTA) Leistung: Umfassende Experimente zeigen, dass SAEF bestehende Methoden auf mehreren Benchmarks übertrifft.

4. Ergebnisse

Die Methode wurde auf vier Benchmarks evaluiert: CIFAR-100, ImageNet-R, ImageNet-A und ObjectNet (alle im exemplar-freien Setting, d.h. ohne Speicherung alter Daten).

• Genauigkeit: SAEF erzielt auf allen Datensätzen die höchste durchschnittliche Genauigkeit ($\bar{A}$) und Endgenauigkeit ($A_T$).
  • Auf ImageNet-R erreicht SAEF 84,54 % (durchschnittliche Genauigkeit) und übertrifft den stärksten Konkurrenten (SSIAT) um 1,34 %.
  • Auf ObjectNet übertrifft es den Rehearsal-basierten Baseline FOSTER um 7,3 %.
• Vergleich mit Rehearsal-Methoden: Obwohl SAEF keine alten Daten speichert (exemplar-free), schlägt es leistungsstarke Rehearsal-Methoden (wie FOSTER, MEMO), was auf eine überlegene Wissensretention und Skalierbarkeit hinweist.
• Effizienz: Durch die hierarchische Struktur und die Entropie-Schwelle reduziert SAEF die Inferenzzeit im Vergleich zu einem „Flat Ensemble" (das alle Adapter abfragt) um das 5,92-fache (bei nur minimalen Genauigkeitsverlusten).
• Ablationsstudien: Bestätigen, dass sowohl das Clustering, der hierarchische Aufbau als auch die adaptive Inferenz entscheidend für den Erfolg sind.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Behandlung von Adaptern als unstrukturierte Sammlung ineffizient und suboptimal ist. Durch die Organisation des Wissens in eine semantische Hierarchie kann SAEF:

1. Gezielten Wissenstransfer zwischen semantisch verwandten Aufgaben ermöglichen.
2. Negatives Interferenz von irrelevanten Aufgaben verhindern.
3. Eine hohe Inferenzgeschwindigkeit bei gleichzeitig bester Genauigkeit erreichen.

SAEF stellt somit einen bedeutenden Schritt dar, um CIL-Systeme nicht nur genauer, sondern auch ressourceneffizient und für reale Anwendungen (z. B. auf Geräten mit begrenzten Ressourcen) praktikabler zu machen. Die Arbeit unterstreicht, dass strukturierte Wissensrepräsentation der Schlüssel zur Bewältigung des katastrophalen Vergessens in vortrainierten Modellen ist.