💻 computer science

LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

Das Paper stellt LDEPrompt vor, eine Methode für das klasseninkrementelle Lernen auf Basis vortrainierter Modelle, die durch einen layer-orientierten, dualen und erweiterbaren Prompt-Pool sowie adaptive Schichtauswahl und dynamisches Einfrieren bestehende Einschränkungen überwindet und auf gängigen Benchmarks state-of-the-art Ergebnisse erzielt.

Ursprüngliche Autoren: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein genialer Koch, der ein riesiges Kochbuch (ein vortrainiertes KI-Modell) besitzt. Dieses Buch enthält die Grundlagen für Millionen von Gerichten. Dein Ziel ist es, neue Rezepte zu lernen, ohne die alten zu vergessen und ohne das ganze Buch neu schreiben zu müssen (das wäre zu teuer und langsam).

Das Problem beim Lernen neuer Rezepte ist das sogenannte „katastrophale Vergessen": Wenn du versuchst, ein neues Rezept in dein altes Buch zu schreiben, überschreibst du oft versehentlich die alten Anweisungen.

Hier kommt die Idee aus dem Papier „LDEPrompt" ins Spiel. Die Forscher haben eine clevere Lösung entwickelt, die man sich wie ein intelligentes, erweiterbares Notizsystem vorstellen kann.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Das Problem: Ein starres Notizbuch

Frühere Methoden funktionierten wie ein Notizbuch mit festen Seiten.

Du hast eine Liste von „Hinweisen" (Prompts), die dir sagen, wie du ein Rezept anpassen musst.
Wenn ein neues Rezept kommt, suchst du den passenden Hinweis.
Das Problem: Wenn du einen neuen Hinweis auf eine Seite schreibst, die schon benutzt wurde, wird der alte Hinweis überschrieben. Das alte Rezept ist dann weg. Außerdem war das Notizbuch immer gleich groß – es gab keinen Platz für mehr Hinweise, wenn du immer mehr Rezepte lernen wolltest.

2. Die Lösung: LDEPrompt (Der intelligente Küchenassistent)

Die Autoren schlagen ein System vor, das sich LDEPrompt nennt. Es besteht aus drei genialen Tricks:

A. Der „Wichtigkeits-Check" (Layer Importance)

Stell dir vor, dein Kochbuch hat viele Kapitel (Schichten). Nicht jedes Kapitel ist für jedes neue Rezept gleich wichtig.

Die alte Methode: Man hat Hinweise immer in alle Kapitel geschrieben, egal ob sie gebraucht wurden. Das war ineffizient.
Die neue Methode (LDEPrompt): Bevor du ein neues Rezept lernst, macht dein Assistent einen schnellen Test: „In welchem Kapitel dieses Buches bringt mir das neue Rezept den größten Nutzen?"
Das Ergebnis: Er fügt die neuen Hinweise nur in die wichtigsten Kapitel ein. Das spart Platz und verhindert, dass du unnötig viel durcheinanderwirfst.

B. Das „Doppelte Notizsystem" (Dual Expandable Prompt Pool)

Das ist der Kern der Erfindung. Statt eines einzigen Notizbuchs gibt es jetzt zwei Bereiche:

Der „Ewige Tresor" (Global Pool):
- Hier werden alle Hinweise für alle Rezepte gespeichert, die du je gelernt hast.
- Wichtig: Sobald ein Hinweis hier ist, wird er eingefroren (wie in Beton gegossen). Niemand darf ihn mehr ändern. So vergisst du nie ein altes Rezept.
Der „Arbeitsbereich" (Training Pool):
- Das ist dein aktuelles Notizblock-Heft, in dem du gerade das neue Rezept übst.
- Wenn du ein neues Rezept lernst, schaust du erst im „Tresor" nach: „Habe ich schon einen ähnlichen Hinweis?"
- Wenn ja, holst du ihn dir und frierst ihn im Tresor ein.
- Wenn nein, schreibst du einen neuen Hinweis in deinen Arbeitsbereich.
- Der Clou: Wenn du fertig bist, nimmst du die neuen Hinweise aus dem Arbeitsbereich und legst sie sicher in den Tresor. Der Tresor wird also dynamisch größer, je mehr du lernst, aber das Alte bleibt unberührt.

C. Die „Suchmaschine" (Similarity Matching)

Wie findet der Assistent den richtigen Hinweis im riesigen Tresor?

Er nutzt einen Werkzeug-Check. Wenn du ein neues Rezept (z. B. „Scharfe Currywurst") bekommst, schaut der Assistent, welche alten Hinweise (z. B. „Scharfe Soße") am ähnlichsten sind.
Er holt sich diese ähnlichen Hinweise aus dem Tresor, nutzt sie als Basis und fügt sie deinem aktuellen Arbeitsbereich hinzu. So musst du nicht alles neu erfinden, sondern baust auf dem Bestehenden auf.

Warum ist das so toll? (Die Ergebnisse)

Die Forscher haben ihr System an vielen verschiedenen „Kochkursen" (Datenbanken wie CIFAR, CUB, VTAB) getestet.

Das Ergebnis: LDEPrompt war in fast allen Tests der Beste.
Es vergisst weniger als die Konkurrenz (weil der Tresor eingefroren ist).
Es lernt schneller und effizienter (weil es nur die wichtigen Kapitel nutzt).
Es wächst mit dir mit (weil der Tresor sich erweitern kann).

Zusammenfassung in einem Satz

LDEPrompt ist wie ein Küchenassistent, der genau weiß, in welchem Kapitel des Kochbuchs er neue Notizen machen muss, einen sicheren Tresor für alte Rezepte hat und ständig Platz für neue schafft, ohne jemals etwas zu zerstören.

Damit können KI-Modelle lebenslang lernen, ohne dass sie „verrückt" werden oder alte Fähigkeiten verlieren.

1. Problemstellung

Das Paper adressiert das Problem des katastrophalen Vergessens (Catastrophic Forgetting) im Bereich des klasseninkrementellen Lernens (Class-Incremental Learning, CIL) mit vortrainierten Modellen (Pre-Trained Models, PTMs).

Herausforderung: Herkömmliche prompt-basierte CIL-Methoden nutzen einen festen Pool trainierbarer Key-Prompts und wählen diese basierend auf der Ähnlichkeit zu Eingabe-Embeddings aus einem eingefrorenen Backbone-Modell aus.
Limitationen bestehender Ansätze:
1. Überwriting: Prompts, die über verschiedene Aufgaben hinweg häufig ausgewählt werden, neigen dazu, überschrieben zu werden, was das Vergessen alter Aufgaben verstärkt.
2. Feste Kapazität: Der Prompt-Pool ist statisch und kann nicht wachsen, um neue Aufgaben zu accommodieren.
3. Starke Abhängigkeit: Die Auswahl der Prompts basiert ausschließlich auf den Embeddings des eingefrorenen Backbones, die oft keine aufgabenspezifischen Informationen enthalten, was zu einer starken Abhängigkeit vom Backbone führt.

2. Methodik: LDEPrompt

Die Autoren schlagen LDEPrompt (Layer-importance guided Dual Expandable Prompt Pool) vor, eine Architektur, die adaptive Schichtauswahl und dynamische Erweiterung des Prompt-Pools ermöglicht.

A. Bewertung der Schichtwichtigkeit (Layer Importance Evaluation)

Vor dem Training einer neuen Aufgabe wird der vortrainierte Backbone für mehrere Durchläufe verwendet, um den Informationsgewinn (Information Gain) jeder Schicht zu bewerten.

Der Informationsgewinn $IG(l)$ einer Schicht $l$ wird als Differenz der gegenseitigen Information (Mutual Information) zwischen Eingabe und Ausgabe der Schicht berechnet: $IG(l) = I(x; h_l) - I(x; h_{l-1})$ .
Die Wichtigkeitsscores werden normalisiert (Softmax). Schichten mit einem Score über dem Durchschnitt werden ausgewählt, um dort spezifische Prompt-Pools zu platzieren. Dies vermeidet die Ineffizienz, Prompts in jeder Schicht zu verwenden.

B. Dualer Erweiterbarer Prompt-Pool (Dual Expandable Prompt Pools)

Das Kernkonzept ist eine Zwei-Pool-Architektur:

Globaler Prompt-Pool ( $P_g$ ): Enthält Prompts aller vergangenen Aufgaben. Diese Prompts werden nach dem Training eingefroren, um das Wissen zu bewahren.
Trainings-Prompt-Pool ( $P_c$ ): Hat eine feste Kapazität $S$ und enthält nur aufgabenspezifische Prompts für die aktuelle Aufgabe.

Ablauf:

Für eine neue Aufgabe werden die ähnlichsten Prompts aus dem globalen Pool $P_g$ (basierend auf Cosine-Similarity der CLS-Token-Features) ausgewählt und in den Trainingspool $P_c$ kopiert.
Die verbleibenden Plätze in $P_c$ werden mit neu initialisierten, trainierbaren Prompts gefüllt.
Während des Trainings werden nur die Prompts in $P_c$ optimiert.
Nach dem Training werden die neu gelernten Prompts eingefroren und in den globalen Pool $P_g$ integriert, wodurch dieser dynamisch wächst.

C. Optimierung

Die Prompts im Trainingspool werden gemeinsam mit dem Klassifikator unter Verwendung des Standard-Cross-Entropy-Verlusts optimiert. Der Backbone bleibt eingefroren.

3. Schlüsselbeiträge

Adaptive Schichtauswahl: Anstatt Prompts in allen Schichten zu platzieren, identifiziert LDEPrompt die informativsten Schichten basierend auf dem Informationsgewinn, was Parameterredundanz reduziert und die Anpassung an aufgabenspezifische Merkmale verbessert.
Dynamische Erweiterung: Durch die Trennung in einen eingefrorenen globalen Pool und einen trainierbaren Pool wird verhindert, dass alte Prompts überschrieben werden, während gleichzeitig der Pool für neue Aufgaben erweitert werden kann.
Wissenserhalt und -teilung: Die Interaktion zwischen den beiden Pools ermöglicht das Teilen von Wissen über Aufgaben hinweg, ohne das alte Wissen zu verlieren.

4. Ergebnisse

Die Methode wurde auf drei weit verbreiteten Benchmarks evaluiert: CIFAR100, CUB und VTAB (im exemplar-freien Setting).

Leistungsvergleich: LDEPrompt erzielt State-of-the-Art (SOTA) Ergebnisse und übertrifft bestehende Methoden (wie L2P, DualPrompt, CODA-Prompt) signifikant.
- Durchschnittliche Genauigkeit (Avg): Steigerung um 0,50 % (CIFAR100), 2,91 % (CUB) und 1,37 % (VTAB) gegenüber den zweitbesten Methoden.
- Letzte Genauigkeit (Last): Ähnliche signifikante Verbesserungen in der Genauigkeit der letzten Aufgabe.
Ablationsstudie: Die Studie bestätigt, dass sowohl das Einfrieren der globalen Prompts als auch die Erweiterung des Pools essenziell sind. Das Platzieren von Prompts in allen Schichten (ohne Schichtauswahl) führt zu schlechterer Leistung aufgrund von Parameterredundanz.

5. Bedeutung und Fazit

LDEPrompt stellt einen wichtigen Fortschritt im Bereich des prompt-basierten inkrementellen Lernens dar. Es löst die zentralen Probleme der statischen Kapazität und des Überwritings bestehender Ansätze.

Skalierbarkeit: Die Architektur ist skalierbar, da der Prompt-Pool dynamisch mit neuen Aufgaben wächst.
Effizienz: Durch die selektive Platzierung in wichtigen Schichten wird der Rechenaufwand optimiert.
Zukunftsausblick: Die Arbeit unterstreicht die Bedeutung einer schichtweisen Zuweisung von Prompts und erweiterbarer Architekturen als vielversprechende Richtung für zukünftige Forschung im continual learning.

Der Code ist öffentlich unter https://github.com/Frank-lilinjie/LDEPrompt verfügbar.