🤖 machine learning

Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts

Das Papier schlägt CaRE vor, ein skalierbares Framework für kontinuierliches Lernen, das einen bi-level Routing Mixture-of-Experts-Mechanismus nutzt, um extrem lange Aufgabenfolgen von über 300 Aufgaben effektiv zu bewältigen, und führt gleichzeitig das herausfordernde OmniBenchmark-1K-Datenset zur Evaluierung ein.

Ursprüngliche Autoren: Meng Lou, Yunxiang Fu, Yizhou Yu

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Meng Lou, Yunxiang Fu, Yizhou Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Tausende verschiedener Objekte zu erkennen, und zwar jeweils eine neue Kategorie nach der anderen. Das Problem ist, dass er, wenn Sie ihm neue Dinge beibringen (wie „Corgis"), dazu neigt, die alten Dinge zu vergessen, die er gelernt hat (wie „Hamburger"). Dies wird als „katastrophales Vergessen" bezeichnet.

Die Arbeit stellt ein neues System namens CaRE (Continual Learner with efficient Bi-Level Routing Mixture-of-Experts) vor, das entwickelt wurde, um dieses Problem zu lösen. So funktioniert es, einfach erklärt:

1. Das Problem: Die „Einheitsgröße"-Falle

Die meisten aktuellen KI-Systeme versuchen, neue Aufgaben zu lernen, indem sie dasselbe „Gehirn", das sie bereits haben, justieren. Wenn Sie ihnen Hunde beibringen, überschreiben sie möglicherweise versehentlich die Regeln zur Erkennung von Katzen.

Die Erkenntnis der Arbeit: Anstatt die KI zu zwingen, dasselbe „Gehirn" für alles zu verwenden, stellt CaRE der KI eine riesige Bibliothek spezialisierter Werkzeuge zur Verfügung. Wenn eine neue Aufgabe eintrifft, lernt die KI nicht nur; sie lernt, wie man die richtigen Werkzeuge aus ihrer Bibliothek auswählt.

2. Die Lösung: Das „Intelligente Bibliothekar"-System (BR-MoE)

CaRE verwendet einen Mechanismus namens Bi-Level Routing Mixture-of-Experts (BR-MoE). Stellen Sie sich das Gehirn der KI als eine riesige Bibliothek mit vielen spezialisierten „Experten" (Mini-Gehirnen) darin vor.

Ebene 1: Der Oberbibliothekar (Router-Auswahl)
Wenn ein neues Bild hereinkommt (zum Beispiel ein Foto eines Corgis), rät das System nicht einfach. Es fragt eine Reihe von „Oberbibliothekaren" (genannt Class Perceptrons), das Bild anzusehen und zu sagen: „Wie sicher sind Sie, dass dies zu Ihrem spezifischen Abschnitt gehört?"
- Wenn der „Hunde-Bibliothekar" sehr sicher ist (geringe Unsicherheit), wird er ausgewählt.
- Wenn der „Auto-Bibliothekar" verwirrt ist (hohe Unsicherheit), wird er ignoriert.
- Der Trick: Das System wählt die wenigen Bibliothekare aus, die am relevantesten erscheinen, nicht nur einen. Dies stellt sicher, dass die KI verwandte Konzepte (wie andere Tiere) berücksichtigt, während sie sich auf das Hauptkonzept konzentriert.
Ebene 2: Die spezialisierten Experten (Dynamisches Expert-Routing)
Sobald die besten Bibliothekare ausgewählt sind, rufen sie jeweils ihr eigenes Team von Spezialisierten Experten (kleine, effiziente Adapter) auf.
- Jeder Experte ist ein Mini-Gehirn, das speziell für eine vergangene Aufgabe trainiert wurde (z. B. kennt ein Experte alles über Hunde, ein anderer über Vögel).
- Die Bibliothekare aktivieren die wenigen Experten, die für das aktuelle Bild am hilfreichsten sind.
- Der „Geteilte Experte": Es gibt auch einen „Super-Experten", der ein wenig über alles weiß, was bisher gelernt wurde. Dies stellt sicher, dass die KI ihr allgemeines Wissen nie verliert.

3. Der Vorteil „Jede Schicht"

Normalerweise treffen KI-Systeme Entscheidungen erst ganz am Ende. CaRE ist anders: Es hat dieses „Bibliothekar + Experte"-System in jeder einzelnen Schicht seines Gehirns integriert.

Analogie: Stellen Sie sich ein Fließband in einer Fabrik vor. In einer normalen Fabrik entscheidet der Endmanager, was mit dem Produkt zu tun ist. Bei CaRE hat jeder Arbeiter am Band (jede Schicht) seinen eigenen Mini-Bibliothekar, der entscheidet, welche spezifischen Werkzeuge genau dann und dort verwendet werden sollen. Dies ermöglicht der KI, Schritt für Schritt ein sehr detailliertes und genaues Bild des Objekts zu erstellen.

4. Die neue Herausforderung: Der „OmniBenchmark-1K"

Um zu beweisen, dass dies funktioniert, stellten die Autoren fest, dass bestehende Tests zu einfach waren. Die meisten Tests hatten nur 20 Aufgaben (wie das Erlernen von 20 Tierarten).

Sie schufen einen neuen, extrem schwierigen Test namens OmniBenchmark-1K.
Dieser Datensatz enthält 1.000 verschiedene Klassen (Kategorien) und fast 200.000 Bilder.
Sie testeten CaRE, indem sie es in Sequenzen von 100, 200 und sogar 301 Aufgaben hintereinander lernten.
Das Ergebnis: Während andere KI-Systeme begannen zu versagen und Dinge zu vergessen, als die Anzahl der Aufgaben wuchs, wurde CaRE immer besser. Es übertraf alle anderen Methoden mit großem Abstand, selbst wenn die Aufgabenliste unglaublich lang war.

Zusammenfassung

CaRE ist wie ein Schüler, der nicht nur Fakten auswendig lernt, sondern lernt, wie man das richtige Gedächtnis für die richtige Situation abruft.

Es prüft sein Vertrauen, um die relevantesten „Gedächtnisräume" zu finden (Routing Ebene 1).
Es zieht die spezifischen „Werkzeuge" aus diesen Räumen heraus, um das Problem zu lösen (Routing Ebene 2).
Es tut dies in jedem Schritt seines Denkprozesses, nicht nur am Ende.

Dies ermöglicht es ihm, Hunderte neuer Dinge zu lernen, ohne die alten zu vergessen, eine Leistung, die kein anderes System in diesem Maßstab erfolgreich demonstriert hat.

Technische Zusammenfassung: Skalierung des kontinuierlichen Lernens auf 300+ Aufgaben mit Bi-Level Routing Mixture-of-Experts (CaRE)

1. Problemstellung

Kontinuierliches Lernen, insbesondere Class-Incremental Learning (CIL), zielt darauf ab, Modellen zu ermöglichen, neue Aufgaben sequenziell zu erlernen, ohne vorheriges Wissen zu vergessen. Während neuere Ansätze, die auf vortrainierten Modellen (PTMs) und parameter-effizientem Fine-Tuning (PEFT) basieren, vielversprechend sind, stoßen sie bei der Skalierung auf sehr lange Aufgabenfolgen (z. B. Hunderte von Aufgaben) auf erhebliche Herausforderungen.

Die identifizierten Kernschwierigkeiten sind:

Ausbalancieren diskriminativer und umfassender Repräsentationen: Bestehende Methoden haben oft Schwierigkeiten, Repräsentationen zu erzeugen, die sowohl hochgradig diskriminativ für spezifische Klassen als auch umfassend genug sind, um komplementäres Wissen aus semantisch verwandten historischen Aufgaben zu nutzen. Grobgranulare Strategien (z. B. globale Prompts) versagen darin, feingranulare komplementäre Hinweise effektiv zu nutzen.
Mehrebenen-Lokale Entscheidungen: Vision-Modelle weisen über verschiedene Netzwerktiefen hinweg unterschiedliche Abstraktionsniveaus auf. Eine statische Routing-Strategie versagt darin, optimale lokale Entscheidungen in jeder Zwischenschicht zu treffen, um historisches Wissen selektiv einzubeziehen.
Fehlende skalierbare Benchmarks: Die meisten bestehenden CIL-Benchmarks (z. B. CIFAR-100, Standard-ImageNet-Teilmengen) sind auf eine geringe Anzahl von Klassen beschränkt (oft <100), was sie für die Evaluierung der Leistung bei langen Folgen (100–300+ Aufgaben) ungeeignet macht. Dies lässt die Skalierbarkeit aktueller Methoden auf reale, unbeschränkte Aufgabenströme weitgehend unerforscht.

2. Methodik: CaRE und BR-MoE

Die Autoren schlagen CaRE (Continual Learner with efficient Bi-Level Routing Mixture-of-Experts) vor, das auf einem eingefrorenen Vision Transformer (ViT)-Backbone aufbaut. Die Kerninnovation ist das Modul Bi-Level Routing Mixture-of-Experts (BR-MoE), das in jeden ViT-Baustein integriert ist.

2.1 Architekturübersicht

Für jede inkrementelle Aufgabe $t$ lernt CaRE innerhalb jedes BR-MoE-Moduls ein Triplett parameter-effizienter Komponenten:

Klassen-Perzeptron ( $C_t$ ): Extrahiert klassenbezogene diskriminative Informationen.
Router-Netzwerk ( $R_t$ ): Erzeugt Gating-Koeffizienten für die Expertenauswahl.
Experte/Adapter ( $E_t$ ): Ein aufgaben spezifischer Adapter für die Merkmals Transformation.
Zusätzlich wird ein gemeinsamer Experte ( $\bar{E}$ ) unterhalten, der über alle Aufgaben hinweg mittels Exponentiellem Gleitdurchschnitt (EMA) aktualisiert wird, um konsolidiertes aufgabenübergreifendes Wissen zu kodieren.

2.2 Der Bi-Level Routing-Mechanismus

Der Routing-Prozess erfolgt in zwei dynamischen Stufen für jedes Eingabemerkmals $z_a$ in jeder Schicht:

Stufe 1: Dynamische Router-Auswahl

Das [CLS]-Token des Eingabemerkmals wird in alle gelernten Klassen-Perzeptronen $\{C_t\}$ eingespeist.
Jedes Perzeptron erzeugt eine Wahrscheinlichkeitsverteilung über die Klassen seiner Aufgabe.
Die Entropie dieser Verteilungen wird berechnet. Eine niedrigere Entropie zeigt ein höheres Vertrauen an, dass die Eingabe zu dieser Aufgabe gehört.
Das System wählt die Top-M Router-Netzwerke aus, die den niedrigsten Entropiewerten (wahrscheinlichsten Aufgaben) zugeordnet sind. Dies stellt sicher, dass das Modell Wissen aus den semantisch relevantesten historischen Aufgaben abruft.

Stufe 2: Dynamisches Experten-Routing

Jeder der ausgewählten $M$ Router erzeugt Gating-Scores für seinen zugehörigen Satz aufgaben spezifischer Experten (Adapter).
Für jeden Router werden die Top-K Experten mit den höchsten Gating-Scores aktiviert und aggregiert.
Der gemeinsame Experte ( $\bar{E}$ ) wird stets aktiviert, um die Repräsentation mit allgemeinem aufgabenübergreifendem Wissen anzureichern.
Die endgültige Ausgabe ist die Summe der aggregierten aufgaben spezifischen Merkmale und der Ausgabe des gemeinsamen Experten.

2.3 Trainingsziele

Klassifikationsverlust: Standard-Angular-Penalty-Loss wird in der letzten Schicht angewendet.
Überwachung des Klassen-Perzeptrons: Um eine robuste semantische Führung in Zwischenschichten zu gewährleisten, wird das Klassen-Perzeptron in jeder Schicht $\ell$ nicht nur durch seinen eigenen Klassifikationsverlust überwacht, sondern auch durch einen KL-Divergenz-Verlust gegen die Softmax-Wahrscheinlichkeiten der letzten Schicht. Dies zwingt Zwischenschichten, hochrangige semantische Abstraktionen nachzuahmen und ermöglicht effektive lokale Entscheidungsfindung.

3. Hauptbeiträge

3.1 Das CaRE-Framework

CaRE ist der erste kontinuierliche Lerner, der für eine effektive Skalierung auf sehr lange Aufgabenfolgen (100 bis 300+ nicht überlappende Aufgaben) konzipiert wurde. Durch den Einsatz eines Bi-Level-Routing-Mechanismus injiziert es dynamisch sowohl diskriminative als auch umfassende Repräsentationen in jede Zwischenschicht des Netzwerks, was eine maßgeschneiderte Wissensabrufung auf verschiedenen Abstraktionsebenen ermöglicht.

3.2 OmniBenchmark-1K

Um das Fehlen geeigneter Evaluierungsprotokolle für lange Folgen zu adressieren, stellen die Autoren OmniBenchmark-1K vor. Dieser Datensatz, kuratiert aus OmniBenchmark-V2, enthält 1.000 Klassen über 21 visuelle Bereiche mit ca. 190.000 Bildern. Er wurde speziell entwickelt, um skalierbare CIL-Evaluierungen mit Hunderten von Aufgaben zu ermöglichen und die Grenzen bestehender Benchmarks wie CIFAR-100 zu überwinden.

3.3 Empirische Validierung

Umfangreiche Experimente zeigen, dass CaRE state-of-the-art PTM-basierte CIL-Methoden (z. B. L2P, DualPrompt, TUNA, MOS, MIN) in diversen Settings übertrifft:

Lange Folgen: Auf OmniBenchmark-1K erzielt CaRE signifikante Verbesserungen der letzten Genauigkeit ( $A_B$ ) gegenüber Baselines über 100, 151, 200 und 301 Aufgaben-Settings. Beispielsweise übertrifft es TUNA um 8,23 % und MIN um 8,68 % in $A_B$ bei 100 bzw. 151 Aufgaben.
Kurze Folgen: CaRE behält auch auf klassischen Benchmarks (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) mit 5–20 Aufgaben eine überlegene Leistung bei und demonstriert Robustheit über verschiedene Folgenlängen hinweg.
Effizienz: CaRE erzielt einen günstigen Kompromiss zwischen Leistung und Rechenkosten, indem es deutlich weniger trainierbare Parameter und eine niedrigere Inferenz-Latenz als Methoden wie MOS und TUNA verwendet, während es gleichzeitig eine höhere Genauigkeit liefert.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CaRE einen bedeutenden Schritt vorwärts darstellt, um kontinuierliches Lernen für reale Szenarien praktikabel zu machen, in denen Datenströme nicht-stationär und Aufgabenfolgen potenziell unbeschränkt sind.

Skalierbarkeit: Die Arbeit wird als erste präsentiert, die CIL erfolgreich auf über 300 nicht überlappende Aufgaben skaliert und dabei eine klare Leistungssuperiorität beibehält.
Validität des Mechanismus: Die Autoren argumentieren, dass der Bi-Level-Routing-Mechanismus das „Stabilität-Plastizitäts"-Dilemma effektiv adressiert, indem er dem Modell ermöglicht, in jeder Schicht relevantes historisches Wissen dynamisch abzurufen (durch Router-Auswahl) und komplementäre Merkmale zu aggregieren (durch Experten-Routing).
Auswirkung auf die Gemeinschaft: Durch die Veröffentlichung sowohl des CaRE-Codes als auch des OmniBenchmark-1K-Datensatzes zielen die Autoren darauf ab, weitere Forschung zu extrem langen Aufgabenfolgen zu inspirieren, ein Bereich, der zuvor durch das Fehlen geeigneter Benchmarks und skalierbarer Methoden behindert wurde.

Die Arbeit schließt mit einer bescheidenen Anerkennung, dass, obwohl CaRE auf 300+ Aufgaben skaliert, die Modellkomplexität weiterhin linear mit der Anzahl der Aufgaben wächst (aufgrund des Anhängens neuer Module), und zukünftige Arbeiten sich möglicherweise auf eine weitere architektonische Vereinfachung und die Ausweitung dieser Protokolle auf Vision-Sprach-Modelle konzentrieren werden.