Continual Distillation of Teachers from Different Domains

Dieser Beitrag stellt Continual Distillation vor, ein Paradigma, bei dem ein Schülermodell sequentiell aus einem Strom heterogener Lehrer lernt, ohne Zugriff auf deren Trainingsdaten zu haben, und schlägt Self External Data Distillation (SE2D) vor, um die Übertragung unbekannten Wissens dem Vergessen unbekannten Wissens unter Verwendung externer ungelabelter Daten effektiv gegenüberzustellen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, durch das Lernen von einer Reihe berühmter Mentoren zum größten Experten der Welt zu werden. Allerdings gibt es einen Haken: Sie können nur mit einem Mentor gleichzeitig sprechen, und sobald ein Mentor geht, verschwindet er für immer. Sie können nicht zurückkehren, um ihnen Fragen zu stellen, und Sie haben keinen Zugriff auf die Original-Lehrbücher, die sie zur Erlernung ihres Handwerks verwendet haben.

Dies ist das Kernproblem, das der Aufsatz adressiert, welches er als Kontinuierliche Distillation (Continual Distillation) bezeichnet.

Hier ist eine Aufschlüsselung ihrer Idee, der Probleme, die sie fanden, und ihrer Lösung, unter Verwendung einfacher Analogien.

Das Setup: Das Problem des „Verschwindenden Mentors"

In den alten Tagen der KI konnte ein Schülermodell, wenn es lernen wollte, auf alle Daten (die Lehrbücher) früherer Lehrer zurückgreifen. Doch heute sind KI-Modelle (sogenannte „Foundation Models") so riesig und teuer, dass wir sie nicht alle behalten können. Wir müssen sie nacheinander lernen, sobald sie veröffentlicht werden, und verlieren dann den Zugriff auf die alten.

Das Schülermodell muss von einem Strom von Lehrern lernen:

1. Lehrer A lehrt über Tiere.
2. Lehrer B lehrt über Insekten.
3. Lehrer C lehrt über Pflanzen.

Der Schüler muss von A lernen, dann von B, dann von C, ohne A oder B jemals wieder zu sehen.

Die zwei großen Herausforderungen

1. Das Problem des „Blinden Flecks" (Übertragung unsichtbaren Wissens)
Die Lehrer wissen Dinge, die der Schüler noch nie gesehen hat. Zum Beispiel könnte Lehrer A ein Experte für „Meerestiere" sein, aber der Schüler hat nur Bilder von „Landtieren" gesehen.

• Die Entdeckung des Aufsatzes: Wenn der Schüler an einem zufälligen Satz von Bildern übt, die weder der Schüler noch der Lehrer zuvor gesehen haben (nennen wir dies „Externe Daten"), passiert etwas Magisches. Wenn der Lehrer diese zufälligen Bilder betrachtet, zeigt er Unsicherheit oder Zuversicht. Indem der Schüler beobachtet, wie der Lehrer auf diese unbekannten Bilder reagiert, kann er tatsächlich etwas über das Gebiet der „Meerestiere" lernen, obwohl der Schüler nie direkt ein Meerestier gesehen hat.
• Die Metapher: Stellen Sie sich einen Meisterkoch (den Lehrer) vor, der eine fremde, unbekannte Frucht probiert. Selbst wenn der Schüler diese Frucht noch nie gesehen hat, lehrt ihn die Reaktion des Kochs (z. B. „Dies schmeckt nach einer Mischung aus Zitrone und Honig") das Geschmacksprofil dieser Frucht. Dies wird als Übertragung unsichtbaren Wissens (Unseen Knowledge Transfer, UKT) bezeichnet.

2. Das Problem der „Amnesie" (Vergessen unsichtbaren Wissens)
Hier kommt die schlechte Nachricht. Wenn der Schüler weitermacht, um von Lehrer B (Insekten) zu lernen, beginnt er zu vergessen, was Lehrer A ihm über Meerestiere beigebracht hat.

• Die Entdeckung des Aufsatzes: Da der Schüler die Meerestiere nie direkt gesehen hat, ist dieses Wissen zerbrechlich. Sobald neue Informationen hereinkommen, verschwindet dieses alte „Geisterwissen".
• Die Metapher: Es ist wie das Erlernen einer neuen Sprache. Wenn Sie Französisch aus einem Buch gelernt haben, aber nie gesprochen haben, und dann sofort mit dem Studium der deutschen Sprache beginnen, könnten Sie die französischen Wörter vergessen, die Sie nur „durch das Lesen" gelernt haben. Dies wird als Vergessen unsichtbaren Wissens (Unseen Knowledge Forgetting, UKF) bezeichnet.

Die Lösung: „Selbst-Externe-Daten-Distillation" (SE2D)

Die Autoren erkannten, dass Standardmethoden versuchen, die Antworten des Lehrers auswendig zu lernen, aber versagen, das „Geisterwissen" sicher zu bewahren. Sie schlugen einen neuen Trick namens SE2D vor.

Wie es funktioniert:
Jedes Mal, wenn der Schüler das Lernen bei einem Lehrer abgeschlossen hat, macht er einen „Schnappschuss" (einen Checkpoint) seines Gehirns.

• Normalerweise würde der Schüler beim Lernen vom nächsten Lehrer alles üben.
• Die Wendung von SE2D: Wenn der Schüler an den „Externen Daten" (den zufälligen Bildern, die keiner kannte) übt, übt er auch an seinem eigenen vorherigen Schnappschuss.
• Die Metapher: Stellen Sie sich vor, Sie sind ein Schüler. Bevor Sie Ihren neuen Deutschkurs beginnen, nehmen Sie sich einen Moment Zeit, um Ihre alten Französisch-Notizen speziell zu überprüfen, während Sie eine zufällige, fremde Frucht betrachten. Sie fragen sich: „Basierend auf meinen alten Notizen, wie würde ich diese Frucht beschreiben?" Dies zwingt Ihr Gehirn, das Französisch-Wissen am Leben zu erhalten, während Sie beschäftigt sind, Deutsch zu lernen.

Indem dies getan wird, stabilisiert der Schüler das „Geisterwissen" früherer Lehrer, ohne die ursprünglichen Lehrer erneut sehen zu müssen.

Was sie fanden (Die Ergebnisse)

1. Die richtige Art von „Zufall" ist entscheidend: Die „Externen Daten" (die zufälligen Bilder) müssen in gewissem Maße mit dem verwandt sein, was die Lehrer wissen.
   • Wenn die Lehrer über Tiere Bescheid wissen und die zufälligen Bilder von anderen Tieren sind, lernt der Schüler viel.
   • Wenn die zufälligen Bilder von LKWs sind (völlig unverwandt), wird der Schüler verwirrt und vergisst noch mehr.
2. Der Kompromiss: Es gibt ein Gleichgewicht. Wenn Sie sich zu sehr auf den neuen Lehrer konzentrieren, vergessen Sie den alten. Wenn Sie sich zu sehr auf den alten konzentrieren, lernen Sie den neuen nicht. SE2D hilft, die „Goldlöckchen"-Zone zu finden, in der der Schüler das alte Wissen behält und gleichzeitig das neue lernt.
3. Es funktioniert: Bei verschiedenen Tests (wie dem Erkennen verschiedener Katzenarten oder Ziffern) half ihre Methode dem Schüler, mehr über die „verschwundenen" Lehrer zu behalten als andere Standardmethoden.

Das Fazit

Der Aufsatz stellt eine neue Methode vor, wie KI aus einem Strom von Lehrern lernen kann, die nach der Verwendung verschwinden. Sie fanden heraus, dass die Verwendung von „zufälligen" Daten dem Schüler hilft, Dinge zu lernen, die er nie gesehen hat, aber es führt auch dazu, dass der Schüler diese Dinge schnell vergisst. Ihre Lösung, SE2D, ist wie eine Gedächtnisübung, die den Schüler zwingt, seine vergangenen Lektionen auf diesen zufälligen Daten zu überprüfen, wodurch sichergestellt wird, dass sie die wertvollen Erkenntnisse von Lehrern, die sie nicht mehr erreichen können, nicht verlieren.

Wichtiger Hinweis: Die Autoren warnen, dass diese „Übertragung unsichtbaren Wissens" ein zweischneidiges Schwert ist. Wenn die zufälligen Daten schlecht oder verzerrt sind, könnte der Schüler versehentlich schlechte Gewohnheiten oder Vorurteile vom Lehrer lernen, ohne es jemals zu merken. Sie schlagen vor, dass dies weiter untersucht werden muss, aber sie behaupten nicht, dieses spezifische Risiko bereits gelöst zu haben.

Technische Zusammenfassung

Technische Zusammenfassung: Kontinuierliche Distillation von Lehrern aus verschiedenen Domänen

1. Problemdefinition: Kontinuierliche Distillation (CD)

Die Arbeit führt Kontinuierliche Distillation (CD) ein, ein neues Paradigma, das darauf ausgelegt ist, die Herausforderungen zu bewältigen, die durch die rasante Evolution und die Speicherkosten von Foundation Models (FMs) entstehen. Im Gegensatz zum traditionellen Continual Learning (CL), bei dem ein Modell aus einer Sequenz von Datensätzen lernt, konzentriert sich CD darauf, dass ein einzelnes Schülermodell sequentiell aus einem Strom von Lehrermodellen lernt.

Wichtige Einschränkungen und Herausforderungen:

• Sequenzieller Zugriff: Das Schülermodell lernt nacheinander von den Lehrern $T_1, T_2, \dots, T_N$. Sobald ein Lehrer verarbeitet wurde, steht er nicht mehr zur Verfügung, und seine ursprünglichen Trainingsdaten sind unzugänglich.
• Datenunverfügbarkeit: Die ursprünglichen Trainingsdaten der Lehrer sind typischerweise nicht offengelegt, proprietär oder zu groß, um gespeichert zu werden.
• Heterogene Expertise: Die Lehrer sind auf unterschiedlichen Domänen trainiert (z. B. ist einer bei Tieren, ein anderer bei Insekten besonders gut), obwohl sie einen teilweise überlappenden Bereich teilen (z. B. ImageNet).
• Feste Distillationsdaten: Das Schülermodell wird auf einem festen Datensatz $D_S$ trainiert, der sich im Laufe der Zeit nicht ändert.

Die Autoren zerlegen den festen Distillationsdatensatz $D_S$ in zwei Kategorien:

1. Interne Daten (ID): Daten, die allen Lehrern bekannt sind (der gemeinsame Bereich, $D_i$).
2. Externe Daten (ED): Daten, die keinem Lehrer bekannt sind ($D_e$).

Identifizierte Kernphänomene:

• Transfer nicht gesehener Kenntnisse (UKT): Das Phänomen, bei dem ein Schüler Kenntnisse über Domänen erwirbt, die er während des Trainings nie gesehen hat, allein weil der Lehrer diese Kenntnisse besitzt und das Schülermodell während der Distillation externen Daten (ED) ausgesetzt ist.
• Vergessen nicht gesehener Kenntnisse (UKF): Das Phänomen, bei dem Wissen, das von früheren Lehrern bezüglich nicht gesehener Domänen übertragen wurde, verloren geht, wenn das Schülermodell von nachfolgenden Lehrern lernt. Dies unterscheidet sich vom traditionellen katastrophalen Vergessen, da das „vergessene" Wissen nie Teil der eigenen Trainingsdaten des Schülers war, sondern über Distillation erworben wurde.

Die zentrale Herausforderung von CD besteht darin, den Kompromiss zwischen UKT (Erwerb neuer nicht gesehener Kenntnisse) und UKF (Beibehaltung zuvor erworbener nicht gesehener Kenntnisse) zu optimieren.

2. Methodik: Selbst-Externe-Daten-Distillation (SE2D)

Um UKF zu mindern und gleichzeitig die Vorteile von UKT zu bewahren, schlagen die Autoren Selbst-Externe-Daten-Distillation (SE2D) vor.

Mechanismus:
SE2D passt das Konzept der Selbst-Distillation (üblich im CL) an die spezifischen Einschränkungen von CD an. In jedem Schritt $t$ wird das Schülermodell $S_t$ unter Verwendung zweier Verlustterme optimiert:

1. Lehrer-Distillation: Standard-Wissensdistillation vom aktuellen Lehrer $T_t$ zum Schüler $S_t$ auf dem gesamten Distillationsdatensatz $D_S$ (sowohl ID als auch ED).
2. Selbst-Distillation: Distillation vom vorherigen Checkpoint des Schülers $S_{t-1}$ zum aktuellen Schüler $S_t$, jedoch ausschließlich auf den externen Daten ($D_e$).

Verlustfunktion:
Der Gesamtverlust ist definiert als:
$$L_{SE2D} = L_{KD}(S_t, T_t; D_S) + L_{KD}(S_t, S_{t-1}; D_e)$$

Begründung:

• Die Beschränkung der Selbst-Distillation auf $D_e$ ist entscheidend. Ihre Anwendung auf $D_i$ würde lediglich Wissen verstärken, das bereits über alle Lehrer hinweg stabil ist.
• Indem die Selbst-Distillation auf $D_e$ fokussiert wird, erhält die Methode spezifisch das „zerbrechliche" Wissen, das von früheren Lehrern bezüglich Domänen übertragen wurde, die das Schülermodell nie gesehen hat.
• Dieser Ansatz stabilisiert das Lernen über heterogene Lehrer hinweg, ohne dass Zugriff auf frühere Lehrer oder deren Trainingsdaten erforderlich ist.

3. Hauptbeiträge

1. Einführung eines Paradigmas: Die Arbeit definiert Kontinuierliche Distillation und verlagert den Fokus von datenzentriertem CL zu modellzentriertem CL, was der Realität sich entwickelnder Foundation Models entspricht, bei denen frühere Versionen unzugänglich werden.
2. Entdeckung von UKT und UKF: Die Autoren zeigen, dass die Verwendung externer Daten Transfer nicht gesehener Kenntnisse ermöglicht und es Schülern erlaubt, Domänen zu erlernen, die in ihren Trainingsdaten fehlen. Umgekehrt identifizieren sie Vergessen nicht gesehener Kenntnisse, bei dem dieses erworbene Wissen während des sequenziellen Lernens verloren geht.
3. Vorgeschlagene Lösung (SE2D): Sie stellen SE2D vor, eine Methode, die Logits auf externen Daten erhält, um UKF zu mindern.
4. Empirische Validierung: Umfassende Experimente über mehrere Benchmarks hinweg (CIFAR20, Digits, DomainNet) bestätigen, dass SE2D im Vergleich zu Standard-Distillations-Baselines UKF reduziert und die domänenübergreifende Generalisierung verbessert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten SE2D gegen Baselines, einschließlich KL-Divergenz, Logits-Standardisierung (LS), Proben mittlerer Schwierigkeit (MDS), Entkoppelte Wissensdistillation (DKD) und Standard-Selbstdistillation.

Wichtige Erkenntnisse:

• Notwendigkeit externer Daten: Das Training ausschließlich auf internen Daten führt dazu, dass das Schülermodell nur im gemeinsamen Bereich gut abschneidet. Die Einbeziehung externer Daten ist für UKT unerlässlich und steigert die Leistung auf nicht gesehenen Domänen erheblich.
• Kompromisse: Während ED UKT ermöglicht, kann es UKF verschärfen, wenn es nicht gemanagt wird. Standard-Distillationsmethoden leiden oft unter signifikanten Leistungseinbußen bei früheren nicht gesehenen Domänen, sobald neue Lehrer eingeführt werden.
• Leistung von SE2D:
  • Auf CIFAR20 mit verwandten externen Daten verbesserte SE2D die durchschnittliche Genauigkeit auf nicht gesehenen Domänen um über 9 % im Vergleich zu Baselines bei bestimmten Aufgaben (z. B. Domäne 1).
  • SE2D schnitt bei älteren Domänen konsistent besser als die Standard-Selbstdistillation ab und zeigte eine bessere Bewahrung des übertragenen Wissens.
• Empfindlichkeit gegenüber Domänenlücke: Die Wirksamkeit von ED und SE2D hängt stark von der semantischen Ähnlichkeit zwischen den externen Daten und den Domänen des Lehrers ab.
  • Verwandte ED: Die Verwendung semantisch ähnlicher Daten (z. B. CUB-Vögel für CIFAR20) führt zu signifikanten Gewinnen.
  • Unverwandte ED: Die Verwendung stark unterschiedlicher Daten (z. B. MNIST-Ziffern für CIFAR20) kann die Leistung verschlechtern und manchmal zu einer niedrigeren Genauigkeit führen als bei Verwendung nur interner Daten.
  • Lehrerqualität: SE2D ist darauf angewiesen, dass der Lehrer hochwertige Überwachung auf den externen Daten bietet. Wenn der Lehrer auf der externen Domäne schlecht abschneidet (geringe Qualität), nehmen die Vorteile von SE2D ab.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Kontinuierliche Distillation ein kritisches Paradigma für das Zeitalter der Foundation Models ist, da es die praktische Unmöglichkeit adressiert, massive, sich entwickelnde Modelle und ihre Trainingsdaten zu speichern oder erneut abzurufen.

• Wissenskontrolle: Die Arbeit hebt hervor, dass die Herkunft der Distillationsdaten ein primärer Hebel zur Steuerung ist, welches Wissen übertragen wird. Die Autoren argumentieren, dass die Fähigkeit, „nicht gesehene" Kenntnisse zu übertragen (UKT), ein zweischneidiges Schwert ist: Sie bietet Generalisierungsmöglichkeiten, führt aber auch zu Risiken, unbekannte Verzerrungen oder unkontrolliertes Wissen im Schüler zu verankern.
• Bescheidene Einschränkungen: Die Autoren erkennen an, dass SE2D keine universelle Lösung ist. Sein Erfolg hängt davon ab, dass die Domänenlücke zwischen externen Daten und dem Lehrer beherrschbar ist, und der Lehrer muss auf den externen Daten kompetent sein. Sie stellen fest, dass die Identifizierung von Daten außerhalb der Domäne eines Lehrers nicht trivial ist, wenn Daten generiert werden, um Trainingssets zu imitieren.
• Zukünftige Richtungen: Die Arbeit schlägt vor, dass UKT sowohl Chancen als auch Risiken birgt, insbesondere in Bezug auf unbeabsichtigte Verzerrungen. Für die Zukunft wird vorgeschlagen, größere Modelle (Sprache und Multimodalität) sowie die Sicherheitsimplikationen unkontrollierter Wissensübertragung zu untersuchen.

Zusammenfassend stellt die Arbeit fest, dass in einer Welt unzugänglicher, sich entwickelnder Lehrer die strategische Nutzung externer Daten und der Selbst-Distillation auf diesen Daten unerlässlich ist, um robuste Schülermodelle zu erstellen, die Wissen über eine Sequenz heterogener Lehrer hinweg bewahren.