Continual Distillation of Teachers from Different Domains

Dit artikel introduceert Continue Distillatie, een paradigma waarbij een studentenmodel sequentieel leert van een stroom heterogene leraren zonder toegang tot hun trainingsdata, en stelt Zelf Externe Data Distillatie (SE2D) voor om effectief een evenwicht te vinden tussen het overdragen van onbekende kennis en het vergeten van onbekende kennis met behulp van externe ongelabelde data.

De kern

Stel je voor dat je probeert de grootste expert ter wereld te worden door te leren van een reeks beroemde mentoren. Er is echter een addertje onder het gras: je kunt slechts met één mentor tegelijk praten, en zodra een mentor vertrekt, verdwijnt hij voor altijd. Je kunt niet terugkeren om hen vragen te stellen, en je hebt geen toegang tot de originele leerboeken die zij gebruikten om hun vak te leren.

Dit is het kernprobleem dat het artikel aanpakt, wat zij Continu Distilleren noemen.

Hieronder volgt een uiteenzetting van hun idee, de problemen die zij ontdekten, en hun oplossing, met behulp van eenvoudige analogieën.

De Opzet: Het "Verdwijnende Mentor"-Probleem

In de oude dagen van AI kon een studentenmodel, als het wilde leren, kijken naar alle data (de leerboeken) van eerdere leraren. Maar tegenwoordig zijn AI-modellen (zogenaamde "Fundamentmodellen") zo groot en duur dat we ze niet allemaal kunnen bewaren. We moeten ze één voor één leren kennen naarmate ze worden vrijgegeven, en daarna verliezen we de toegang tot de oude modellen.

Het studentenmodel moet leren van een stroom van leraren:

1. Leraar A leert over Dieren.
2. Leraar B leert over Insecten.
3. Leraar C leert over Planten.

De student moet leren van A, dan van B, dan van C, zonder ooit weer A of B te zien.

De Twee Grote Uitdagingen

1. Het "Blind Vlek"-Probleem (Overdracht van Ongeziene Kennis)
De leraren weten dingen die de student nooit heeft gezien. Bijvoorbeeld, Leraar A is misschien een expert op het gebied van "Zeedieren", maar de student heeft alleen maar foto's van "Landdieren" gezien.

• De Ontdekking van het Artikel: Als de student oefent op een willekeurige set foto's die noch de student noch de leraar eerder heeft gezien (laten we dit "Externe Data" noemen), gebeurt er iets magisch. Wanneer de leraar deze willekeurige foto's bekijkt, toont hij onzekerheid of vertrouwen. Door te kijken hoe de leraar reageert op deze onbekende foto's, kan de student eigenlijk leren over het domein van "Zeedieren", zelfs al heeft de student nooit direct een zeedier gezien.
• De Metafoor: Stel je een meesterkok (de leraar) voor die een vreemd, onbekend fruit proeft. Zelfs als de student dat fruit nooit heeft gezien, leert het kijken naar de reactie van de kok (bijvoorbeeld: "Dit smaakt naar een mix van citroen en honing") de student over het smaakprofiel van dat fruit. Dit heet Overdracht van Ongeziene Kennis (UKT).

2. Het "Amnesie"-Probleem (Vergeten van Ongeziene Kennis)
Hier is het slechte nieuws. Wanneer de student verder gaat om te leren van Leraar B (Insecten), begint hij te vergeten wat Leraar A hem over Zeedieren heeft geleerd.

• De Ontdekking van het Artikel: Omdat de student de Zeedieren nooit echt heeft gezien, is die kennis fragiel. Zodra er nieuwe informatie binnenkomt, verdwijnt die oude "geest"-kennis.
• De Metafoor: Het is als het leren van een nieuwe taal. Als je Frans uit een boek hebt geleerd maar nooit hebt geoefend met spreken, en je begint vervolgens direct Duits te studeren, kun je de Franse woorden vergeten die je "leerde" door er alleen maar over te lezen. Dit heet Vergeten van Ongeziene Kennis (UKF).

De Oplossing: "Zelf-Externe Data Distilleren" (SE2D)

De auteurs realiseerden zich dat standaardmethoden proberen de antwoorden van de leraar uit het hoofd te leren, maar dat ze falen in het veiligstellen van de "geest-kennis". Zij stelden een nieuwe truc voor, genaamd SE2D.

Hoe het werkt:
Elke keer als de student klaar is met leren van een leraar, maakt hij een "snapshot" (een checkpoint) van zijn brein.

• Normaal gesproken zou de student, wanneer hij van de volgende leraar leert, alles oefenen.
• De Twist van SE2D: Wanneer de student oefent op de "Externe Data" (de willekeurige foto's die niemand kende), oefent hij ook op zijn eigen vorige snapshot.
• De Metafoor: Stel je voor dat je een student bent. Voordat je begint met je nieuwe Duitse les, neem je even de tijd om je oude Franse aantekeningen te bekijken, specifiek terwijl je kijkt naar een willekeurig, vreemd fruit. Je vraagt jezelf af: "Op basis van mijn oude aantekeningen, hoe zou ik dit fruit beschrijven?" Dit dwingt je brein om de Franse kennis levend te houden terwijl je druk bezig bent met het leren van Duits.

Door dit te doen, stabiliseert de student de "geest-kennis" van eerdere leraren zonder de originele leraren opnieuw te hoeven zien.

Wat Zij Vonden (De Resultaten)

1. Het Juiste Type "Willekeur" Maakt Uit: De "Externe Data" (de willekeurige foto's) moet enigszins gerelateerd zijn aan wat de leraren weten.
   • Als de leraren weten over dieren, en de willekeurige foto's zijn van andere dieren, leert de student veel.
   • Als de willekeurige foto's zijn van vrachtwagens (helemaal niet gerelateerd), raakt de student in de war en vergeet hij nog meer.
2. De Afweging: Er is een balans. Als je te veel focust op de nieuwe leraar, vergeet je de oude. Als je te veel focust op de oude, leer je de nieuwe niet. SE2D helpt de "Goudlokje-zone" te vinden waar de student de oude kennis onthoudt terwijl hij nog steeds het nieuwe materiaal leert.
3. Het Werkt: Bij verschillende tests (zoals het herkennen van verschillende soorten katten of cijfers) hielp hun methode de student meer te onthouden over de "verdwenen" leraren dan andere standaardmethoden.

De Conclusie

Het artikel introduceert een nieuwe manier voor AI om te leren van een stroom leraren die verdwijnen na gebruik. Zij ontdekten dat het gebruik van "willekeurige" data de student helpt dingen te leren die hij nooit heeft gezien, maar het zorgt er ook voor dat de student die dingen snel vergeet. Hun oplossing, SE2D, is als een geheugenoefening die de student dwingt zijn eerdere lessen op die willekeurige data te herzien, zodat hij de waardevolle inzichten van leraren die hij niet meer kan bereiken, niet verliest.

Belangrijke Opmerking: De auteurs waarschuwen dat deze "Overdracht van Ongeziene Kennis" een tweesnijdend zwaard is. Als de willekeurige data slecht of bevooroordeeld is, kan de student per ongeluk slechte gewoonten of vooroordelen van de leraar leren zonder zich daarvan ooit bewust te worden. Zij suggereren dat hier meer onderzoek naar nodig is, maar zij claimen niet dat ze dat specifieke risico al hebben opgelost.

Technische samenvatting

Technische Samenvatting: Continue Distillatie van Docenten uit Verschillende Domeinen

1. Probleemdefinitie: Continue Distillatie (CD)

Het artikel introduceert Continue Distillatie (CD), een nieuw paradigma dat is ontworpen om de uitdagingen aan te pakken die voortvloeien uit de snelle evolutie en opslagkosten van Foundation Models (FMs). In tegenstelling tot traditioneel Continue Leren (CL), waarbij een model leert van een reeks datasets, richt CD zich op een enkel studentenmodel dat sequentieel leert van een stroom van docentmodellen.

Belangrijkste Beperkingen en Uitdagingen:

• Sequentiële Toegang: De student leert van docenten $T_1, T_2, \dots, T_N$ één voor één. Zodra een docent is verwerkt, wordt deze onbeschikbaar en zijn de oorspronkelijke trainingsdata ontoegankelijk.
• Ontbrekende Data: De oorspronkelijke trainingsdata voor de docenten is doorgaans niet openbaar, eigendom van derden of te groot om op te slaan.
• Heterogene Expertise: Docenten zijn getraind op verschillende domeinen (bijvoorbeeld één excelleert in dieren, een ander in insecten), hoewel ze een deels overlappend domein delen (bijvoorbeeld ImageNet).
• Vaste Distillatiedata: De student wordt getraind op een vaste dataset $D_S$ die in de tijd niet verandert.

De auteurs ontleden de vaste distillatiedataset $D_S$ in twee categorieën:

1. Interne Data (ID): Data die bekend is bij alle docenten (het gedeelde domein, $D_i$).
2. Externe Data (ED): Data die onbekend is bij elke docent ($D_e$).

Geïdentificeerde Kernverschijnselen:

• Overdracht van Ongeziene Kennis (UKT): Het verschijnsel waarbij een student kennis verwerft over domeinen die het tijdens de training nooit heeft gezien, uitsluitend omdat de docent die kennis bezit en de student tijdens de distillatie wordt blootgesteld aan ED.
• Vergeten van Ongeziene Kennis (UKF): Het verschijnsel waarbij kennis die van eerdere docenten is overgedragen over ongeziene domeinen, verloren gaat wanneer de student van opeenvolgende docenten leert. Dit verschilt van traditioneel catastrofaal vergeten omdat de "vergeten" kennis nooit deel uitmaakte van de eigen trainingsdata van de student, maar via distillatie was verkregen.

De centrale uitdaging van CD is het optimaliseren van de afweging tussen UKT (het verwerven van nieuwe ongeziene kennis) en UKF (het behouden van eerder verworven ongeziene kennis).

2. Methodologie: Zelf-Externe Data Distillatie (SE2D)

Om UKF te mitigeren terwijl de voordelen van UKT behouden blijven, stellen de auteurs Zelf-Externe Data Distillatie (SE2D) voor.

Mechanisme:
SE2D past het concept van zelf-distillatie (gangbaar in CL) toe op de specifieke beperkingen van CD. Bij elke stap $t$ wordt het studentenmodel $S_t$ geoptimaliseerd met behulp van twee verliestermen:

1. Docent-Distillatie: Standaard kennisdistillatie van de huidige docent $T_t$ naar de student $S_t$ op de hele distillatiedataset $D_S$ (zowel ID als ED).
2. Zelf-Distillatie: Distillatie van de vorige checkpoint van de student $S_{t-1}$ naar de huidige student $S_t$, maar uitsluitend op de Externe Data ($D_e$).

Verliesfunctie:
De totale verliesfunctie wordt gedefinieerd als:
$$L_{SE2D} = L_{KD}(S_t, T_t; D_S) + L_{KD}(S_t, S_{t-1}; D_e)$$

Redenering:

• Het beperken van zelf-distillatie tot $D_e$ is cruciaal. Toepassing op $D_i$ zou kennis slechts versterken die al stabiel is over alle docenten.
• Door zelf-distillatie te richten op $D_e, behoudt de methode specifiek de "kwetsbare" kennis die van eerdere docenten is overgedragen over domeinen die de student nooit heeft gezien.
• Deze aanpak stabiliseert het leren over heterogene docenten zonder toegang te vereisen tot eerdere docenten of hun trainingsdata.

3. Belangrijkste Bijdragen

1. Introductie van een Paradigma: Het artikel definieert Continue Distillatie, waarbij de focus verschuift van data-gedreven CL naar model-gedreven CL, wat de realiteit weerspiegelt van evoluerende Foundation Models waarbij eerdere versies ontoegankelijk worden.
2. Ontdekking van UKT en UKF: De auteurs demonstreren dat het gebruik van Externe Data Overdracht van Ongeziene Kennis mogelijk maakt, waardoor studenten kunnen leren over domeinen die afwezig zijn in hun trainingsdata. Omgekeerd identificeren zij Vergeten van Ongeziene Kennis, waarbij deze verworven kennis verloren gaat tijdens sequentieel leren.
3. Voorgestelde Oplossing (SE2D): Zij introduceren SE2D, een methode die logits op externe data behoudt om UKF te mitigeren.
4. Empirische Validatie: Uitgebreide experimenten over meerdere benchmarks (CIFAR20, Digits, DomainNet) valideren dat SE2D UKF reduceert en de generalisatie over domeinen verbetert in vergelijking met standaard distillatie-baselines.

4. Experimentele Resultaten

De auteurs hebben SE2D geëvalueerd tegen baselines waaronder KL-divergentie, Logits-Standardisatie (LS), Moeilijkheidsgraden van Midden (MDS), Ontkoppelde Kennisdistillatie (DKD) en standaard Zelf-Distillatie.

Belangrijkste Bevindingen:

• Noodzaak van Externe Data: Training uitsluitend op Interne Data resulteert erin dat de student alleen goed presteert op het gedeelde domein. Het opnemen van Externe Data is essentieel voor UKT en verbetert de prestaties op ongeziene domeinen aanzienlijk.
• Afwegingen: Hoewel ED UKT mogelijk maakt, kan het UKF verergeren als het niet wordt beheerd. Standaard distillatiemethoden lijden vaak aan significante prestatiedalingen op eerdere ongeziene domeinen naarmate nieuwe docenten worden geïntroduceerd.
• Prestaties van SE2D:
  • Op CIFAR20 met gerelateerde externe data verbeterde SE2D de gemiddelde nauwkeurigheid op ongeziene domeinen met meer dan 9% ten opzichte van baselines op specifieke taken (bijvoorbeeld Domein 1).
  • SE2D presteerde consistent beter dan standaard Zelf-Distillatie op oudere domeinen, wat een beter behoud van overgedragen kennis aantoont.
• Gevoeligheid voor Domeinkloof: De effectiviteit van ED en SE2D is sterk afhankelijk van de semantische gelijkenis tussen de Externe Data en de domeinen van de Docent.
  • Gerelateerde ED: Het gebruik van semantisch vergelijkbare data (bijvoorbeeld CUB-vogels voor CIFAR20) levert aanzienlijke winsten op.
  • Niet-gerelateerde ED: Het gebruik van sterk verschillende data (bijvoorbeeld MNIST-cijfers voor CIFAR20) kan de prestaties verslechteren, soms resulterend in een lagere nauwkeurigheid dan bij gebruik van alleen Interne Data.
  • Kwaliteit van de Docent: SE2D is afhankelijk van de docent die hoge kwaliteit supervisie biedt op de externe data. Als de docent slecht presteert op het externe domein (lage kwaliteit), nemen de voordelen van SE2D af.

5. Betekenis en Claims

Het artikel stelt dat Continue Distillatie een kritiek paradigma is voor het tijdperk van Foundation Models, waarbij het de praktische onmogelijkheid aanpakt om enorme, evoluerende modellen en hun trainingsdata op te slaan of opnieuw te raadplegen.

• Kenniscontrole: Het werk benadrukt dat de oorsprong van distillatiedata een primaire hefboom is voor het bepalen welke kennis wordt overgedragen. De auteurs betogen dat de mogelijkheid om "ongeziene" kennis over te dragen (UKT) een tweesnijdend zwaard is: het biedt generalisatiemogelijkheden maar introduceert risico's van het inbedden van onbekende biases of ongecontroleerde kennis in de student.
• Beperkte Beperkingen: De auteurs erkennen dat SE2D geen universele oplossing is. Het succes is afhankelijk van de beheersbaarheid van de domeinkloof tussen externe data en de docent, en de docent moet bekwaam zijn op de externe data. Zij merken op dat het identificeren van data buiten het domein van een docent niet triviaal is wanneer data wordt gegenereerd om trainingssets na te bootsen.
• Toekomstige Richtingen: Het artikel suggereert dat UKT zowel kansen als risico's biedt, met name wat betreft onbedoelde bias. Er wordt voorgesteld om toekomstig werk te richten op grotere modellen (taal en multimodaal) en de veiligheidsimplicaties van ongecontroleerde kennisoverdracht.

Kortom, het artikel stelt vast dat in een wereld van ontoegankelijke, evoluerende docenten, het strategische gebruik van externe data en zelf-distillatie op die data essentieel is om robuuste studentenmodellen te bouwen die kennis behouden over een reeks heterogene docenten.