Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

Technische Samenvatting: CVPR 2024 5th CLVISION Challenge

Titel: Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
Auteurs: Taeheon Kim et al. (Yonsei University & Seoul National University)
Prestatie: 2e plaats in de CVPR 2024 5th CLVISION Challenge.

---

1. Probleemstelling: Class-Incremental Learning with Repetition (CIR)

Traditionele Class-Incremental Learning (CIL) gaat ervan uit dat nieuwe taken uitsluitend nieuwe, onbekende klassen introduceren. In realistische scenario's echter, kan een model zowel nieuwe als eerder gezien klassen tegenkomen. Dit paper richt zich op Class-Incremental Learning with Repetition (CIR).

• Definitie: In CIR worden klassen herhaaldelijk geïntroduceerd in toekomstige taken, wat een mix van oude en nieuwe klassen creëert.
• Uitdaging: Het vermijden van "catastrophic forgetting" (het vergeten van eerder geleerde kennis) terwijl het model plastisch blijft om nieuwe klassen te leren.
• Beperkingen: Herhaling (rehearsal) met een buffer van gelabelde voorbeelden is vaak onpraktisch vanwege privacyzorgen en opslagbeperkingen.
• Oplossingsrichting: Het paper stelt voor om gebruik te maken van ongelabelde externe data (bijv. uit het internet) die tijdens het trainingstijdperk beschikbaar is, maar niet hoeft te worden opgeslagen.

2. Methodologie

De auteurs stellen twee kerncomponenten voor om stabiliteit en plasticiteit te maximaliseren met behulp van ongelabelde data, gebaseerd op een baseline van lokale cross-entropy en feature replay.

A. Multi-Level Knowledge Distillation (MLKD)

Om vergeten te voorkomen en stabiliteit te garanderen, distilleert het model kennis van meerdere eerdere modellen. Dit gebeurt op twee niveaus:

1. Feature-Level KD: Toepassing van L2-verlies om features van eerdere modellen te distilleren. Het gewicht van dit verlies neemt lineair toe met het aantal taken, omdat vroege features minder nuttig kunnen zijn voor nieuwe kennis.
2. Logit-Level KD: In plaats van simpele instance-wise vergelijking (wat problematisch is door distributieverschillen tussen gelabelde en ongelabelde data), gebruiken de auteurs Gram-matrices.
   • Dit vangt correlaties binnen een batch (instance-correlatie) en tussen klassen (class-correlatie).
   • Formule: $L_{LogitKD}$ combineert de correlaties van de huidige batch ($G_{curr}, M_{curr}$) met die van vorige modellen ($G_{prev}, M_{prev}$).
3. Multiple Previous Models: Er worden meerdere eerdere modellen bewaard. Hun output wordt gemixt voor distillatie, waarbij selectie gebeurt op basis van confidence.
4. Exponential Moving Average (EMA): Alle eerdere modellen worden geleidelijk bijgewerkt via EMA met het huidige model, zodat nieuwe kennis wordt geïntegreerd in de distillatieprocessen.

B. Dynamische Zelftoezicht-Learning (Dynamic Self-Supervised Learning - SSL)

Om plasticiteit te vergroten en het leren van nieuwe klassen te versnellen, wordt ongelabelde data gebruikt voor zelftoezicht.

• Doel: Het model leren om algemene features te extraheren die bruikbaar zijn voor diverse taken.
• Dynamische Weging: Een naïeve toepassing van SSL kan de prestaties op de hoofdtaken (beeldclassificatie) verslechteren. Daarom wordt een dynamische wegingsfactor $\alpha$ gebruikt:
  • $\alpha = c \cdot \omega^t$ (waarbij $t$ het taaknummer is en $\omega < 1$).
  • Hierdoor neemt de invloed van de SSL-loss af naarmate de taken vorderen, zodat de focus blijft liggen op de primaire classificatietaken, terwijl de generalisatievoordelen van SSL in de vroege fasen worden benut.

C. Totale Loss Functie

De finale loss combineert alle componenten:
$$L_{final} = (1 - 0.1 \cdot \alpha)L_{ACE} + \alpha L_{SSL} + \gamma L_{LC} + \eta L_{der} + \beta L_{featureKD} + \delta L_{logitKD}$$
Waarbij $L_{ACE}$ asynchrone cross-entropy is, $L_{LC}$ een logit-beperking is (uit XDER), en $L_{der}$ replay betreft.

3. Experimenten en Resultaten

Opzet:

• Dataset: Subset van ImageNet-1K (130 klassen: vogels, zeedieren, insecten).
• Setup: 50 opeenvolgende taken. Per taak: 500 gelabelde en 1000 ongelabelde samples.
• Beperkingen: ResNet-18, 8GB GPU-geheugen, 600 minuten tijdslimiet, buffer van slechts 200 voorbeelden.

Belangrijkste Resultaten (Tabel 1):

• Fine-tuning: 5.82% (Zware vergeten).
• Baseline: 19.54%.
• Baseline + Dynamic SSL: 23.82%.
• Baseline + MLKD: 39.82%.
• Volledige Methode (Ours): 42.00%.

Ablatie Studies:

• MLKD Componenten: Het combineren van Feature KD, EMA, Correlatie-gebaseerde Logit KD (CLKD) en Multiple Previous Models (MPM) leidt tot de beste resultaten (42.00%).
• Aantal Eerdere Modellen: 3 eerdere modellen bleken optimaal (42.00%). Meer modellen (4) leverden een lichte daling op (41.84%) door redundantie en rekentijd.
• Dynamische Weging: Zonder dynamische weging van SSL daalde de nauwkeurigheid naar 40.76%, wat aantoont dat het balanceren van SSL essentieel is.
• SSL Methode: Rotatievoorspelling (Rotation Prediction) presteerde beter dan geavanceerde contrastieve methoden (zoals SimCLR of VICReg), waarschijnlijk vanwege de beperkingen in batchgrootte en trainingstijd in de uitdaging.

4. Belangrijkste Bijdragen

1. Nieuwe Paradigma voor CIR: Effectief gebruik van ongelabelde externe data om privacyproblemen van data-opslag te omzeilen terwijl stabiliteit en plasticiteit worden behouden.
2. Multi-Level Knowledge Distillation: Een innovatieve distillatiestrategie die gebruikmaakt van Gram-matrices voor logit-correlaties en kennis combineert van meerdere eerdere modellen via EMA.
3. Dynamische SSL: Een mechanisme om zelftoezicht-taken dynamisch te wegen, zodat ze helpen bij generalisatie zonder de primaire classificatietaken te verstoren.
4. State-of-the-Art Prestatie: Bereiking van de 2e plaats in de CLVISION Challenge met een aanzienlijke verbetering ten opzichte van de baseline (+22.46%).

5. Significantie

Dit werk toont aan dat het combineren van geavanceerde distillatietechnieken met dynamisch zelftoezicht een krachtige strategie is voor continu leren in realistische, repetitieve scenario's. Het biedt een haalbare route voor modellen om te leren zonder grote hoeveelheden gelabelde historische data op te slaan, wat cruciaal is voor toepassingen met strikte privacy- en opslagbeperkingen. De methode bewijst dat externe, ongelabelde data niet slechts als "ruis" kan worden gezien, maar als een waardevolle bron om modelplastisiteit te stimuleren.