Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning

Probleemstelling

Class-Incremental Learning (CIL) heeft als doel een model continu te trainen op een stroom van nieuwe taken (klassen) zonder toegang tot eerdere data, terwijl het de kennis van eerder geleerde taken behoudt. Hoewel Pre-trained Models (PTMs), zoals Vision Transformers (ViT), veelbelovende resultaten laten zien in CIL, kampen ze met een fundamenteel probleem: verstrengeling van subruimtes (subspace entanglement).

Wanneer nieuwe taken worden geleerd, overlappen hun kenmerkruimtes vaak met die van oude taken. Bestaande methoden, zoals prompt-based of adapter-based benaderingen, vertrouwen vaak op simpele gelijkenismetingen of heuristieken voor taakrouting. Dit leidt tot:

1. Catastrofale vergetelheid: Nieuwe kennis overschrijft oude kennis.
2. Vooroordeel in voorspellingen: Het model kan moeilijk onderscheid maken tussen taken wanneer de taakidentiteit tijdens inferentie onbekend is (task-agnostic setting).
3. Gebrek aan interactie: Er is geen expliciet mechanisme om te bepalen hoe historische taken kennis moeten delen met nieuwe taken.

Methodologie: QKD Framework

De auteurs stellen Quantum-Gated Task-interaction Knowledge Distillation (QKD) voor. Dit framework combineert PTM's met kwantummachinelearning (QML) om dynamisch de relevantie tussen een invoermonster en eerdere taken te kwantificeren.

Het systeem bestaat uit drie kerncomponenten:

1. Quantum-Gated Task Modulation (QGTM)

In plaats van lineaire gelijkenis te gebruiken, gebruikt QGTM een geparametriseerde kwantumcircuit om de geometrische wederzijdse informatie tussen een sample en eerdere taak-embeddings te meten.

• Taak-embeddings: Voor elke oude taak worden de adapter-parameters gereduceerd via Truncated SVD (Singular Value Decomposition) tot een compacte representatie.
• Kwantumcodering: De sample-features en de taak-embeddings worden gemap naar een hoge-dimensionale Hilbert-ruimte via een kwantumcircuit. Dit omvat:
  • Data-encoding: Rotatie van qubits op basis van de input.
  • Variational parameters: Leerbaar parameters voor aanpassing.
  • Entanglement: CNOT-poorten om complexe afhankelijkheden tussen qubits te creëren.
• Relevantiemeting: De "fidelity" (overlapping) tussen de kwantumtoestand van het sample en die van elke historische taak wordt gemeten. Dit levert een sample-to-task relevantiecoëfficiënt op ($\alpha_i$), die aangeeft hoeveel kennis van taak $i$ relevant is voor het huidige monster.
• Sparsiteitsregularisatie: Een $L_1$-straf wordt toegepast om ervoor te zorgen dat het model zich concentreert op de meest relevante taken en ruis van irrelevante taken onderdrukt.

2. Task-Interaction Knowledge Distillation (TIKD)

De berekende relevantiecoëfficiënten ($\alpha_i$) worden gebruikt als gewichten voor kennisdistillatie.

• In plaats van alleen te vertrouwen op logits, wordt een correlatie-gewogen feature distillatie toegepast.
• De nieuwe adapter wordt getraind om kennis te absorberen van historische adapters die een hoge relevantie-score hebben, terwijl kennis van ongerelateerde adapters wordt onderdrukt.
• Dit creëert een selectief leerproces dat de kloof tussen onafhankelijke taaksubruimtes overbrugt.

3. Optimale Doelstelling

De totale loss-functie combineert:

• Classificatieverlies ($L_{CE}$): Voor het leren van de nieuwe taken.
• Kwantum-gestuurde distillatieverlies ($L_{QKD}$): Gereguleerd door de kwantum-relevantiescores.
• Sparsiteitsregularisatie ($L_s$): Om de focus te houden op de belangrijkste taken.

Tijdens inferentie worden dezelfde kwantum-gaten gebruikt om adapters adaptief te fuseren of te selecteren, zelfs zonder dat de taakidentiteit bekend is.

Belangrijkste Bijdragen

1. Eerste Kwantum-Routing Framework voor CIL: Het paper introduceert het eerste framework dat kwantumcomputing gebruikt voor routing in class-incremental learning. Het benut kwantum-superpositie en interferentie om complexe, niet-lineaire afhankelijkheden tussen taken compact te coderen.
2. Relevantie-Gestuurde Distillatie: Een nieuwe strategie die kennis selectief overdraagt van gerelateerde historische adapters naar nieuwe adapters, gebaseerd op dynamisch berekende kwantum-correlaties.
3. State-of-the-Art Prestaties: QKD bereikt de beste resultaten op vijf verschillende benchmarks zonder gebruik te maken van exemplaren (exemplar-free), wat betekent dat er geen oude data hoeft te worden opgeslagen.

Resultaten

De methode is geëvalueerd op vijf benchmarks: CIFAR-100, CUB-200, ImageNet-A, ImageNet-R en VTAB.

• Prestaties: QKD overtreft consistent bestaande SOTA-methoden (zoals L2P, DualPrompt, CODA-Prompt, MoTE) in zowel gemiddelde incremental accuracy (A) als finale accuracy (AB).
  • Voorbeeld: Op CIFAR-100 (B0-Inc10) bereikt QKD 94.08% (A) en 90.20% (AB), wat een verbetering is van +1.02 en +1.22 ten opzichte van de tweede beste methode.
  • Op VTAB bereikt het een verbetering van +2.25% in finale accuracy.
• Vergelijking met Exemplar-based methoden: Zelfs vergeleken met methoden die 20 exemplaren per klas opslaan, presteert QKD (dat geen exemplaren opslaat) aanzienlijk beter.
• Ablatie Studies:
  • Het verwijderen van de kwantumcircuit (vervanging door cosine similarity of MLP) leidt tot een significante daling in prestaties, wat aantoont dat de kwantumgating essentieel is voor het modelleren van complexe taakinteracties.
  • Alle drie de componenten (QGTM, TIKD, sparsiteitsregularisatie) dragen positief bij aan de totale prestatie.
• Efficiëntie: Hoewel de inferentielatentie iets hoger is door de kwantumcircuit, is het aantal trainbare parameters en het geheugengebruik vergelijkbaar met klassieke methoden. De extra rekentijd weegt op tegen de aanzienlijke prestatiewinst.

Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen kwantummachinelearning en continu leren. Het lost het probleem van taakverstrengeling op door een expliciet, leerbaar mechanisme te bieden voor het bepalen van taakrelevantie. In plaats van te vertrouwen op statische heuristieken, gebruikt QKD de geometrische expressiviteit van de Hilbert-ruimte om dynamisch te beslissen welke historische kennis nuttig is voor een nieuw monster.

De resultaten tonen aan dat kwantumgebaseerde routing niet alleen theoretisch interessant is, maar ook praktisch superieure resultaten oplevert in real-world scenario's waar geheugen beperkt is en taken complex met elkaar verweven zijn. Dit opent nieuwe wegen voor robuust en schaalbaar continu leren in pre-trained modellen.