GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition

Hier volgt een gedetailleerde technische samenvatting van het artikel "GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition."

1. Probleemstelling

Gangerkenning is een veelbelovende biometrische modus voor identificatie op lange afstand en zonder contact. Er bestaat echter een aanzienlijk compromis bij praktische implementatie:

• Hogeprestatiemodellen: State-of-the-art modellen vertrouwen vaak op diepe architecturen (bijv. 3D CNN's, Transformers) en complexe temporele modellering om variaties in gezichtshoek, kleding en draagomstandigheden te verwerken. Deze modellen zijn rekenkundig duur en moeilijk te implementeren op randapparatuur.
• Lichtgewichtmodellen: Efficiënte modellen die geschikt zijn voor implementatie, lijden vaak onder verminderde nauwkeurigheid, vooral in onbeperkte omgevingen.
• De Distillatie-uitdaging: Standaard Kennisdistillatie (KD) is vaak inefficiënt voor gangerkenning omdat moderne gangmodellen gedeelte-gestructureerd zijn. Ze produceren twee distincte soorten output:
  1. Part-wise classificatie-logits (voor identiteitsvoorspelling).
  2. Part-wise retrieval-embeddings (voor metrisch leren/retrieval).
     Standaard KD-methoden regresseren ofwel direct features (wat faalt wanneer leraar- en studentarchitecturen heterogeen zijn) of distilleren alleen logits (wat faalt om de discriminerende structuur van de embeddingruimte vast te leggen).

2. Methodologie: GaitKD

De auteurs stellen GaitKD voor, een universeel distillatiekader dat specifiek is ontworpen voor heterogene, gedeelte-gestructureerde gangmodellen. De kerninnovatie is het ontkoppelen van de kennisoverdracht in twee complementaire componenten: Decision-Level Distillation en Boundary-Level Distillation.

A. Gedeelde Part-wise Distillatieruimte

Om heterogene modellen te verwerken (bijv. een Transformer-leraar versus een CNN-student) die mogelijk een verschillend aantal lichaamsdelen ($P$) hebben, aligneert GaitKD de output naar een gemeenschappelijke part-dimensie $P = \min(P_{leraar}, P_{student})$. Dit maakt distillatie mogelijk zonder de backbone-architecturen te wijzigen of inferentie-overhead in te voeren.

B. Decision-Level Distillation (Logit-overdracht)

Deze component draagt de inter-class beslissingsrelaties van de leraar over naar de student.

• Mechanisme: Het aligneert de verzachte part-wise class-verdelingen met behulp van een temperatuur-geschaalde KL-divergentie.
• Part-calibratie: Het verlies wordt genormaliseerd door het aantal delen om ervoor te zorgen dat elk lichaamsdeel evenveel bijdraagt aan de gradiënt, waardoor delen met meer features niet de overhand krijgen.
• Doel: De student leert de relatieve zekerheid van de leraar en de beslissingsgrenzen tussen verschillende identiteiten, niet alleen de harde labels.

C. Boundary-Level Distillation (Embedding-overdracht)

Deze component draagt de discriminerende structuur van de embeddingruimte over zonder de student te dwingen exacte featurewaarden te reproduceren (wat moeilijk is bij heterogene architecturen).

• Mechanisme: In plaats van Mean Squared Error (MSE) regressie, maakt GaitKD gebruik van een Activation-Boundary Objective.
• Concept: Het identificeert het "teken" (positief of negatief) van de coördinaten van de leraar-embedding ten opzichte van nul. De student wordt bestraft als zijn embedding-coördinaten de door de leraar opgelegde grenzen schenden (d.w.z. als de feature van de leraar positief is, moet die van de student groter zijn dan een marge $m$; als negatief, kleiner dan $-m$).
• Doel: Dit behoudt de verdeling van de embeddingruimte (hoe identiteiten gescheiden zijn) in plaats van de exacte coördinatenwaarden, waardoor het robuust is tegen architecturale mismatches.

D. Unificerend Doel

De totale verliesfunctie combineert de basis-taakverlies van de student (Cross-Entropy + Triplet Loss) met de twee distillatietermen:
$$\mathcal{L} = \mathcal{L}_{task} + \lambda_{logit}\mathcal{L}_{KL} + \lambda_{bound}\mathcal{L}_{AB}$$
Het kader ondersteunt Multi-Teacher Distillatie, waarbij signalen van meerdere heterogene leraren (bijv. verschillende backbones of modaliteiten) worden geaggregeerd via confidence-gewogen ensemble-methoden.

3. Belangrijkste Bijdragen

1. Structureel Inzicht: Geïdentificeerd dat standaard KD faalt voor gedeelte-gestructureerde gangmodellen omdat kennis verdeeld is over zowel logit-relaties als partities in de embeddingruimte, wat een ongekoppelde aanpak vereist.
2. Nieuw Kader (GaitKD): Voorstellen van een kader dat overdracht ontkoppelt in:
   • Decision-Level: Part-gecalibreerde logit-distillatie.
   • Boundary-Level: Activation-boundary distillatie (behoud van scheidingsgrenzen in plaats van regressie van features).
3. Universaliteit & Efficiëntie: De methode werkt met heterogene leraar-studentparen, vereist geen aanpassing van de backbone en introduceert geen extra inferentiekosten (de leraar wordt na training verworpen).
4. Complementariteit: Aangetoond dat decision-level en boundary-level overdracht complementair zijn; het gebruik van beide levert betere resultaten op dan elk apart.

4. Experimentele Resultaten

De auteurs hebben GaitKD geëvalueerd op drie belangrijke benchmarks: Gait3D (in-the-wild), CCPG (kledingwisselend) en SUSTech1K (3D LiDAR).

• Single-Teacher Distillatie:
  • Gebruik van GaitBase (lichtgewicht) als student en modellen met hoge capaciteit (DeepGaitV2, SkeletonGait++, SwinGait) als leraren.
  • Gait3D: Verbetering van Rank-1 van 61,5% (baseline) naar 63,3% (DeepGaitV2 leraar) en tot 65,8% met multi-teacher instellingen.
  • CCPG: Verbetering van de gemiddelde nauwkeurigheid van 88,2% naar 91,9% (DeepGaitV2 leraar).
  • SUSTech1K: Consistente verbeteringen in Rank-1 en Rank-5 over verschillende leraar-architecturen.
• Multi-Teacher Distillatie:
  • Het combineren van heterogene leraren (bijv. DeepGaitV2 + SwinGait) bood complementaire supervisie en presteerde beter dan simpele gemiddelde baselines (Mean-Teacher).
  • Op Gait3D bereikte de multi-teacher GaitKD 65,8% Rank-1, wat 33,3% van het prestatiekloof tussen de lichtgewicht student en de sterkste leraar herstelde.
• Ablatiestudies:
  • Bevestigd dat Boundary-Level Distillatie stabieler en effectiever is dan directe feature-regressie (MSE) voor heterogene paren.
  • Aangetoond dat het combineren van zowel logit- als boundary-overdracht de beste prestaties oplevert, wat hun complementaire aard valideert.
• Featurevisualisatie: t-SNE-plotten toonden aan dat GaitKD leidt tot strakkere intra-class clustering en duidelijkere inter-class scheiding in vergelijking met de baseline, met name in ambiguie gebieden.

5. Betekenis

• Praktische Implementatie: GaitKD biedt een praktische oplossing voor het implementeren van hoogpresterende gangerkenning op apparaten met beperkte middelen door het nauwkeurigheidskloof tussen zware trainingsmodellen en lichtgewicht inferentiemodellen te verkleinen, zonder runtime-overhead.
• Methodologische Vooruitgang: Het daagt het standaard "feature-regressie"-paradigma in KD voor retrieval-taken uit, en stelt voor dat het behoud van de topologie/grens van de embeddingruimte kritischer is dan het matchen van exacte featurewaarden, vooral wanneer architecturen verschillen.
• Generaliseerbaarheid: Het kader is niet beperkt tot gang; de ontwerpprincipes (ontkoppelen van beslissingsrelaties van embeddinggrenzen) bieden een nieuwe richting voor het distilleren van gedeelte-gestructureerde modellen in andere biometrische of op retrieval gebaseerde computer vision-taken.