Technische Samenvatting: Prior-Adaptive Transfer voor Skeleton-gebaseerde Actieherkenning (PATS)

Probleemstelling

Hoewel skeleton-gebaseerde actieherkenningsmodellen sterke prestaties hebben behaald op grootschalige algemene benchmarks (bijv. NTU RGB+D), levert het direct overdragen van deze modellen naar domeinspecifieke scenario's met weinig data — met name in de gezondheidszorg (bijv. detectie van Alzheimer, valdetectie) — vaak suboptimale resultaten op. Twee primaire uitdagingen belemmeren deze transfer:

1. Domeinverschuiving en Relevantie: Taken in de gezondheidszorg gaan vaak over subtiele, klinisch relevante bewegingsafwijkingen die ondervertegenwoordigd zijn in algemene actiedatasets. Bijgevolg zijn niet alle vooraf getrainde bewegingspriors even nuttig; het behouden van irrelevante componenten kan de adaptatie hinderen.
2. Efficiëntiebeperkingen: Implementatie in de echte wereld binnen de gezondheidszorg wordt vaak geconfronteerd met middelenbeperkingen (beperkte data, rekenkracht en opslag). Standaard volledige parameter-fine-tuning behoudt redundante componenten, wat de computationele kosten verhoogt zonder noodzakelijkerwijs de prestaties voor nauwe taken te verbeteren.

Bestaande transfer learning-methoden vertrouwen doorgaans op volledige fine-tuning of generieke modelcompressie (bijv. kennisdistillatie, weight pruning) die niet expliciet de relevantie van specifieke vooraf getrainde bewegingspriors voor de doelgerichte taak in de gezondheidszorg beoordeelt.

Methodologie: Het PATS-framework

De auteurs stellen Prior-Adaptive Transfer of Skeletons (PATS) voor, een verenigd framework dat ontworpen is om algemene skeleton-gebaseerde modellen aan te passen aan domeinspecifieke taken door selectief relevante bewegingspriors te behouden en redundante te filteren. Het framework bestaat uit drie modules:

1. Skeleton Signaalextractie

Ruwe videodata wordt verwerkt om gestandaardiseerde skeleton-sequenties te extraheren.

• Pose Estimatie: Het framework gebruikt AlphaPose als de standaard estimator vanwege de robuustheid in laterale aanzichten en scenario's met occlusie vergeleken met OpenPose.
• Unificatie: Geëxtraheerde skeletons ondergaan topologische en dimensionale unificatie, waarbij ze worden toegewezen aan de 25-joint representatie en topologie van de NTU RGB+D dataset om consistentie tussen datasets te waarborgen.

2. Skeleton Actiemodellering

Een graaf-gebaseerde backbone, specif specifiek InfoGCN, wordt ingezet om spatio-temporele dynamiek te coderen. Deze backbone dient als een brug die algemene bewegingspriors die geleerd zijn van grootschalige datasets (zoals NTU RGB+D 60) blootlegt voor daaropvolgende adaptatie.

3. Adaptieve Prior Transfer (Kernbijdrage)

Deze module voert iteratieve pruning en verfijning uit om het model te comprimeren terwijl de taakrelevante kennis behouden blijft. Het proces omvat twee hoofstappen:

• Redundantie Scoring:

  • Het model wordt behandeld als een sequentie van computationele blokken.
  • Om redundante blokken te identificeren, berekent het framework de Mean Squared Error (MSE) tussen de input- en output-featurerepresentaties van elk blok op de target-domein trainingsset ($D_t$).
  • Een blok met een lage MSE geeft aan dat de output bijna identiek is aan de input (als een identity mapping) onder de target-distributie, wat suggereert dat het minimaal bijdraagt aan de specifieke taak.
  • Het blok met de laagste MSE ($k^*$) wordt geïdentificeerd als redundant en gepruned.

• Compensatoire Fine-Tuning:

  • Pruning kan de geleerde feature-distributie verstoren. Om de prestaties te herstellen, ondergaat het geprunede model fine-tuning.
  • Strategieën: De auteurs evalueren twee strategieën: Full-Parameter Fine-Tuning (FFT) voor maximale nauwkeurigheid en LoRA (Low-Rank Adaptation) voor parameterefficiëntie, geschikt voor edge-implementaties.
  • Alignment Losses: Om het geprunede model verder te stabiliseren tegen het oorspronkelijke ongepruneerde model ($M_0$), worden twee aanvullende verliesfuncties geïntroduceerd tijdens de fine-tuning:
    1. Inter-block Model Alignment ($L_e$): Stemt de output-features van de blokken van het geprunede model af met de overeenkomstige blokken in het ongepruneerde model.
    2. Action-level Alignment ($L_{KL}$): Gebruikt de Kullback–Leibler (KL) divergentie om de class prediction logits van het geprunede model af te stemmen met die van het ongepruneerde model.
  • De totale verliesfunctie is $L = L_{AR} + L_e + L_{KL}$, waarbij $L_{AR}$ de standaard actieherkenningsverlies is.

Belangrijkste Bijdragen

1. PATS Framework: Een nieuw framework voor het aanpassen van skeleton actie-modellen aan scenario's met weinig data en specifieke domeinen door transfer learning te combineren met selectieve prior-retentie.
2. Adaptieve Prior Transfer Strategie: Een mechanisme dat gebruikmaakt van redundantie-bewuste block pruning (gebaseerd op de input-output feature discrepantie) en compensatoire adaptatie om taak-irrelevante priors te verwijderen terwijl nuttige priors behouden blijven.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat het selectief overdragen van priors zowel de nauwkeurigheid als de efficiëntie verbetert in vergelijking met standaard fine-tuning en andere compressie-baselines.

Experimentele Resultaten

De auteurs evalueerden PATS op twee taken in de gezondheidszorg:

• Alzheimer's Detectie: Gebruikmakend van de EHE dataset (6 categorieën ochtendoefeningen).
• Valdetectie: Gebruikmakend van de UP-Fall dataset (11 klassen inclusief vallen en dagelijkse activiteiten).

Belangrijkste Bevindingen:

• Prestaties: Modellen die vanaf nul zijn getraind presteerden slecht. Pretrained modellen met volledige fine-tuning (FFT) presteerden goed, maar PATS (FFT) behaalde consequent de beste resultaten, en presteerde vaak beter dan de ongecomprimeerde baseline. Bijvoorbeeld, op de EHE dataset behaalde PATS (FFT) met 1 gepruned blok een nauwkeurigheid van 85,52% (Fold 1), waarmee het de ongecomprimeerde baseline (84,14%) overtrof.
• Efficiëntie: De pruning-strategie verminderde het aantal parameters van het model met ongeveer 30% en verbeterde de inferentie-latentie met ongeveer 10%.
• Vergelijking: PATS presteerde beter dan andere compressie-baselines, waaronder modeldistillatie en weight pruning (L1-norm), die de prestaties verslechterden ten opzichte van het ongecomprimeerde model.
• Ablatie-studies:
  • Zowel de inter-block alignment ($L_e$) als de action-level alignment ($L_{KL}$) bleken cruciaal voor het herstellen van de prestaties na pruning.
  • De MSE-metriek voor redundantie-scoring werd gevalideerd; het verwijderen van het blok met de laagste MSE (Blok 8 in de UP-Fall experimenten) leverde de beste nauwkeurigheid op, wat de effectiviteit van de metriek bevestigt.

Betekenis en Claims

Het artikel claimt dat PATS een kritiek gat dicht bij de implementatie van skeleton-gebaseerde actieherkenning in echte zorgomgevingen. Door verder te gaan dan eenvoudige fine-tuning naar selectieve prior transfer, stelt het framework modellen in staat om effectief te generaliseren in domeinen met weinig data, terwijl het tegelijkertijd de computationele efficiëntie verbetert.

De auteurs benadrukken dat deze aanpak de implementatie van robuuste actieherkenningssystemen op middelenbeperkte apparaten (bijv. edge computing in gemeenschapsettingen) mogelijk maakt zonder de diagnostische nauwkeurigheid op te offeren die vereist is voor klinische toepassingen zoals Alzheimer-monitoring of valdetectie. Het werk suggereert dat "minder meer is" in transfer learning: het verwijderen van redundante algemene priors kan de taakspecifieke prestaties zelfs verbeteren.