Riepilogo Tecnico: Trasferimento Adattivo dei Prior per il Riconoscimento di Azioni Basato su Scheletro (PATS)

Definizione del Problema

Sebbene i modelli di riconoscimento di azioni basati su scheletro abbiano raggiunto prestazioni elevate su benchmark generali su larga scala (ad es., NTU RGB+D), il trasferimento diretto di questi modelli verso scenari specifici di dominio e con pochi dati — in particolare nel monitoraggio sanitario (ad es., rilevamento dell'Alzheimer, rilevamento delle cadute) — spesso produce risultati subottimali. Due sfide primarie ostacolano questo trasferimento:

1. Spostamento del Dominio e Rilevanza: I compiti sanitari spesso coinvolgono sottili deviazioni del movimento clinicamente rilevanti, che sono sottorappresentate nei dataset di azioni generali. Di conseguenza, non tutti i prior di movimento preaddestrati sono ugualmente utili; mantenere componenti irrilevanti può ostacolare l'adattamento.
2. Vincoli di Efficienza: Il deployment sanitario nel mondo reale affronta spesso vincoli di risorse (dati limitati, potenza di calcolo, memoria). Il normale fine-tuning a tutti i parametri mantiene componenti ridondanti, aumentando i costi computazionali senza necessariamente migliorare le prestazioni per compiti a scopo ristretto.

Gli esistenti metodi di transfer learning si affidano tipicamente al fine-tuning completo o alla compressione generica del modello (ad es., distillazione della conoscenza, pruning dei pesi) che non valutano esplicitamente la rilevanza di specifici prior di movimento preaddestrati rispetto al compito sanitario target.

Metodologia: Il Framework PATS

Gli autori propongono il Prior-Adaptive Transfer of Skeletons (PATS), un framework unificato progettato per adattare i modelli di azioni basati su scheletro a compiti di dominio specifico, selezionando e mantenendo i prior di movimento rilevanti per il compito e filtrando quelli ridondanti. Il framework è composto da tre moduli:

1. Estrazione del Segnale dello Scheletro

I dati video grezzi vengono elaborati per estrarre sequenze di scheletri standardizzate.

• Stima della Posizione (Pose Estimation): Il framework adotta AlphaPose come stimatore predefinito per la sua robustezza nelle viste laterali e negli scenari con occlusioni rispetto a OpenPose.
• Unificazione: Gli scheletri estratti subiscono un'unificazione topologica e dimensionale, mappandoli sulla rappresentazione a 25 giunti e sulla topologia del dataset NTU RGB+D per garantire la coerenza tra i dataset.

2. Modellazione dell'Azione dello Scheletro

Un backbone basato su grafi, specificamente InfoGCN, viene impiegato per codificare la dinamica spazio-temporale. Questo backbone funge da ponte, esponendo i prior di movimento generali appresi da dataset su larga scala (come NTU RGB+D 60) per il successivo adattamento.

3. Trasferimento Adattivo dei Prior (Contributo Principale)

Questo modulo esegue un pruning e un raffinamento iterativo per comprimere il modello preservando al contempo la conoscenza rilevante per il compito. Il processo prevede due fasi principali:

• Scoring della Ridondanza:

  • Il modello è trattato come una sequenza di blocchi computazionali.
  • Per identificare i blocchi ridondanti, il framework calcola l'Errore Quadratico Medio (MSE) tra le rappresentazioni delle caratteristiche di input e output di ciascun blocco sul dataset di addestramento del dominio target ($D_t$).
  • Un blocco con un MSE basso indica che il suo output è quasi identico al suo input (agendo come una mappatura identità) sotto la distribuzione target, suggerendo che contribuisce minimamente al compito specifico.
  • Il blocco con l'MSE più basso ($k^*$) viene identificato come ridondante e rimosso (pruned).

• Fine-Tuning Compensativo:

  • Il pruning può perturbare la distribuzione delle caratteristiche apprese. Per recuperare le prestazioni, il modello con pruning subisce un fine-tuning.
  • Strategie: Gli autori valutano due strategie: il Fine-Tuning di Tutti i Parametri (FFT) per la massima accuratezza e LoRA (Low-Rank Adaptation) per l'efficienza dei parametri, adatto per il deployment su dispositivi edge.
  • Loss di Allineamento: Per stabilizzare ulteriormente il modello con pruning rispetto al modello originale non ridotto ($M_0$), vengono introdotte durante il fine-tuning due loss aggiuntive:
    1. Allineamento Inter-blocco ($L_e$): Allinea le caratteristiche di output dei blocchi del modello con pruning con i corrispondenti blocchi nel modello non ridotto.
    2. Allineamento a Livello di Azione ($L_{KL}$): Utilizza la divergenza di Kullback–Leibler (KL) per allineare i logit di predizione della classe del modello con pruning con quelli del modello non ridotto.
  • La funzione di perdita totale è $L = L_{AR} + L_e + L_{KL}$, dove $L_{AR}$ è la standard loss di riconoscimento delle azioni.

Contributi Chiave

1. Framework PATS: Un nuovo framework per adattare i modelli di azione scheletrica a scenari di dominio specifico con pochi dati, combinando il transfer learning con la selezione dei prior.
2. Strategia di Trasferimento Adattivo dei Prior: Un meccanismo che utilizza il pruning dei blocchi consapevole della ridondanza (basato sulla discrepanza tra input e output delle caratteristiche) e l'adattamento compensativo per rimuovere i prior irrilevanti per il compito preservando quelli utili.
3. Validazione Empirica: Esperimenti estesi che dimostrano come il trasferimento selettivo dei prior migliori sia l'accuratezza che l'efficienza rispetto al fine-tuning standard e ad altri baseline di compressione.

Risultati Sperimentali

Gli autori hanno valutato PATS su due compiti sanitari:

• Rilevamento dell'Alzheimer: Utilizzando il dataset EHE (6 categorie di esercizi mattutini).
• Rilevamento delle Cadute: Utilizzando il dataset UP-Fall (11 classi, inclusi cadute e attività quotidiane).

Risultati Chiave:

• Prestazioni: I modelli addestrati da zero hanno ottenuto prestazioni scarse. I modelli pre-addestrati con fine-tuning completo (FFT) hanno performato bene, ma PATS (FFT) ha costantemente ottenuto i risultati migliori, superando spesso il baseline non compresso. Ad esempio, sul dataset EHE, PATS (FFT) con 1 blocco rimosso ha raggiunto un'accuratezza dell'85,52% (Fold 1), superando il baseline non compresso (84,14%).
• Efficienza: La strategia di pruning ha ridotto i parametri del modello di circa il 30% e migliorato la latenza di inferenza di circa il 10%.
• Confronto: PATS ha superato altri baseline di compressione, inclusi la distillazione del modello e il pruning dei pesi (L1-norm), che hanno degradato le prestazioni rispetto al modello non compresso.
• Studi di Ablazione:
  • È stato dimostrato che sia l'allineamento inter-blocco ($L_e$) che l'allineamento a livello di azione ($L_{KL}$) sono critici per recuperare le prestazioni dopo il pruning.
  • La metrica MSE per lo scoring della ridondanza è stata validata; rimuovere il blocco con il MSE più basso (Blocco 8 negli esperimenti UP-Fall) ha prodotto l'accuratezza migliore, confermando l'efficacia della metrica.

Significato e Rivendicazioni

L'articolo sostiene che PATS affronti una lacuna critica nel deployment del riconoscimento di azioni basato su scheletro in contesti sanitari reali. Passando dal semplice fine-tuning al trasferimento selettivo dei prior, il framework consente ai modelli di generalizzare efficacemente in domini con pochi dati, migliorando contemporaneamente l'efficienza computazionale.

Gli autori sottolineano che questo approccio consente il deployment di sistemi di riconoscimento delle azioni robusti su dispositivi con risorse limitate (ad es., edge computing in contesti comunitari) senza sacrificare l'accuratezza diagnostica richiesta per applicazioni cliniche come il monitoraggio dell'Alzheimer o il rilevamento delle cadute. Il lavoro suggerisce che "meno è meglio" nel transfer learning: rimuovere i prior generali ridondanti può effettivamente migliorare le prestazioni specifiche del compito.