Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

Il paper introduce S2I (Skeleton-to-Image Encoding), un nuovo metodo che trasforma le sequenze scheletriche in dati simili a immagini per sfruttare modelli di visione pre-addestrati su larga scala, permettendo così un apprendimento di rappresentazione auto-supervisionato efficace e generalizzabile per l'analisi dello scheletro umano.

L'essenziale

🦴 Da "Ossa" a "Quadro": Come insegnare all'AI a vedere i movimenti umani

Immagina di voler insegnare a un pittore (un'intelligenza artificiale) a riconoscere le azioni umane, come ballare o correre. Fino a poco tempo fa, c'era un grosso problema di comunicazione.

1. Il Problema: Due lingue diverse

• L'AI "Visionaria": Le intelligenze artificiali più potenti oggi (quelle che guardano milioni di foto su internet) sono come pittori esperti. Sono state addestrate su immagini piene di colori, dettagli e texture (fotografie reali). Capiscono perfettamente un quadro.
• I Dati "Scheletrici": I dati che usiamo per analizzare il movimento umano sono invece come disegni a matita su un foglio bianco. Sono solo una serie di punti (le articolazioni) collegati da linee. Non hanno colore, non hanno sfondo, sono "spogli".

Fino ad oggi, per far capire questi disegni a matita ai pittori esperti, gli scienziati dovevano costruire macchine complicatissime e specifiche solo per i disegni. Era come cercare di far parlare un pittore che conosce solo l'olio con un disegnatore che usa solo la matita: serviva un traduttore complesso e spesso non funzionava bene se il disegno cambiava stile (ad esempio, se un disegnatore usava 20 punti e un altro 25).

2. La Soluzione: S2I (Da Scheletro a Immagine)

Gli autori di questo studio hanno avuto un'idea geniale: "Perché non trasformare il disegno a matita in un quadro a colori, così il pittore esperto può capirlo subito?"

Hanno creato un metodo chiamato S2I (Skeleton-to-Image Encoding). Ecco come funziona, passo dopo passo, con un'analogia culinaria:

• L'Ingrediente (Lo Scheletro): Hai un movimento umano fatto di 25 "punti" (ginocchia, gomiti, testa, ecc.) che si muovono nel tempo.
• La Preparazione (S2I):
  1. Dividi il corpo: Immagina di tagliare il corpo umano in 5 pezzi logici: busto, braccio sinistro, braccio destro, gamba sinistra, gamba destra.
  2. Ordina gli ingredienti: Metti questi pezzi in fila, come se stessi preparando gli ingredienti per una ricetta, dall'alto verso il basso.
  3. Crea il "Quadro": Prendi le coordinate 3D di questi punti (dove sono nello spazio) e assegnale ai colori Rosso, Verde e Blu (RGB).
     • La coordinata X diventa il Rosso.
     • La coordinata Y diventa il Verde.
     • La coordinata Z diventa il Blu.
  4. Il Risultato: Invece di una lista di numeri, ottieni un'immagine strana ma colorata. È come se il movimento fosse stato "fotografato" e trasformato in un'opera d'arte astratta dove i colori rappresentano la posizione delle ossa.

3. Perché è una Rivoluzione?

Ora che lo scheletro è diventato un'immagine (anche se un po' strana), possiamo usare i pittori esperti (i modelli di intelligenza artificiale già addestrati su milioni di foto reali) per analizzarlo.

• Niente più addestramento da zero: Non serve più insegnare all'AI da capo come riconoscere un gomito. L'AI sa già cosa sono le forme e i movimenti perché ha visto milioni di foto. Basta dargli il nostro "quadro scheletrico" e lei capisce subito: "Ah, questo è un salto!".
• Un linguaggio universale: Prima, se un dataset usava 20 punti e un altro 25, dovevi fare calcoli complessi per allinearli. Con S2I, non importa quanti punti ci sono: li trasformi tutti in un'immagine di dimensioni standard (224x224 pixel). È come se tutti gli artisti, indipendentemente dal loro stile, dovessero dipingere su una tela delle stesse dimensioni. L'AI vede solo la tela, non si preoccupa di quanti punti ha usato l'artista.

4. I Risultati: Funziona davvero?

Gli scienziati hanno fatto degli esperimenti su tantissimi dataset di movimenti umani.

• Hanno preso un'AI addestrata su foto di gatti e cani (ImageNet).
• Hanno usato il loro metodo S2I per trasformare i dati degli scheletri in immagini.
• Risultato: L'AI ha imparato a riconoscere i movimenti umani meglio di quasi tutti i metodi precedenti, anche quando i dati venivano da fonti diverse (persone diverse, telecamere diverse, numero di punti diverso).

In sintesi

Immagina di voler far leggere un libro scritto in un dialetto antico a un bambino moderno. Invece di insegnare al bambino il dialetto (che è difficile), hai semplicemente tradotto il libro in italiano moderno.

Questo paper fa esattamente questo: prende i dati "spogli" e difficili degli scheletri umani e li traduce nel "linguaggio" delle immagini, permettendo alle intelligenze artificiali più potenti del mondo di capire i nostri movimenti con facilità, precisione e senza bisogno di costruire macchine nuove da zero. È un ponte semplice ma geniale tra due mondi che prima non parlavano la stessa lingua.

Sommario tecnico

1. Il Problema

L'articolo affronta le sfide fondamentali nell'applicazione dei modelli di visione artificiale su larga scala (pre-addestrati su immagini, come ViT, MAE, VLM) ai dati dello scheletro umano 3D. Le principali difficoltà identificate sono:

• Differenze nel formato dei dati: I modelli di visione sono progettati per dati densi e strutturati come immagini (es. $3 \times 224 \times 224$), mentre i dati scheletrici sono sparsi, sequenziali e strutturati come coordinate 3D di giunture ($T \times J \times 3$).
• Scarsità di dati: Esiste una carenza di grandi dataset annotati di scheletri rispetto ai dataset di immagini, rendendo difficile l'addestramento di modelli specifici da zero.
• Eterogeneità dei formati: I dataset esistenti utilizzano configurazioni di giunture diverse (es. 13, 20 o 25 giunture) e sistemi di coordinate differenti. I metodi attuali sono spesso progettati per un formato specifico, limitando la scalabilità e la capacità di generalizzazione in scenari "cross-format".
• Incompatibilità architetturale: Applicare direttamente modelli pre-addestrati su immagini ai dati scheletrici richiede modifiche architetturali complesse o non è possibile senza una trasformazione preliminare.

2. Metodologia: Skeleton-to-Image Encoding (S2I)

La proposta centrale del lavoro è S2I (Skeleton-to-Image Encoding), una nuova rappresentazione che trasforma le sequenze di scheletri in dati simili a immagini, rendendoli compatibili con i modelli di visione pre-addestrati senza modificare l'architettura del modello.

Il processo di codifica S2I avviene in tre fasi principali:

1. Partizionamento Semantico: Lo scheletro viene diviso in cinque parti semantiche del corpo: tronco, braccio sinistro, braccio destro, gamba sinistra e gamba destra.
2. Ordinamento e Riorganizzazione: All'interno di ogni parte, le giunture vengono riordinate seguendo la catena cinematica (es. dal busto verso l'estremità). Le coordinate 3D $(x, y, z)$ di ogni giuntura vengono mappate direttamente sui canali RGB di un'immagine.
3. Stacking Temporale e Ridimensionamento: Le posizioni 3D di tutte le giunture attraverso $T$ frame vengono impilate per formare una mappa di caratteristiche spaziotemporali. Infine, questa rappresentazione viene ridimensionata tramite interpolazione lineare alla dimensione standard di input dei modelli di visione (es. $224 \times 224$).

Addestramento e Modelli:

• Il metodo utilizza modelli di visione pre-addestrati su ImageNet, in particolare MAE (Masked Autoencoders) e DiffMAE.
• Fase 1 (Pre-addestramento Self-Supervised): Viene applicata la strategia di "masked modeling" sulle immagini generate da S2I. Il modello impara a ricostruire le patch mascherate (o a denoising nel caso di DiffMAE), trasferendo la conoscenza visiva al dominio scheletrico.
• Fase 2 (Valutazione Downstream): Gli encoder pre-addestrati vengono valutati su compiti di riconoscimento delle azioni umane tramite linear probing (classificatore lineare congelato) o fine-tuning completo.
• Strategie di Mascheramento: Vengono esplorate diverse strategie (Random, Block, Joint, Temporal), con la Random Masking al 75% che ha mostrato le migliori prestazioni.

3. Contributi Chiave

1. Nuova Pipeline S2I: Introduzione di un metodo che colma il divario modale tra immagini e sequenze scheletriche, permettendo l'uso diretto di potenti modelli di visione pre-addestrati per l'apprendimento di rappresentazioni scheletriche.
2. Rappresentazione Unificata e Agnostica al Formato: S2I offre un formato di input coerente che gestisce nativamente dati eterogenei (diverso numero di giunture, diversi sistemi di coordinate) senza richiedere allineamento manuale delle giunture o architetture specifiche per dataset.
3. Apprendimento Universale e Cross-Format: Il lavoro è il primo a esplorare l'apprendimento di rappresentazioni su larga scala combinando dataset eterogenei (NTU-60, NTU-120, PKU-MMD, Toyota, NW-UCLA) in un unico framework di pre-addestramento, dimostrando una generalizzazione superiore in scenari di trasferimento tra formati diversi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque dataset di riferimento (NTU-60, NTU-120, PKU-MMD, NW-UCLA, Toyota).

• Prestazioni Competitive: Il metodo S2I, utilizzando modelli pre-addestrati su immagini, raggiunge prestazioni competitive rispetto agli stati dell'arte (SOTA) specifici per scheletri, ottenendo risultati di punta in scenari di fine-tuning e linear probing. Ad esempio, su NTU-60 (C-sub), S2I raggiunge l'83.1% (linear probe) e il 91.0% (fine-tuning).
• Fusione Multi-Stream: Integrando le modalità di giunture, ossa e movimento (3s-S2I), le prestazioni migliorano ulteriormente, raggiungendo il 93.1% su NTU-60 (C-sub) in fine-tuning.
• Trasferimento Cross-Format: In scenari dove il modello è pre-addestrato su un dataset (es. NTU-60, 25 giunture) e testato su un altro con formato diverso (es. Toyota, 13 giunture), S2I supera significativamente i metodi esistenti che richiedono downsampling o selezione di giunture comuni.
• Pre-addestramento Universale: L'addestramento congiunto su dataset multipli eterogenei ha portato a guadagni sostanziali nelle prestazioni di generalizzazione, specialmente su dataset target come PKU-MMD II (+5.3% rispetto al pre-addestramento singolo).
• Apprendimento Semi-Supervisionato: Il metodo dimostra alta efficienza anche con pochi dati etichettati (1% e 10%), superando i metodi basati su contrasto o colorazione.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nell'analisi delle azioni umane basata sullo scheletro:

• Democratizzazione dell'uso dei Large Models: Permette di sfruttare la conoscenza ricca e trasferibile dei modelli di visione su larga scala (pre-addestrati su milioni di immagini) per il dominio degli scheletri, superando il problema della scarsità di dati.
• Unificazione dei Dati: Risolve il problema dell'eterogeneità dei dataset, permettendo di unire risorse dati frammentate in un unico framework di apprendimento, simile a quanto avviene nel dominio visivo.
• Semplicità ed Efficienza: Elimina la necessità di progettare architetture complesse e specifiche per ogni nuovo dataset o configurazione di giunture, offrendo una soluzione "plug-and-play" per l'apprendimento di rappresentazioni scheletriche.
• Futuro: Apre la strada all'integrazione multimodale (scheletro + RGB + profondità) utilizzando modelli foundation unificati, potenziando la robustezza e l'interpretabilità nei sistemi di riconoscimento delle azioni.