EHWGesture -- A dataset for multimodal understanding of clinical gestures

Il paper presenta EHWGesture, un nuovo dataset multimodale e sincronizzato che registra oltre 1.100 esecuzioni di cinque gesti clinici tramite sensori RGB-D, event camera e motion capture, fornendo un benchmark completo per la classificazione, il rilevamento e la valutazione della qualità delle azioni gestuali.

L'essenziale

Immagina di voler insegnare a un computer a "capire" i movimenti delle mani umane, non solo per riconoscere un gesto (come un pollice in su), ma per giudicare come viene eseguito quel gesto: è veloce? È lento? È preciso? È come se il computer non fosse solo un osservatore, ma un fisioterapista digitale capace di valutare la destrezza di una persona.

Ecco la storia di EHWGesture, il nuovo "libro di esercizi" creato da un team di ricercatori italiani per addestrare queste intelligenze artificiali.

1. Il Problema: Perché i computer faticano a vedere le mani

Fino a poco tempo fa, i computer erano bravissimi a riconoscere le mani ferme (come in una foto). Ma quando le mani si muovono, diventa tutto un caos. È come cercare di seguire una farfalla che vola in una stanza buia:

• I vecchi dataset (le collezioni di video usati per l'allenamento) erano spesso fatti con webcam economiche, solo in bianco e nero o a colori, e senza una "verità assoluta" su dove fossero esattamente le dita.
• Mancava la capacità di vedere la velocità e la qualità del movimento, cose fondamentali per i medici che devono diagnosticare malattie come il Parkinson.

2. La Soluzione: EHWGesture, la "Pala d'Oro" dei dati

I ricercatori hanno creato un nuovo dataset chiamato EHWGesture. Immaginalo come una palestra super attrezzata dove 25 volontari sani hanno eseguito 5 movimenti specifici usati nei test medici (come battere le dita, aprire e chiudere la mano, toccarsi il naso).

Ma la vera magia sta negli "occhiali" con cui sono stati filmati:

• Due telecamere 3D (RGB-D): Come due occhi umani che vedono colore e profondità.
• Una telecamera "Event-based": Questa è la più strana e affascinante. Immagina una telecamera che non registra immagini continue, ma solo i cambiamenti di luce, come se fosse un insetto che vede solo il movimento fulmineo. È velocissima (100 milioni di volte al secondo!) e cattura dettagli che le telecamere normali perdono.
• Un sistema di cattura del movimento (Motion Capture): Come quelli usati nei film per gli effetti speciali (i famosi "pallini riflettenti" sui vestiti degli attori). Qui sono stati usati solo sulle mani per creare una verità perfetta: il computer sa esattamente dove si trovava ogni articolazione, millimetro per millimetro.

Tutti questi dispositivi sono stati sincronizzati come un'orchestra: quando la telecamera 1 scatta, anche la telecamera 3D e quella degli eventi lo fanno nello stesso istante esatto.

3. L'Esperimento: La sfida del Metronomo

Per rendere il dataset utile ai medici, non hanno fatto solo movimenti a caso. Hanno usato un metronomo (quel dispositivo che fa tic-tac per tenere il tempo nella musica).
I volontari dovevano muoversi seguendo tre ritmi:

1. Lento (come una persona con il Parkinson).
2. Normale.
3. Veloce.

Questo permette al computer di imparare non solo cosa stai facendo, ma quanto velocemente lo stai facendo. È come se il computer imparasse a dire: "Ah, questo movimento è troppo lento, potrebbe essere un segnale di affaticamento o malattia".

4. Cosa hanno scoperto? (I Risultati)

Hanno fatto fare dei "compiti" a diverse intelligenze artificiali usando questi dati:

• Riconoscimento: Il computer ha imparato a dire "Questa è la mano che tocca il naso".
• Valutazione della qualità: Il computer ha imparato a dire "Questa mano si muove a velocità lenta".
• Rilevamento dei "trigger": Hanno insegnato al computer a individuare il momento esatto in cui un gesto inizia o finisce (es. il momento esatto in cui le dita si toccano).

La scoperta più importante?
Usare tutte le telecamere insieme (colore, profondità e eventi) è come avere un superpotere. Un computer che guarda solo il video normale sbaglia di più. Ma quando vede anche la profondità e i "flash" della telecamera veloce, la sua precisione schizza alle stelle. È come se avesse tre sensi diversi che si completano a vicenda.

5. Perché è importante per tutti noi?

Questo lavoro è come gettare le fondamenta per il futuro della medicina digitale.

• Per i medici: Potranno avere strumenti automatici per monitorare pazienti con Parkinson o ictus, senza bisogno di test costosi e lunghi.
• Per la tecnologia: Potremo avere interfacce uomo-macchina più naturali, dove il computer capisce i nostri gesti complessi senza bisogno di guanti speciali o sensori addosso.

In sintesi, EHWGesture è un grande passo avanti perché ha creato un "campo di addestramento" perfetto, ricco di dettagli e sincronizzato alla perfezione, dove le intelligenze artificiali possono imparare a vedere il mondo non solo come una serie di immagini, ma come una danza di movimenti, velocità e qualità.

Sommario tecnico

1. Il Problema

L'articolo affronta le sfide esistenti nel campo del riconoscimento e della comprensione dei gesti dinamici delle mani, con un focus specifico sulle applicazioni cliniche (es. valutazione della destrezza manuale per il Parkinson). I limiti principali identificati nella letteratura attuale sono:

• Mancanza di diversità multimodale: Molti dataset esistenti si basano solo su dati RGB o non combinano efficacemente profondità (Depth) e dati event-based (neuromorfici), fondamentali per gestire le complesse variazioni spaziotemporali dei gesti dinamici.
• Assenza di Ground Truth preciso: Spesso le annotazioni sono generate automaticamente da algoritmi di tracking (es. MediaPipe), il che porta a una mancanza di verità fondamentale (ground truth) robusta, specialmente per la segmentazione temporale precisa e il rilevamento dei "trigger" (fasi chiave del gesto).
• Mancanza di valutazione della qualità (AQA): Esiste una carenza di dataset che integrino la valutazione della qualità dell'azione (Action Quality Assessment - AQA), come la velocità di esecuzione, all'interno del compito di riconoscimento del gesto stesso. Questo è cruciale per simulare le condizioni cliniche (es. bradicinesia nel Parkinson).
• Limitata varietà di prospettive: La maggior parte dei dataset offre una singola vista, rendendo difficile l'analisi cross-view.

2. Metodologia

Gli autori hanno sviluppato EHWGesture, un dataset video multimodale su larga scala progettato per la comprensione dei gesti clinici.

• Raccolta Dati:

  • Soggetti: 25 volontari sani (età 24-65 anni).
  • Gesti: 5 gesti rilevanti clinicamente (basati sulla scala UPDRS): battito delle dita, apertura/chiusura della mano, prono-supinazione, tocco del naso (dinamici) e un gesto statico.
  • Protocollo: Ogni gesto è stato eseguito per 20 secondi. Per i gesti dinamici, la velocità è stata controllata tramite un metronomo a tre livelli (Lento: 75 bpm, Normale: 115 bpm, Veloce: 145 bpm), creando un compito di AQA basato sulla velocità.
  • Volume: Oltre 1.100 registrazioni (circa 6 ore totali), con 22 registrazioni per lato del corpo per soggetto.

• Hardware e Sensori:

  • RGB-D: Due telecamere Microsoft Azure Kinect posizionate ortogonalmente (risoluzione 1920x1080 RGB e 640x480 Depth a 30 fps).
  • Event Camera: Una telecamera event-based Inivation DVXplorer Lite (320x240 px, frequenza di campionamento 100 MHz) per catturare i cambiamenti di luminosità con alta risoluzione temporale.
  • Motion Capture (MoCap): Sistema OptiTrack con 6 telecamere a infrarossi (120 Hz) e marcatori riflettenti sulle mani. Questo sistema fornisce il ground truth preciso per il tracciamento dei landmark delle mani e la segmentazione temporale.

• Sincronizzazione e Calibrazione:

  • Tutti i dispositivi sono sincronizzati temporalmente tramite un sistema eSync2.
  • È stata effettuata una calibrazione spaziale (stereo) per allineare le diverse prospettive e modalità, permettendo la fusione dei dati.

• Architettura Sperimentale:

  • Sono stati testati tre architetture convoluzionali 3D: PhiNet-3D, 3D ResNet-50 e 3D ResNeXt-152.
  • È stata utilizzata una strategia di fusione tardiva (late feature fusion) per combinare le rappresentazioni estratte da RGB, Depth ed Event.
  • Pre-addestramento: Implementato un pre-addestramento contrastivo multimodale (basato su SimCLR) per apprendere rappresentazioni invarianti alla modalità e alla vista prima del fine-tuning.

3. Contributi Chiave

1. Dataset Multimodale su Larga Scala: Il primo dataset che integra in modo sincronizzato e calibrato dati RGB, Depth ed Event da tre diverse prospettive, specificamente mirato a gesti di valutazione clinica.
2. Ground Truth di Alta Qualità: L'uso di un sistema Motion Capture fornisce un tracciamento preciso dei landmark delle mani, abilitando la validazione accurata e la segmentazione temporale dei trigger.
3. Integrazione di AQA: Introduzione di registrazioni controllate per velocità (metronomo), permettendo di valutare la qualità dell'esecuzione (velocità) come parte integrante della comprensione del gesto, simulando condizioni patologiche.
4. Benchmark e Baseline: Fornisce modelli baseline per tre compiti principali: classificazione dei gesti, rilevamento dei trigger (segmentazione temporale) e valutazione della qualità dell'azione (AQA).
5. Analisi dell'Impatto delle Modalità: Studio sistematico su come la lunghezza della sequenza, il framerate e la combinazione di modalità influenzino le prestazioni.

4. Risultati

Gli esperimenti hanno evidenziato diverse tendenze importanti:

• Vantaggio Multimodale: La fusione di tutte e tre le modalità (RGB + Depth + Event) ha prodotto i migliori risultati, con un aumento medio di accuratezza del +3.3% per il riconoscimento dei gesti e del +4.5% per la valutazione della qualità rispetto all'uso di una singola modalità. L'uso di due telecamere distinte ha migliorato ulteriormente le prestazioni rispetto alla fusione di una sola telecamera.
• Architetture: Le prestazioni non sono strettamente correlate alla complessità del modello; architetture più leggere (come PhiNet) hanno ottenuto risultati competitivi.
• Impatto Temporale:
  • Il riconoscimento dei gesti è relativamente invariante nel tempo (la lunghezza della finestra non cambia drasticamente l'accuratezza).
  • L'AQA (valutazione della qualità/velocità) beneficia significativamente di contesti temporali più lunghi.
  • Framerate più alti sono cruciali per il riconoscimento dei gesti, mentre per la valutazione della qualità un downsampling a 7.5 fps ha mostrato lievi miglioramenti per alcune architetture.
• Rilevamento dei Trigger: L'approccio baseline (basato su MediaPipe e analisi dei landmark) ha raggiunto un'alta accuratezza di rilevamento (>97%), sebbene la precisione temporale (MAE) e il tasso di falsi positivi (FDR) presentino ancora margini di miglioramento, specialmente per movimenti lenti che richiedono finestre di smoothing più ampie.

5. Significato e Impatto

Il dataset EHWGesture rappresenta una risorsa fondamentale per la ricerca interdisciplinare tra visione artificiale e medicina:

• Avanzamento Clinico: Fornisce un benchmark solido per lo sviluppo di sistemi automatizzati di valutazione della destrezza manuale, cruciali per la diagnosi e il monitoraggio di malattie neurodegenerative come il Parkinson.
• Superamento dei Limiti Attuali: Colma il divario tra dataset crowdsourced (spesso privi di ground truth preciso) e dati clinici reali (spesso limitati e privati), offrendo dati di alta qualità da soggetti sani che possono essere utilizzati per pre-addestrare modelli prima dell'applicazione su pazienti.
• Versatilità della Ricerca: La natura multimodale e multi-vista del dataset permette di esplorare nuove direzioni nella fusione di dati neuromorfici e convenzionali, nella robustezza ai cambiamenti di illuminazione e nell'analisi 3D delle mani.
• Etica e Privacy: Il dataset è stato rilasciato in forma anonima (volti offuscati) nel rispetto del GDPR, garantendo la sicurezza dei dati dei soggetti.

In sintesi, EHWGesture non è solo un archivio di dati, ma un framework completo che spinge lo stato dell'arte verso una comprensione più profonda, precisa e clinicamente rilevante dei gesti umani dinamici.