Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals

1. Il Problema

L'estimazione della posa umana, la classificazione delle azioni e la previsione del progresso del movimento sono fondamentali per l'interazione uomo-robot. Tuttavia, i metodi basati sulla visione artificiale soffrono di limitazioni significative in ambienti reali, come l'occlusione (oggetti che bloccano la vista) e le preoccupazioni relative alla privacy.
Sebbene l'uso di sensori tattili (in particolare plantari) offra una soluzione priva di questi problemi, fornendo dati su forza e pressione, gli approcci precedenti hanno trattato questi compiti in modo indipendente. Questo isolamento porta a prestazioni subottimali, poiché la posa, il tipo di azione e il progresso del movimento sono aspetti intrinsecamente correlati della dinamica umana. Inoltre, la previsione del "progresso" dell'azione (quanto è avanzata un'azione nel suo ciclo) non è mai stata esplorata utilizzando segnali tattili da plantari.

2. Metodologia: SCOTTI

Gli autori propongono SCOTTI (Shared COnvolutional Transformer for Tactile Inference), un modello unificato che apprende una rappresentazione condivisa per eseguire simultaneamente tre compiti:

1. Stima della posa 3D umana.
2. Classificazione dell'azione.
3. Stima del progresso dell'azione (da 0 a 1).

Architettura del Modello

• Input: Segnali tattili ad alta risoluzione provenienti da sensori plantari wireless (500+ sensori per piede) a 16 Hz.
• Estrazione delle caratteristiche spaziali: Utilizza un CNN (Convolutional Neural Network) per elaborare indipendentemente ogni frame tattile (2D), catturando la distribuzione della pressione.
• Modellazione temporale: Le feature estratte vengono proiettate in uno spazio di embedding e concatenate temporalmente. Un token di classe e codifiche posizionali vengono aggiunti prima di alimentare un Trasformatore (Transformer Encoder). Questo permette al modello di catturare le dipendenze temporali e lo stato globale del movimento.
• Teste di output: La rappresentazione condivisa finale viene inviata a tre distinti Multi-Layer Perceptron (MLP) per prevedere rispettivamente la posa, la classe di azione e il progresso.
• Funzione di perdita: L'addestramento utilizza una somma pesata di tre funzioni di perdita:
  • MPJPE + MPJAE per la posa.
  • Cross-Entropy per la classificazione.
  • Mean Squared Error (MSE) per la regressione del progresso.

3. Dataset e Hardware

Un contributo fondamentale del lavoro è la creazione di un nuovo dataset e hardware:

• Sensore: Un plantare personalizzato, wireless e a basso costo (~50$), basato su sensori piezoresistivi con oltre 500 punti di rilevamento per piede.
• Raccolta Dati: Sono stati raccolti oltre 200.000 frame sincronizzati (tattili e visivi) da 15 partecipanti.
• Attività: 8 diverse attività includono squat, affondi, salti, step-up e vari tipi di camminata (normale, laterale, indietro, sul posto).
• Etichettatura del Progresso: È stata sviluppata una metodologia innovativa per etichettare il progresso continuo ($p \in [0, 1]$) basandosi su indicatori cinematici (es. posizione verticale dell'anca per gli squat, distanza tra i talloni per la camminata), mappando i picchi massimi e minimi del movimento su un ciclo completo.

4. Risultati Sperimentali

Il modello SCOTTI è stato confrontato con diverse architetture di base (baselines) sia a compito singolo che multi-task.

• Prestazioni Superiori: SCOTTI ha superato tutti i metodi esistenti in tutti e tre i compiti:
  • Posa 3D: Errore MPJPE di 96.63 mm (migliore rispetto a ~98-117 mm delle baselines).
  • Classificazione Azioni: Accuratezza del 90.06% (superiore di ~5.5 punti percentuali rispetto alla baseline STAT).
  • Previsione Progresso: MSE di 0.0223 (molto inferiore al benchmark casuale di 0.1448) e APP (Average Progress Precision) di 0.8952.
• Validazione Multi-Task: Gli esperimenti di ablazione hanno dimostrato che l'approccio multi-task di SCOTTI è significativamente più efficace rispetto alla semplice combinazione di modelli a compito singolo. Ad esempio, l'errore di posa è diminuito di quasi 5 mm passando da un modello "solo posa" a SCOTTI.
• Analisi delle Feature: La visualizzazione t-SNE ha rivelato che il modello ha appreso rappresentazioni semantiche significative: le azioni cicliche (come camminare) formano strutture ad anello dove il progresso è ordinato, mentre azioni come i salti formano segmenti distinti.

5. Contributi Chiave

1. SCOTTI: Il primo modello unificato che utilizza segnali tattili per stimare simultaneamente posa, classe di azione e progresso, sfruttando i benefici dell'apprendimento multi-task.
2. Nuovo Task: Introduzione della previsione del progresso dell'azione nel dominio tattile, un'area precedentemente inesplorata.
3. Dataset Open Source: Creazione e rilascio di un dataset su larga scala (7 ore di dati, 15 partecipanti, 8 attività) con etichette ground-truth per posa e progresso, raccolto tramite sensori plantari wireless a basso costo.
4. Hardware Economico: Dimostrazione che sensori plantari economici e wireless possono fornire dati sufficienti per compiti complessi di percezione robotica.

6. Significato e Impatto

Questo lavoro dimostra che l'apprendimento di rappresentazioni condivise su dati tattili può superare i limiti dei metodi basati sulla visione, offrendo una soluzione robusta, privata e priva di occlusioni per l'interazione uomo-robot.
Le applicazioni potenziali sono ampie e includono:

• Robotica di servizio e assistenza: Robot in grado di anticipare le intenzioni umane e reagire nel momento giusto.
• Analisi sportiva e riabilitazione: Monitoraggio preciso della tecnica e del progresso negli esercizi senza telecamere invasive.
• Assistenza agli anziani: Rilevamento di cadute o anomalie nel movimento in ambienti domestici.

In sintesi, SCOTTI stabilisce un nuovo stato dell'arte per la percezione tattile, trasformando i dati di pressione dei piedi in una ricca comprensione della dinamica umana completa.