Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals

Probleemstelling

Het schatten van menselijke houding (pose), het classificeren van bewegingen en het voorspellen van de voortgang van een actie zijn fundamenteel voor mens-robotinteractie. Bestaande visuele methoden (camera's) kampen echter met beperkingen in realistische omgevingen, zoals:

• Oclusie: Mensen worden geblokkeerd door objecten of andere personen.
• Privacy: Visuele data roept zorgen op over surveillance.
• Infrastructuur: Vereist vaak specifieke ruimtes en geïnstalleerde camera's.

Tactiele sensoren bieden een oplossing voor deze problemen, maar eerdere tactiele benaderingen behandelden deze drie taken (pose, actieclassificatie, voortgangsvoorspelling) afzonderlijk. Dit leidt tot suboptimale prestaties, omdat deze taken intrinsiek met elkaar verbonden zijn in menselijke beweging. Er was bovendien geen eerdere research die voortgangsvoorspelling uitvoerde op basis van tactiele signalen van de voeten.

Methodologie: SCOTTI

De auteurs stellen SCOTTI (Shared COnvolutional Transformer for Tactile Inference) voor, een unificerend model dat een gedeelde representatie leert om drie taken gelijktijdig op te lossen.

1. Architectuur:

• Input: Het model ontvangt een sequentie van tactiele signalen van linkse en rechtse voet, verzameld via draadloze inlegzolen met piezoresistieve sensoren (>500 sensoren per voet).
• CNN-Encoder: Elke tactiele frame (2D-afbeelding van drukverdeling) wordt eerst verwerkt door een Convolutional Neural Network (CNN) met twee convolutielagen, ReLU-activaties en pooling. Dit haalt ruimtelijke kenmerken uit de drukpatronen.
• Transformer-Encoder: De uitkomsten van de CNN worden geflatteerd en geprojecteerd naar een embedding-ruimte. Deze embeddings worden samengevoegd met een leerbaar "class token" en positie-encodings (voor temporele volgorde) en ingevoerd in een Transformer-encoder. Dit modelleert de temporele afhankelijkheden en globale context.
• Gedeelde Representatie: Een gewogen gemiddelde pooling over de temporele dimensie genereert een enkele, gedeelde vectorrepresentatie van de tactiele beweging.
• Multi-task Heads: Deze gedeelde vector wordt gevoed naar drie aparte Multi-Layer Perceptrons (MLP's) voor de uiteindelijke voorspellingen:
  1. 3D Pose Estimation: Voorspelling van 19 keypointen (hoofd, ledematen, voeten).
  2. Action Classification: Categorisatie van de activiteit (bijv. squats, lopen, springen).
  3. Progress Prediction: Voorspelling van de voortgang van de actie als een continue waarde tussen 0 en 1.

2. Verliesfunctie:
Het totale verlies is een gewogen som van drie componenten:
$$L_{total} = w_{pose} L_{pose} + w_{action} L_{action} + w_{progress} L_{progress}$$
Waarbij $L_{pose}$ de som is van MPJPE (Mean Per Joint Position Error) en MPJAE (Angle Error), $L_{action}$ cross-entropy is, en $L_{progress}$ Mean Squared Error (MSE).

Dataset en Hardware

• Hardware: Een custom, draadloze inlegzool met een kostprijs van ongeveer $50 per eenheid. Deze bevat een raster van koperen draden en piezoresistieve films voor hoge resolutie drukmeting (16 Hz).
• Dataset: Verzameld van 15 deelnemers die 8 verschillende activiteiten uitvoerden (squats, lunges, jumps, step-ups, en verschillende loopsoorten).
• Grondwaarheid: 200.000 gesynchroniseerde frames van tactiele data en visuele data (via XRmocap met 6 camera's) voor het labelen van 3D-pose.
• Voortgangslabels: Een innovatief labelingsproces waarbij de voortgang ($p \in [0, 1]$) wordt berekend op basis van cyclische bewegingen (bijv. van startpositie naar diepste punt en terug). Dit is de eerste keer dat dit wordt gedaan met voet-tactiele data.

Resultaten

De experimenten tonen aan dat SCOTTI alle bestaande methoden (baselines) overtreft, zowel in single-task als multi-task configuraties.

• 3D Pose Estimation: SCOTTI bereikte een MPJPE van 96,63 mm, wat lager (beter) is dan de beste baseline (Res-CNN: 98,51 mm).
• Action Classification: SCOTTI behaalde 90,06% nauwkeurigheid, een verbetering van ongeveer 5,5% ten opzichte van de beste baseline (STAT: 84,56%).
• Progress Prediction: Met een MSE van 0,0223 en een APP (Average Progress Precision) van 0,8952 overtreft het model willekeurige voorspellingen en andere benaderingen aanzienlijk.
• Multi-task vs. Single-task: Een ablatiestudie toont aan dat het gezamenlijk leren van de taken de prestaties voor elke individuele taak verbetert ten opzichte van modellen die alleen op één taak zijn getraind (bijv. MPJPE verbetering van 101,61 mm naar 96,63 mm).
• Generalisatie: Het model generaliseert goed naar onbekende proefpersonen (train/test split op basis van personen).

Belangrijkste Bijdragen

1. SCOTTI Model: Een unificerend model dat convolutionele netwerken en transformers combineert voor multi-task learning op tactiele data.
2. Nieuwe Taak: De eerste toepassing van tactiele signalen voor voortgangsvoorspelling (action progress prediction) van menselijke bewegingen.
3. Dataset: De publicatie van een groot, open-source dataset met >200.000 gesynchroniseerde tactiele en visuele frames van diverse activiteiten.
4. Inzicht in Representaties: Visualisatie via t-SNE toont aan dat het model betekenisvolle gedeelde kenmerken leert; bijvoorbeeld vormen loop- en lunge-acties ring-achtige structuren in de feature space die corresponderen met de voortgang van de beweging.

Significantie

Dit werk bewijst dat tactiele sensing een krachtig, privacy-vriendelijk alternatief is voor visuele systemen in mens-robotinteractie. Door gebruik te maken van multi-task learning en een gedeelde representatie, kan één model meerdere complexe taken efficiënt uitvoeren. De resultaten suggereren brede toepassingsmogelijkheden in:

• Robotica: Voor intuïtieve samenwerking en timing van assistentie.
• Sportanalyse: Voor het analyseren van techniek en voortgang.
• Gezondheidszorg: Voor monitoring van ouderen of revalidatie zonder privacy-inbreuk.
• Dagelijkse activiteiten: Voor het begrijpen van menselijk gedrag in ongestructureerde omgevingen.