Activity Recognition from Smart Insole Sensor Data Using a Circular Dilated CNN

Die Studie stellt ein System zur Aktivitätserkennung vor, das mithilfe eines kreisförmigen dilatierten CNN (CDCNN) multi-modale Sensordaten von Smart-Einlegesohlen verarbeitet und dabei eine Testgenauigkeit von 86,42 % bei der Klassifizierung von vier Aktivitäten in einer subjektunabhängigen Evaluation erreicht.

Das Wesentliche

Schuhsohlen, die denken: Wie ein smarter Schuh unsere Schritte versteht

Stellen Sie sich vor, Ihre Schuhe wären nicht nur aus Leder und Sohle, sondern hätten ein kleines Gehirn im Inneren. Sie könnten genau spüren, ob Sie gerade stehen, gehen, sitzen oder auf einem Bein balancieren. Genau das ist das Ziel von Yanhua Zhao und seinem Team mit ihrer Arbeit an „Smart Insoles" (intelligenten Einlegesohlen).

Hier ist die Geschichte ihrer Forschung, einfach erklärt:

1. Das Problem: Die Schuhe sind zu dumm

Bisher waren Schuhe stumm. Wenn man analysieren wollte, wie jemand läuft oder ob er sturzgefährdet ist, musste man oft Kameras verwenden. Aber Kameras sind wie neugierige Nachbarn: Sie stören die Privatsphäre, brauchen Licht und funktionieren nicht, wenn Sie im Dunkeln sind. Andere Sensoren (wie Radar) sind wie teure Überwachungsdrohnen, die man nicht einfach in den Schuh stecken kann.

Die Lösung? Intelligente Einlegesohlen. Diese sind wie unsichtbare Detektive, die direkt unter Ihren Füßen sitzen. Sie messen den Druck, den Ihre Füße ausüben, und spüren jede Bewegung (Beschleunigung und Drehung) mit winzigen Sensoren.

2. Die Idee: Ein neues „Gehirn" für die Daten

Die Sohle sammelt eine riesige Menge an Daten – wie ein Orchester, das hunderte Instrumente gleichzeitig spielt. Das Problem ist: Wie übersetzt man dieses musikalische Chaos in eine klare Antwort wie „Gehen" oder „Sitzen"?

Frühere Methoden waren wie ein Koch, der alle Zutaten (Daten) in einen Mixer wirft und dann versucht, das Ergebnis zu schmecken. Das funktioniert okay, aber es ist nicht sehr elegant.

Yanhua Zhao hat einen neuen Koch namens CDCNN erfunden.

• Was ist das? Stellen Sie sich einen Detektiv vor, der nicht nur auf das aktuelle Bild schaut, sondern auch auf die Vergangenheit und die Zukunft eines Ereignisses achtet.
• Der Trick: Der Detektiv nutzt eine Technik namens „zirkuläre dilatierte Faltung". Klingt kompliziert? Stellen Sie sich vor, Sie lesen ein Buch. Ein normaler Leser liest Wort für Wort. Unser Detektiv kann aber mit einem „Vergrößerungsglas" über mehrere Seiten gleichzeitig schauen, ohne den Text zu verlieren. Er sieht Muster, die über die Zeit hinweg entstehen (wie den Rhythmus eines Schritts), und ignoriert dabei nicht die Ränder des Buches (die Daten am Anfang und Ende eines Zeitfensters).

3. Der Test: Wer ist besser?

Die Forscher haben dieses neue System mit einem alten, aber sehr erfahrenen Klassiker verglichen: einem Algorithmus namens XGBoost.

• Das Ergebnis: Der neue „Detektiv" (CDCNN) lag mit 86,42 % Genauigkeit knapp hinter dem alten Meister (XGBoost mit 87,83 %).
• Aber: Der alte Meister muss die Daten erst „flach" machen (wie ein Teppich, den man glatt streicht), bevor er sie lesen kann. Der neue Detektiv kann die Daten direkt in ihrer natürlichen, wellenförmigen Form lesen. Das ist wie der Unterschied zwischen einem Fotografen, der ein Foto erst in ein Raster zerlegt, und einem Maler, der die Farben direkt auf die Leinwand bringt.

Warum ist das wichtig? Weil der neue Detektiv viel schneller ist und weniger Rechenleistung braucht. Er passt perfekt in den kleinen Computer, der in der Sohle steckt, und kann Entscheidungen in Echtzeit treffen – genau dann, wenn Sie stolpern könnten.

4. Was ist eigentlich wichtig?

Die Forscher haben sich gefragt: „Was hilft dem Schuh am meisten zu verstehen, was wir tun?"
Sie haben eine Art „Schuldzuweisung" gemacht (Permutation Feature Importance).

• Das Ergebnis: Die Bewegungssensoren (Beschleunigung und Drehung) sind die Stars des Teams. Sie verraten dem Schuh am meisten darüber, ob wir uns bewegen oder stillstehen.
• Die Druck-Sensoren (die messen, wo der Fuß auf dem Boden aufliegt) sind wie die erfahrenen Berater. Sie sind besonders wichtig, um zu unterscheiden, ob man steht oder sitzt, und wo genau der Fuß den Boden berührt.

5. Fazit: Warum das cool ist

Diese Forschung ist wie der erste Schritt zu Schuhen, die uns vor Stürzen warnen oder Sportlern helfen, ihre Technik zu verbessern.

• Privatsphäre: Keine Kameras, nur Daten im Schuh.
• Echtzeit: Der Schuh denkt sofort mit.
• Zukunft: Man könnte den Schuh so programmieren, dass er nicht nur „Gehen" erkennt, sondern auch „Treppensteigen" oder „Drehen".

Kurz gesagt: Die Forscher haben einen Weg gefunden, wie unsere Schuhe lernen können, uns besser zu verstehen als wir uns selbst – und das alles, ohne dass wir uns dabei unwohl fühlen müssen.

Technische Zusammenfassung

Technische Zusammenfassung: Aktivitätserkennung aus Smart-Insole-Sensordaten mittels eines Circular Dilated CNN

1. Problemstellung und Motivation
Das Paper adressiert die Herausforderung der kontinuierlichen, nicht-invasiven Überwachung von menschlichem Gang, Gleichgewicht und Haltung mittels intelligenter Einlegesohlen (Smart Insoles). Diese Geräte integrieren typischerweise Druckmessmatten und Inertial Measurement Units (IMUs: Beschleunigungsmesser und Gyroskope).
Während bestehende Ansätze oft handgefertigte Merkmale mit klassischen Machine-Learning-Modellen (z. B. SVM, Random Forests) nutzen oder sich ausschließlich auf Inertialdaten konzentrieren, besteht die Lücke darin, alle verfügbaren Kanäle (Druck + Inertial) in einem einheitlichen Modell optimal zu fusionieren. Zudem sind kamerabasierte Systeme oft datenschutzrelevant und umgebungsabhängig, während Radar-Systeme eine komplexe Infrastruktur benötigen. Smart Insoles bieten hier eine datenschutzkonforme, subjekt-spezifische und kontinuierliche Lösung.

2. Methodik

• Datensatz und Vorverarbeitung:

  • Der verwendete Datensatz (STEP-Insole Dataset) umfasst Aufzeichnungen von mehreren Probanden bei vier Aktivitäten: Stehen, Gehen, Sitzen und Tandem-Stehen.
  • Die Daten bestehen aus Zeitreihen-Fenstern mit einer Länge von 160 Zeitpunkten und 24 Kanälen pro Frame (18 Druck-Sensoren, 3 Achsen Beschleunigungsmesser, 3 Achsen Gyroskop).
  • Das Gesamtdatenset enthält ca. 14.748 gelabelte Fenster. Die Aufteilung in Trainings-, Validierungs- und Testsets erfolgt strikt subjektunabhängig (keine Überlappung von Probanden zwischen den Sets), um eine realistische Generalisierungsfähigkeit zu testen.

• Architektur: Circular Dilated CNN (CDCNN):

  • Es wird ein Circular Dilated 1D Convolutional Neural Network vorgeschlagen.
  • Dilated Convolutions: Durch dilatierte Faltungen (Dilatationsfaktoren 1, 2, 4, 8) wird das rezeptive Feld exponentiell erweitert, ohne die räumliche Auflösung zu verlieren. Dies ermöglicht das Erfassen sowohl kurzer Fußkontakte als auch längerer Gangmuster innerhalb des 160-Frames-Fensters.
  • Circular Padding: Anstelle von Null-Padding wird ein zirkuläres Padding verwendet, um Randartefakte am Beginn und Ende der Segmente zu vermeiden, was wichtig ist, wenn Aktivitäten nicht perfekt mit den Fensterkanten übereinstimmen.
  • Struktur: Der Input durchläuft einen Stapel von Convolutional-Blöcken (je 64 Kanäle, Kernel-Größe 3, Batch-Normalisierung, ReLU, Dropout 0.2). Ein Global Average Pooling reduziert die zeitliche Dimension auf einen 64-dimensionalen Vektor, der an einen linearen Klassifikator für die 4 Klassen übergeben wird.
  • Vorteile: Das rein konvolutionale Design ist vollständig parallelisierbar, was zu einer geringeren Inferenz-Latenz führt als RNN-basierte Modelle und eine Echtzeit-Implementierung auf eingebetteter Hardware ermöglicht.

• Feature-Importanz-Analyse:

  • Zur Bewertung des Beitrags einzelner Sensoren wird die Permutation Feature Importance angewendet. Dabei werden die Werte eines Kanals zufällig vertauscht, und der Abfall der Genauigkeit ($A_{base} - A_{perm}$) wird gemessen.

3. Ergebnisse

• Klassifikationsleistung:

  • Das CDCNN erreicht auf dem subjektunabhängigen Testset eine Genauigkeit von 86,42 %.
  • Zum Vergleich wurde ein XGBoost-Modell trainiert, das auf den flachgelegten (flattened) Daten derselben Aufteilung operierte. XGBoost erzielte eine leicht höhere Genauigkeit von 87,83 %.
  • Der Paper erklärt die Lücke damit, dass XGBoost komplexe nicht-lineare Interaktionen zwischen allen Zeitpunkten im flachen Vektor besser nutzen kann, während das CDCNN durch lokale Filter eingeschränkt ist und die Hyperparameter nur grob abgestimmt wurden.

• Vergleichbare Stärken des CDCNN:

  • Trotz der leicht niedrigeren Genauigkeit bietet das CDCNN Vorteile: Es arbeitet direkt auf der Sequenzstruktur (erlaubt variable Fensterlängen und Online-Streaming), ist schneller in der Inferenz und bietet durch Feature-Maps eine bessere zeitlich aufgelöste Interpretierbarkeit (z. B. via Attention oder Class Activation Mapping).

• Feature-Importanz:

  • Die Analyse zeigt, dass inertiale Sensoren (Beschleunigungsmesser und Gyroskop) einen signifikant höheren Beitrag zur Diskriminierung der Aktivitäten leisten als die meisten einzelnen Drucksensoren.
  • Unter den Drucksensoren zeigen die Bereiche Ferse und Zehen die höchste Wichtigkeit.
  • Der Vergleich mit XGBoost zeigt ähnliche Rangfolgen, wobei XGBoost einigen Druckkanälen eine etwas höhere relative Wichtigkeit zuschreibt, was auf unterschiedliche induktive Verzerrungen der Modelle hinweist.

4. Hauptbeiträge

1. Neue Architektur: Einführung einer CDCNN-Architektur für Smart-Insole-Daten, die zeitliche Abhängigkeiten durch dilatierte Faltungen und zirkuläres Padding effizient modelliert.
2. Multimodale Fusion: Demonstration einer End-to-End-Lernmethode, die Druck- und Inertialdaten in einem einzigen neuronalen Netz fusioniert, anstatt sie getrennt zu behandeln.
3. Rigorose Evaluation: Durchführung einer strengen subjektunabhängigen Evaluation, die die Generalisierungsfähigkeit auf neue Nutzer sicherstellt.
4. Interpretierbarkeit: Quantifizierung des Beitrags einzelner Sensorkanäle mittels Permutation Importance, was Einblicke in die physikalischen Merkmale der Gangmuster liefert.

5. Signifikanz und Ausblick

Die Studie zeigt, dass tiefe neuronale Netze auch auf ressourcenbeschränkter Hardware (Echtzeit-Inferenz in der Einlegesohle) für die Aktivitätserkennung geeignet sind. Obwohl XGBoost aktuell leicht besser abschneidet, bietet das CDCNN eine vielversprechende Basis für zukünftige Erweiterungen, wie z. B. die Erkennung feinerer Aktivitäten (Treppensteigen, Wenden) oder kontinuierlicher Gangphasen.

Zukünftige Arbeiten sollen sich auf folgende Punkte konzentrieren:

• Verbesserte Generalisierung durch "Leave-One-Subject-Out"-Evaluation.
• Erweiterung des Modells auf komplexere Aktivitäten und kontinuierliche Gangereignisse.
• Entwicklung leichterer Modellvarianten (Pruning) für den Einsatz auf extrem ressourcenbeschränkter Hardware.
• Integration von rekurrenten Schichten oder zeitlichen Glättungen zur Robustheit gegen Rauschen.

Fazit: Das Paper liefert einen soliden Beweis für die Effektivität von CDCNNs in der Wearable-Technologie und legt den Grundstein für datenschutzkonforme, hochpräzise Gang- und Aktivitätsanalysen im Alltag.