Explainable Fall Detection for Elderly Care via Temporally Stable SHAP in Skeleton-Based Human Activity Recognition

Titel: Verklaarbare Valdetectie voor Zorg voor Ouderen via Temporair Stabiele SHAP in Skeletgebaseerde Menselijke Activiteitsherkenning

1. Het Probleem

Valdetectie in de zorg voor ouderen vereist niet alleen nauwkeurige classificatie, maar ook betrouwbare verklaringen die clinicians kunnen vertrouwen. Bestaande methoden voor post-hoc verklaarbaarheid (XAI) worden vaak frame-voor-frame toegepast op sequentiële data. Dit resulteert in temporair onstabiele attributiekarten (attribution maps), waarbij de belangrijkheid van gewrichten tussen opeenvolgende frames sterk fluctueert. Deze variatie maakt het voor medisch personeel moeilijk om betrouwbare beslissingen te nemen op basis van de uitleg.

Daarnaast zijn veel state-of-the-art modellen voor skeletgebaseerde activiteitsherkenning (zoals Graph Convolutional Networks of Transformers) computationeel zwaar en ontberen ze transparantie, wat hun toepassing in real-time zorgomgevingen beperkt. Er is een gebrek aan methoden die specifiek de temporale aard van sequentiële data adresseren om stabiele en klinisch relevante verklaringen te genereren.

2. Methodologie

De auteurs stellen een lichtgewicht en verklaarbaar framework voor dat bestaat uit drie hoofdbestanddelen:

• Modelarchitectuur:

  • Er wordt gebruik gemaakt van een Lightweight LSTM (Long Short-Term Memory) netwerk.
  • Input: 3D-coördinaten van 25 menselijke gewrichten (skeletdata) uit de NTU RGB+D dataset.
  • Structuur: Een enkele LSTM-laag met 128 verborgen eenheden, gevolgd door een dense laag en softmax voor classificatie.
  • Keuze: LSTMs worden gekozen boven zwaardere modellen (zoals GCNs of Transformers) vanwege hun lineaire schaalbaarheid met betrekking tot de sequentielengte, wat essentieel is voor real-time inferentie (<100 ms).

• T-SHAP (Temporally Aware SHAP):

  • De kerninnovatie is T-SHAP, een post-hoc aggregatiestrategie die de standaard SHAP-waarden stabiliseert.
  • Principe: In plaats van elke frame onafhankelijk te behandelen, past T-SHAP een lineaire gladmakende operator toe op de attributiesequentie over een tijdsvenster ($W_t$).
  • Formule: De temporair geaggregeerde attributie $\tilde{\phi}_{i,t}$ wordt berekend als het gemiddelde van de SHAP-waarden binnen een venster van grootte $2w+1$:
    $$\tilde{\phi}_{i,t} = \frac{1}{|W_t|} \sum_{k \in W_t} \phi_{i,k}$$
  • Doel: Het verminderen van hoogfrequente ruis en variatie terwijl de theoretische garanties van Shapley-waarden (lokaal accuraat, consistent, additief) behouden blijven.
  • Optimalisatie: Een gevoeligheidsanalyse toont aan dat een venstergrootte van $w=2$ (5 frames) de beste balans biedt tussen stabiliteit en tijdsresolutie.

• Evaluatiemetrics:

  • Faithfulness (Betrouwbaarheid): Gemeten via de Area Under the Perturbation Curve (AUP). Hierbij worden de meest belangrijke features (gewrichten/tijdstippen) systematisch verwijderd om te zien hoe snel de voorspelling van het model verslechtert.
  • Vergelijking: De methode wordt vergeleken met standaard SHAP en Grad-CAM (aangepast voor recurrente netwerken).

3. Belangrijkste Bijdragen

1. Lichtgewicht Framework: Een efficiënt LSTM-gebaseerd systeem voor skeletgebaseerde valdetectie dat voldoet aan real-time beperkingen.
2. Introductie van T-SHAP: Een computerefficiënte uitbreiding van SHAP die temporale consistentie garandeert zonder extra trainingskosten.
3. Kwantitatieve Evaluatie: Systematische evaluatie van de kwaliteit van uitleg met behulp van perturbation-based metrics (AUP), wat zeldzaam is in bestaande HAR-studies.
4. Klinische Validatie: De attributies corresponderen consistent met biomechanische patronen (zoals instabiliteit van de onderste ledematen en veranderingen in de wervelkolom), wat de bruikbaarheid voor klinische besluitvorming onderstreept.
5. Analyse van Trade-offs: Een gedetailleerde vergelijking van nauwkeurigheid, complexiteit en interpreteerbaarheid tussen LSTMs, GCNs en Transformers.

4. Resultaten

• Classificatieprestaties: Het model bereikte een nauwkeurigheid van 94,3% op de NTU RGB+D dataset (valdetectie vs. dagelijkse activiteiten).
• Real-time Prestaties: De totale inferentielatentie ligt onder de 25 ms (4,8 ms voor LSTM + 12-20 ms voor uitleggeneratie), wat binnen de klinische limiet van 100 ms valt.
• Betrouwbaarheid van Uitleg (Faithfulness):
  • T-SHAP: AUP score van 0,91.
  • Standaard SHAP: AUP score van 0,89.
  • Grad-CAM: AUP score van 0,82.
  • T-SHAP toont een significante verbetering in de betrouwbaarheid van de attributies ten opzichte van de andere methoden.
• Stabiliteit: T-SHAP reduceerde de temporale variatie in attributies met ongeveer 24% ten opzichte van standaard SHAP, wat leidt tot visueel coherente warmtekaarten die continue bewegingspatronen in plaats van geïsoleerde frames tonen.

5. Betekenis en Toekomstperspectief

De studie benadrukt dat in veiligheidskritische toepassingen zoals valdetectie, betrouwbare uitleg even belangrijk is als voorspellende nauwkeurigheid.

• Klinische Impact: T-SHAP transformeert een "black-box" classifier in een transparant beslissingshulpmiddel. Het kan artsen en verzorgers niet alleen vertellen dat een val dreigt, maar ook waarom (bijv. specifieke instabiliteit in de knieën of een plotselinge verschuiving van het zwaartepunt).
• Efficiëntie: Het bewijst dat complexe, zware modellen niet altijd nodig zijn; een goed ontworpen lichtgewicht model met geavanceerde uitlegtechniek kan betere resultaten opleveren voor praktische implementatie.
• Toekomst: De auteurs suggereren dat T-SHAP kan worden uitgebreid naar multimodale data (bijv. combinatie van skeletdata en draagbare sensoren) en andere domeinen zoals revalidatie en sportbiomechanica.

Conclusie: Dit werk biedt een praktische, schaalbare en klinisch onderbouwde oplossing voor real-time valdetectie, waarbij de focus ligt op het verbeteren van de stabiliteit en betrouwbaarheid van AI-uitleg in plaats van het blindelings maximaliseren van modelcomplexiteit.