Technische Zusammenfassung: REASON – Ein neurosymbolisches Framework für konzeptgestütztes logisches Schließen bei der skelettbasierten menschlichen Aktionserkennung

Problemstellung

Die skelettbasierte menschliche Aktivitätserkennung (HAR) hat mit Deep-Learning-Modellen, insbesondere Graph Convolutional Networks (GCNs), starke empirische Leistungen erzielt. Diese Modelle funktionieren jedoch als „Blackboxen" und mangeln an Interpretierbarkeit. Diese Undurchsichtigkeit ist in hochriskanten Bereichen wie Gesundheitswesen und Rehabilitation problematisch, wo transparente Entscheidungsfindung unerlässlich ist. Darüber hinaus stehen bestehende neurosymbolische Ansätze vor grundlegenden Integrationsherausforderungen:

1. Symbolisches Grounding: Die Überbrückung kontinuierlicher Gelenktrajektorien mit diskreten symbolischen Prädikaten ist schwierig. Traditionelle Heuristiken (z. B. „Kniewinkel < 90°") sind spröde und versagen bei Pose-Variationen oder viewpoint-Änderungen.
2. Temporale Dynamik: Aktionen sind inhärent temporal. Rein räumliche Logik kann Aktionen mit ähnlichen statischen Posen, aber unterschiedlichen Ausführungsreihenfolgen oder Bewegungsrichtungen nicht unterscheiden (z. B. Brille aufsetzen vs. Brille absetzen).
3. End-to-End-Lernen: Diskrete boolesche Operatoren blockieren typischerweise die Gradientenausbreitung und verhindern die gemeinsame Optimierung von Wahrnehmung (Merkmalsextraktion) und Schließen (Regelanwendung).

Methodik: Das REASON-Framework

Die Autoren schlagen REASON (Rule-based Explainable Action via Symbolic cONcepts) vor, ein neurosymbolisches Framework, das die Aktiverkennung als konzeptgestütztes logisches Schließen erster Ordnung über lernbare Bewegungsprimitive neu fasst. Das Framework arbeitet in vier Schlüsselphasen:

1. Generierung einer Konzeptbank

Anstatt sich auf manuelle Heuristiken zu verlassen, konstruieren die Autoren eine Konzeptbank $\mathcal{C}$, die räumliche, temporale und interaktive Bewegungsprimitive mittels einer dreistufigen Large-Language-Model-(LLM)-Pipeline umfasst:

• Beschreibungsgenerierung: Ein LLM (GPT-3) zerlegt Aktionen in feinkörnige Körperteilbeschreibungen (z. B. „Bein: beugt sich im Knie und drückt dann explosiv").
• Abstraktion und Clustering: Rohe Beschreibungen werden durch Extraktion von Verb-Richtung-Modifikator-Mustern in kanonische Konzepte umgewandelt, eingebettet und mittels k-Means geclustert. Dies ergibt räumliche Konzepte (z. B. Armheben, Beinsprung).
• Definition temporaler und interaktiver Konzepte: Explizite temporale Konzepte werden definiert, um Bewegungsrichtung (Bewegung nach oben), Sequenz (Hände zuerst) und Dynamik (Geschwindigkeit schnell) zu erfassen. Ein Interaktionskonzept behandelt gegenseitige Aktionen.
• Assoziation: Ein zweites LLM (LLaMA-3.2) ordnet Aktionen der Konzeptbank zu und erstellt eine binäre Assoziationsmatrix $M$, wobei $M_{a,c}=1$, falls Konzept $c$ für Aktion $a$ aktiv ist. Die finale Bank enthält 74 Konzepte (52 räumlich, 21 temporal, 1 interaktiv).

2. Lernen der Skelettrepräsentation

Ein standardmäßiger spatio-temporaler Skelett-Encoder (z. B. Hyper-GCN) verarbeitet Eingabesequenzen $X \in \mathbb{R}^{T \times V \times 3}$ ohne globales Pooling, um feinkörnige Bewegungsinformationen zu bewahren. Der Encoder speist drei Zweige:

• STC-Decoder: Vorhersage von Konzeptaktivierungen.
• Textausrichtung: Ausrichtung gepoolter Skelettmerkmale mit konzeptverankerten Text-Embeddings (generiert durch einen CLIP-Encoder mit LoRA-Feinabstimmung) mittels eines kontrastiven Verlusts ($L_{align}$). Dies stellt sicher, dass die Skelettmerkmale mit ihren semantischen Beschreibungen clustern.
• Teildivergenz: Ein Verlust ($L_{div}$) bestraft hohe Kosinus-Ähnlichkeit zwischen Merkmalen verschiedener Körperteile und stellt diskriminierende Repräsentationen für jede anatomische Region sicher.

3. Spatio-temporaler Konzept-Decoder (STC-Decoder)

Dieses Modul überbrückt kontinuierliche Merkmale und symbolische Prädikate. Es entkoppelt Encoder-Merkmale in räumliche ($F_s$) und temporale ($F_t$) Ströme.

• Gruppen-Decodierung: Um die Komplexität heterogener Konzeptbeziehungen zu bewältigen, werden Konzepte in Gruppen partitioniert. Lernbare Query-Matrizen führen Cross-Attention durch, um Skelettinformationen selektiv zu aggregieren, die für bestimmte Konzept-Teilmengen relevant sind.
• Vorhersage: Eine Group-FC-Schicht projiziert diese Queries in weiche Konzeptwahrscheinlichkeiten $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. Differenzierbares logisches Schließen erster Ordnung

Um ein End-to-End-Training bei Beibehaltung diskreter Interpretierbarkeit zu ermöglichen:

• Binärisierung: Weiche Vorhersagen werden mittels eines Straight-Through Estimators (STE) binarisiert ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$), um den Gradientenfluss zu ermöglichen.
• Logische Schichten: Gestapelte Schichten von Konjunktion (UND) und Disjunktion (ODER) komponieren Konzepte zu Regeln.
• Gradienten-Transplantation: Während des Vorwärtsdurchlaufs werden diskrete Operationen und Gewichte für die Inferenz verwendet. Während der Rückwärtspropagation werden Gradienten durch kontinuierliche Relaxationen (weiches UND/ODER) berechnet und auf den diskreten Pfad „transplantiert", was das Lernen sparsamer, interpretierbarer logischer Regeln ermöglicht.
• Klassifizierung: Ein linearer Klassifikator bildet Regelaktivierungen auf finale Aktionsvorhersagen ab.

Hauptbeiträge

1. REASON-Framework: Eine neuartige neurosymbolische Formulierung für skelettbasierte HAR, die konzeptverankerte Repräsentationen mit differenzierbarem logischem Schließen erster Ordnung für End-to-End-Training integriert.
2. STC-Decoder: Ein spezialisierter Decoder, der räumliche Körperkonfigurations- und temporale Bewegungsdynamik-Konzepte unabhängig extrahiert und robuste Abstraktionen gegenüber Ausführungsvariabilität bietet.
3. Konzeptbank: Eine kuratierte Bank von 74 räumlichen und dynamischen Bewegungsbegriffen für die Datensätze NTU RGB+D und NW-UCLA, generiert via LLMs, um semantische Fülle ohne manuelle Enumeration sicherzustellen.
4. Interpretierbarkeit: Das System bietet sowohl lokale Interpretierbarkeit (instanzspezifische Konzeptaktivierungen) als auch globale Interpretierbarkeit (für Menschen lesbare logische Regeln, die Aktionssemantik steuern).

Experimentelle Ergebnisse

Das Framework wurde an den Benchmarks NTU RGB+D 60/120 und NW-UCLA evaluiert.

• Leistung: REASON erzielt konkurrenzfähige Leistungen und übertrifft mehrere Blackbox-Baselines.
  • Auf NTU RGB+D 60 (X-Sub) erreicht es 94,3% Genauigkeit (4-Stream) und übertrifft starke GCN-Baselines wie Hyper-GCN (93,7%) und BlockGCN (93,1%).
  • Auf NTU RGB+D 120 (X-Set) erreicht es 91,9%.
  • Auf NW-UCLA erreicht es 97,9%.
• LLM-Neuordnung: Eine optionale Neuordnungsphase unter Verwendung von LLaMA-3.2 7B, verankert in Konzeptaktivierungen, steigert die Leistung weiter auf 95,6% (NTU-60 X-Sub) und 93,2% (NTU-120 X-Set) und übertrifft andere LLM-ergänzte Methoden, die auf undurchsichtigen Merkmalen basieren.
• Ablationsstudien:
  • Temporale Konzepte: Das Hinzufügen temporaler Konzepte zu räumlichen verbesserte die Genauigkeit um +7,8%, was ihre Notwendigkeit zur Unterscheidung ähnlicher Posen bestätigt.
  • Kapazität der Logikschicht: Eine 128-Knoten-Konfiguration war optimal; das Deaktivieren der Negation führte zu einem katastrophalen Abfall auf 49,87%, was die Notwendigkeit von $\neg$-Konzepten unterstreicht (z. B. Unterscheidung von stehen von gehen via $\neg$ Bein gehen).
  • Konzeptintervention: Die Korrektur falsch vorhergesagter Konzepte in der Logikkette verbesserte die Genauigkeit monoton (bis zu +5,67% für 3 Korrekturen), was beweist, dass Fehler primär aus Konzeptvorhersagefehlern und nicht aus fehlerhaften logischen Regeln stammen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass neurosymbolisches Schließen ein effektives Paradigma für interpretierbares spatio-temporales Aktionsverständnis ist. Durch die Verankerung von Skelettrepräsentationen in lernbaren Bewegungsbegriffen und deren Komposition via differenzierbarer Logik erreicht REASON State-of-the-Art-Leistung bei gleichzeitiger Aufrechterhaltung vollständig transparenter Konzept-Regel-Schlussketten.

Im Gegensatz zu früheren Arbeiten, die auf post-hoc-Erklärungen oder spröden manuell erstellten Regeln basieren, lernt REASON aktionsdefinierende Regeln direkt aus den Daten. Die Autoren betonen, dass dieser Ansatz eine systematische Analyse sowohl korrekter Klassifizierungen als auch von Fehlerfällen ermöglicht und einen Weg hin zu vertrauenswürdiger KI in sicherheitskritischen Anwendungen bietet, in denen das „Warum" hinter einer Vorhersage ebenso wichtig ist wie die Vorhersage selbst. Das Framework zeigt, dass es möglich ist, die Lücke zwischen neuronaler Wahrnehmung und symbolischem Schließen zu überbrücken, ohne Genauigkeit oder Skalierbarkeit zu opfern.