Technische Samenvatting: REASON – Een Neurosymbolisch Kader voor Concept-gedreven Logisch Redeneren in Skeletgebaseerde Menselijke Actieherkenning

Probleemstelling

Skeletgebaseerde Menselijke Activiteitsherkenning (HAR) heeft sterke empirische prestaties bereikt met diepe leermodellen, met name Graph Convolutional Networks (GCN's). Deze modellen functioneren echter als "black boxes" en missen interpretatievermogen. Deze ondoorzichtigheid is problematisch voor hoog-risico domeinen zoals gezondheidszorg en revalidatie, waar transparante besluitvorming essentieel is. Bovendien staan bestaande neurosymbolische benaderingen voor fundamentele integratieproblemen:

1. Symbolische Verankering: Het overbruggen van continue gewrichtstrajecten met discrete symbolische predicaten is moeilijk. Traditionele heuristieken (bijv. "kniehoek < 90°") zijn breekbaar en falen bij houdingsvariaties of veranderingen in gezichtspunt.
2. Temporele Dynamiek: Acties zijn inherent temporeel. Puur ruimtelijke logica kan acties met vergelijkbare statische houdingen maar verschillende uitvoeringsvolgorde of bewegingsrichting niet onderscheiden (bijv. Bril Opdoen versus Bril Afdoen).
3. End-to-End Leren: Discrete Boolese operatoren blokkeren doorgaans gradientpropagatie, wat de gezamenlijke optimalisatie van perceptie (kenmerkextractie) en redenering (regelttoepassing) verhindert.

Methodologie: Het REASON Kader

De auteurs stellen REASON (Rule-based Explainable Action via Symbolic cONcepts) voor, een neurosymbolisch kader dat actieherkenning herformuleert als concept-gedreven eerste-orde logisch redeneren over leerbare bewegingsprimitieven. Het kader werkt via vier kernfasen:

1. Generatie van een Conceptbank

In plaats van te vertrouwen op handmatige heuristieken, construeren de auteurs een conceptbank $\mathcal{C}$ bestaande uit ruimtelijke, temporele en interactieve bewegingsprimitieven met behulp van een drie-fasen Large Language Model (LLM) pijplijn:

• Generatie van Beschrijvingen: Een LLM (GPT-3) decomposeert acties in fijnmazige lichaamsdeelbeschrijvingen (bijv. "Been: buigt bij de knieën en duwt explosief").
• Abstractie en Clustering: Ruwe beschrijvingen worden omgezet in canonieke concepten door werkwoord-richting-bewerker patronen te extraheren, ze te embedden en te clusteren via k-means. Dit levert ruimtelijke concepten op (bijv. armheffen, sprong met benen).
• Definitie van Temporele en Interactieconcepten: Expliciete temporele concepten worden gedefinieerd om bewegingsrichting (beweging omhoog), volgorde (handen eerst) en dynamiek (snelheid snel) vast te leggen. Een interactieconcept behandelt wederzijdse acties.
• Associatie: Een tweede LLM (LLaMA-3.2) koppelt acties aan de conceptbank, waardoor een binaire associatiematrix $M$ ontstaat waarbij $M_{a,c}=1$ als concept $c$ actief is voor actie $a$. De uiteindelijke bank bevat 74 concepten (52 ruimtelijk, 21 temporeel, 1 interactie).

2. Leren van Skeletrepresentatie

Een standaard spatio-temporele skeletencoder (bijv. Hyper-GCN) verwerkt invoersequenties $X \in \mathbb{R}^{T \times V \times 3}$ zonder globale pooling om fijnmazige bewegingsinformatie te behouden. De encoder voedt drie takken:

• STC-Decoder: Voorspelt conceptactivaties.
• Tekstalignering: Aligneert gepoolde skeletkenmerken met concept-geankerde tekstembeddings (gegenereerd door een CLIP-encoder met LoRA-finetuning) met behulp van een contrastief verlies ($L_{align}$). Dit zorgt ervoor dat de skeletkenmerken clusteren met hun semantische beschrijvingen.
• Deeldivergentie: Een verlies ($L_{div}$) straft hoge cosinusgelijkenis tussen kenmerken van verschillende lichaamsdelen af, waardoor discriminatieve representaties voor elk anatomisch gebied worden gewaarborgd.

3. Spatio-Temporele Conceptdecoder (STC-Decoder)

Deze module overbrugt continue kenmerken en symbolische predicaten. Ze ontkoppelt encoderkenmerken in ruimtelijke ($F_s$) en temporele ($F_t$) stromen.

• Groepsdecoding: Om de complexiteit van heterogene conceptrelaties te hanteren, worden concepten in groepen onderverdeeld. Leerbaar query-matrices voeren cross-attention uit om selectief skeletinformatie te aggregeren die relevant is voor specifieke conceptsubsets.
• Voorspelling: Een Group-FC-laag projecteert deze queries naar zachte conceptkansen $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. Differentieerbaar Eerste-orde Logisch Redeneren

Om end-to-end training mogelijk te maken terwijl discrete interpreteerbaarheid behouden blijft:

• Binarisatie: Zachte voorspellingen worden gebinariseerd ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) met behulp van een Straight-Through Estimator (STE) om gradientflow mogelijk te maken.
• Logische Lagen: Gestapelde lagen van conjunctie (EN) en disjunctie (OF) componeren concepten tot regels.
• Gradiententekening: Tijdens de forward-pass worden discrete operaties en gewichten gebruikt voor inferentie. Tijdens backpropagatie worden gradients berekend via continue relaxaties (zachte EN/OF) en op de discrete weg "getekend", waardoor het leren van schaarse, interpreteerbare logische regels mogelijk wordt.
• Classificatie: Een lineaire classifier koppelt regelactivaties aan uiteindelijke actievoorspellingen.

Belangrijkste Bijdragen

1. REASON Kader: Een nieuwe neurosymbolische formulering voor skeletgebaseerde HAR die concept-geankerde representaties integreert met differentieerbare eerste-orde logica voor end-to-end training.
2. STC-Decoder: Een gespecialiseerde decoder die onafhankelijk ruimtelijke lichaamsconfiguratie- en temporele bewegingsdynamiekconcepten extrahet, waardoor robuuste abstracties tegen uitvoeringsvariabiliteit worden geboden.
3. Conceptbank: Een gecureerde bank van 74 ruimtelijke en dynamische bewegingsconcepten voor de NTU RGB+D en NW-UCLA datasets, gegenereerd via LLM's om semantische rijkdom te waarborgen zonder handmatige enumeratie.
4. Interpreteerbaarheid: Het systeem biedt zowel lokale interpreteerbaarheid (instantie-specifieke conceptactivaties) als globale interpreteerbaarheid (voor mensen leesbare logische regels die actie-semantiek beheersen).

Experimentele Resultaten

Het kader werd geëvalueerd op de NTU RGB+D 60/120 en NW-UCLA benchmarks.

• Prestaties: REASON behaalt concurrerende prestaties en overtreft diverse black-box baselines.
  • Op NTU RGB+D 60 (X-Sub) bereikt het 94,3% nauwkeurigheid (4-stroom), wat beter is dan sterke GCN-baselines zoals Hyper-GCN (93,7%) en BlockGCN (93,1%).
  • Op NTU RGB+D 120 (X-Set) bereikt het 91,9%.
  • Op NW-UCLA bereikt het 97,9%.
• LLM Her-ranking: Een optionele her-rangschikkingsfase met LLaMA-3.2 7B, gebaseerd op conceptactivaties, verhoogt de prestaties verder tot 95,6% (NTU-60 X-Sub) en 93,2% (NTU-120 X-Set), en presteert beter dan andere LLM-verrijkte methoden die vertrouwen op ondoorzichtige kenmerken.
• Ablatiestudies:
  • Temporele Concepten: Het toevoegen van temporele concepten aan ruimtelijke concepten verbeterde de nauwkeurigheid met +7,8%, wat hun noodzaak bevestigt om vergelijkbare houdingen te onderscheiden.
  • Capaciteit van de Logische Laag: Een configuratie met 128 knopen was optimaal; het uitschakelen van negatie veroorzaakte een catastrofale daling naar 49,87%, wat de noodzaak van $\neg$-concepten benadrukt (bijv. het onderscheiden van staan van lopen via $\neg$ been lopen).
  • Conceptinterventie: Het corrigeren van verkeerd voorspelde concepten in de logische keten verbeterde de nauwkeurigheid monotoon (tot +5,67% voor 3 correcties), wat bewijst dat fouten voornamelijk voortkomen uit verkeerde conceptvoorspelling en niet uit gebrekkige logische regels.

Betekenis en Claims

Het artikel stelt dat neurosymbolisch redeneren een effectief paradigma is voor interpreteerbaar spatio-temporeel actiebegrip. Door skeletrepresentaties te verankeren in leerbare bewegingsconcepten en deze te componeren via differentieerbare logica, bereikt REASON state-of-the-art prestaties terwijl het volledig transparante concept-regel redeneringsketens behoudt.

In tegenstelling tot eerdere werken die vertrouwen op post-hoc verklaringen of breekbare handgemaakte regels, leert REASON actiedefiniërende regels direct uit data. De auteurs benadrukken dat deze aanpak systematische analyse mogelijk maakt van zowel correcte classificaties als falende gevallen, en een weg biedt naar betrouwbaar AI in veiligheidskritieke toepassingen waar het "waarom" achter een voorspelling even belangrijk is als de voorspelling zelf. Het kader demonstreert dat het mogelijk is om de kloof tussen neurale perceptie en symbolische inferentie te overbruggen zonder nauwkeurigheid of schaalbaarheid op te offeren.