Technische Samenvatting: Een Neurosymbolisch Raamwerk voor Interpreteerbare Op Basis van Skelet Gebaseerde Epileptische Aanvaldetectie via Concept-gestuurde Logische Redenering

Probleemstelling

Videogebaseerde detectie van epileptische aanvallen is cruciaal voor het beheer van epilepsie en biedt een niet-invasief alternatief voor elektro-encefalografie (EEG). Bestaande deep learning-benaderingen voor deze taak kampen echter met twee primaire beperkingen:

1. Gebrek aan Interpreteerbaarheid: Huidige state-of-the-art (SOTA) modellen fungeren als "black boxes". In de klinische epileptologie berusten beslissingen op het begrijpen van specifieke motorische semiologie (waarneembare tekenen zoals tonische posturing of cloonse schokken), gedefinieerd door de International League Against Epilepsy (ILAE). Modellen die aanvallen detecteren zonder de onderliggende motorische tekenen toe te lichten, bieden beperkte klinische waarde en hinderen adoptie.
2. Hoge Vals-positieve Ratio's: De meeste methoden hanteren een binaire formulering (aanval versus geen aanval). Dit reduceert heterogene normale activiteiten (bijv. een patiënt die van positie verandert) tot een enkele negatieve klasse, waardoor het model bewegingsintensieve niet-aanvalactiviteiten kan verwarren met aanvallen, wat leidt tot hoge foutdetectieratio's.

Methodologie

De auteurs stellen een neurosymbolisch raamwerk voor dat neurale perceptie integreert met symbolische redenering om deze hiaten aan te pakken. Het raamwerk werkt in drie stadia:

1. Datapre-processing en Fijnmazige Labeling

• Patiënt-centrische Pose Extractie: Om de unieke uitdagingen van Epilepsy Monitoring Unit (EMU) video's aan te pakken (bijv. patiënten in rugligging, obstructies door beddengoed), gebruiken de auteurs een tweestaps foundation model pipeline. SAM 3 segmenteert en volgt de patiënt, terwijl Sapiens-2B 133 COCO-WholeBody sleutelpunten extraheert. Deze worden gemapt naar een standaard 25-joint NTU RGB+D formaat om gepre-trainde Graph Convolutional Network (GCN) backbones te kunnen benutten.
• Fijnmazige Activiteit Sub-classificatie: In plaats van een binaire "geen aanval"-label, gebruiken de auteurs een Vision-Language Model (Qwen3-VL) met klinische prompts om niet-aanvalsegmenten te sub-classificeren in 8 verschillende normale activiteitscategorieën. Deze worden geverifieerd door menselijke annotatoren. Dit zorgt voor fijnmazige discriminatieve supervisie om vals-positieven te verminderen.

2. Constructie van de Conceptenbank

Een verenigde conceptenbank ($C$) wordt geconstrueerd, geworteld in de ILAE motorische semiologie en normale activiteitsprimitieven:

• Normale Activiteitconcepten: Afgeleid van de NTU RGB+D 120 dataset, worden 74 concepten (53 ruimtelijk, 21 temporeel) gegenereerd door acties te deconstrueren in lichaamsdeelgroepen en LLM's te gebruiken om werkwoord-richting-modifier patronen te creëren.
• Aanvals-specifieke Concepten: 19 ruimtelijke concepten zijn direct afgeleid van de ILAE-glossary (bijv. arm_tonic_posture, head_versive_deviation), die diverse typen aanvallen dekken (tonisch, cloon, myocloon, etc.).
• Gedeelde Temporele Concepten: De 21 temporele concepten van normale activiteiten worden gedeeld over beide regimes om de bewegingsdynamiek te vangen.
• Associatiematrix: Een LLM genereert een binaire associatiematrix die acties aan deze concepten koppelt, verfijnd om discriminatie te waarborgen.

3. Neurosymbolisch Inferentie Raamwerk

De kernarchitectuur verwerkt skeletsequenties via vier stadia:

1. Spatio-Temporele Encoder: Een GCN-backbone (Hyper-GCN) extraheert bewegingskenmerken uit de skeletsequentie.
2. Concept Bottleneck: Kenmerken worden geprojecteerd naar binaire concept-activaties ($\hat{c}$). Het model wordt gesuperviseerd om de aanwezigheid van specifieke bewegingsprimitieven (bijv. "armverstijving") te voorspellen voordat een definitieve beslissing wordt genomen.
3. Differentieerbare Logische Lagen: Gestapelde conjunctie (AND) en disjunctie (OR) lagen componeren de binaire concept-activaties tot Booleaanse regels. Om training mogelijk te maken, worden discrete Booleaanse operaties vervangen door continue relaxaties (met behulp van een Straight-Through Estimator) die gradiëntstroom mogelijk maken terwijl discrete gewichten behouden blijven voor inferentie.
4. Regel Aggregatie: Een lineaire laag aggregeert de getriggerde regels in klasse-logits. Dit produceert een audit trail op drie niveaus:
   • Concept Verklaringen: Welke motorische primitieven zijn gedetecteerd.
   • Regel Verklaringen: Hoe concepten logisch zijn samengesteld.
   • Regel Bijdragen: Het gewicht van elke regel in de uiteindelijke beslissing.

Belangrijkste Bijdragen

1. Eerste Neurosymbolisch Raamwerk voor Aanvaldetectie: Het artikel presenteert de eerste benadering van videogebaseerde aanvaldetectie die differentieerbare Booleaanse regels leert over ILAE-gegronde bewegingsconcepten, waarmee de kloof tussen deep learning en klinische redenering direct wordt overbrugd.
2. Fijnmazige Skelet-gebaseerde Dataset: De auteurs verrijken twee publieke benchmarks (SAHZU en IEEE) met 8 normale activiteitssubklassen via een patiënt-gecentreerde pose extractie pipeline en VLM-ondersteunde annotatie, waarbij alle annotaties en code publiekelijk beschikbaar worden gesteld.
3. Empirische Validatie van Fijnmazige Supervisie: De studie toont aan dat het combineren van fijnmazige normale activiteitssupervisie met neurosymbolische redenering de vals-positieven op bewegingsintensieve segmenten aanzienlijk vermindert terwijl de interpreteerbaarheid behouden blijft.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op de SAHZU en IEEE Seizure Video datasets, waarbij het werd vergeleken met 18 SOTA-baselines (inclusief I3D, R3D en diverse GCN-gebaseerde skeletmethoden).

• Prestaties:
  • SAHZU: Behaalde 89,78% sensitiviteit met 0,06 valse detecties per uur (FDR). Dit vertegenwoordigt een winst van +7,37% in sensitiviteit en een reductie van 68% in FDR vergeleken met de sterkste skelet-baseline (HyperGCN).
  • IEEE: Behaalde 85,27% sensitiviteit met 0,09 FDR, waarmee het de beste baseline versloeg met +5,74% sensitiviteit en 63% reductie in FDR.
• Ablatie Studies:
  • Pre-training: Pre-training op NTU-RGB+D 120 was essentieel; het verwijderen hiervan veroorzaakte een daling van 11,16% in sensitiviteit.
  • Multi-label Formulering: Het overschakelen van binaire naar multi-label (fijnmazige) classificatie verbeterde de sensitiviteit met 6,47% en verminderde de FDR met 3,5×.
  • Temporele Concepten: Het opnemen van temporele concepten verhoogde de sensitiviteit met 9,17 punten vergeleken met enkel ruimtelijke concepten.
• Interpreteerbaarheid: In tegenstelling tot alle andere methoden in de vergelijking, biedt dit raamwerk volledige interpreteerbaarheid door elke voorspelling te deconstrueren in gedetecteerde motorische primitieven, logische regels en regelbijdragen.

Betekenis en Claims

De auteurs beweren dat dit werk een belangrijke stap vormt naar de klinische vertaling van AI in epilepsiebeheer. Door de interne redenering van het model af te stemmen op gevestigde klinische richtlijnen (ILAE semiologie), biedt het raamwerk auditbare besluitvorming in plaats van opieke voorspellingen. Het vermogen om een aanvaldetectie te deconstrueren in specifieke logische regels (bijv. "bilaterale ledemaatverstijving" EN "ritmische schokken") stelt clinici in staat om de redenering van het model te verifiëren tegenover hun eigen expertise. Bovendien adresseert de reductie van vals-positieven door fijnmazige activiteitsmodellering een groot praktisch obstakel voor de implementatie van geautomatiseerde aanvaldetectie in echte ziekenhuisomgevingen. De auteurs positioneren dit als de eerste verkenning van neurosymbolische AI in dit specifieke domein, wat een fundament legt voor toekomstig werk in de sub-classificatie van aanvallen en bredere klinische validatie.