Riepilogo Tecnico: Un Framework Neurosimbolico per il Rilevamento Interpretabile delle Crisi Basato su Scheletri tramite Ragionamento Logico Guidato dai Concetti

Definizione del Problema

Il rilevamento delle crisi basato su video è fondamentale per la gestione dell'epilessia, offrendo un'alterna non invasiva all'elettroencefalografia (EEG). Tuttavia, gli approcci attuali di deep learning per questo compito affrontano due limitazioni primarie:

1. Mancanza di Interpretabilità: Gli attuali modelli allo stato dell'arte (SOTA) funzionano come "black box". Nella clinica epilettologica, le decisioni si basano sulla comprensione di una specifica semiologia motoria (segni osservabili come la postura tonica o il tremore clonoico) definita dalla Lega Internazionale contro l'Epilessia (ILAE). I modelli che rilevano le crisi senza esplicitare questi segni motori sottostanti offrono un valore clinico limitato e ne ostacolano l'adozione.
2. Elevati Tassi di Falsi Positivi: La maggior parte dei metodi adotta una formulazione binaria (crisi vs non-crisi). Questo collassa attività normali eterogenee (ad esempio, un paziente che cambia posizione) in un unico classe negativa, causando la confusione del modello tra attività non legate a crisi ad alta intensità di movimento e le crisi stesse, portando a elevati tassi di falsi rilevamenti.

Metodologia

Gli autori propongono un framework neurosimbolico che integra la percezione neurale con il ragionamento simbolico per affrontare queste lacune. Il framework opera in tre fasi:

1. Pre-elaborazione dei Dati e Etichettatura Fine-Grained

• Estrazione della Posa Centrata sul Paziente: Per gestire le sfide uniche dei video delle Unità di Monitoraggio dell'Epilessia (EMU) (ad esempio, pazienti in posizione supina, occlusioni da parte della biancheria da letto), gli autori impiegano una pipeline di modelli foundation a due stadi. SAM 3 segmenta e traccia il paziente, mentre Sapiens-2B estrae 133 keypoint COCO-WholeBody. Questi vengono mappati su un formato standard a 25 giunti NTU RGB+D per sfruttare i backbone di Graph Convolutional Network (GCN) pre-addestrati.
• Sottoclassificazione Fine-Grained delle Attività: Inveve di un'etichetta binaria "non-crisi", gli autori utilizzano un Modello Vision-Language (Qwen3-VL) con prompt clinici per sottoclassificare i segmenti di non-crisi in 8 distinte categorie di attività normale. Questi sono verificati da annotatori umani. Ciò fornisce una supervisione discriminativa fine-grained per ridurre i falsi positivi.

2. Costruzione del Concept Bank

Un banco di concetti unificato ($C$) è costruito, basato sulla semiologia motoria ILAE e sulle primitive di attività normale:

• Concetti di Attività Normale: Derivati dal dataset NTU RGB+D 120, 74 concetti (53 spaziali, 21 temporali) sono generati scomponendo le azioni in gruppi di parti del corpo e utilizzando LLM per creare pattern verbo-direzione-modificatore.
• Concetti Specifici delle Crisi: 19 concetti spaziali sono derivati direttamente dal glossario ILAE (ad esempio, arm_tonic_posture, head_versive_deviation), coprendo vari tipi di crisi (tonica, clonica, mioclonica, ecc.).
• Concetti Temporali Condivisi: I 21 concetti temporali delle attività normali sono condivisi tra entrambi i regimi per catturare la dinamica del movimento.
• Matrice di Associazione: Un LLM genera una matrice di associazione binaria che collega le azioni a questi concetti, raffinata per garantire la discriminabilità.

3. Framework di Inferenza Neurosimbolica

L'architettura centrale elabora le sequenze di scheletri attraverso quattro fasi:

1. Encoder Spazio-Temporale: Un backbone GCN (Hyper-GCN) estrae le caratteristiche del movimento dalla sequenza dello scheletro.
2. Bottleneck dei Concetti: Le caratteristiche sono proiettate in attivazioni di concetti binari ($\hat{c}$). Il modello è supervisionato per predire la presenza di specifiche primitive di movimento (ad esempio, "irrigidimento delle braccia") prima di prendere una decisione finale.
3. Livelli di Logica Differenziabile: Strati di congiunzione (AND) e disgiunzione (OR) impilati compongono le attivazioni dei concetti binari in regole Booleane. Per consentire l'addestramento, le operazioni Booleane discrete sono sostituite con rilassamenti continui (utilizzando uno Straight-Through Estimator) che permettono il flusso del gradiente pur mantenendo pesi discreti per l'inferenza.
4. Aggregazione delle Regole: Un livello lineare aggrega le regole attivate nei logit della classe. Questo produce una traccia di audit a tre livelli:
   • Spiegazioni dei Concetti: Quali primitive motorie sono state rilevate.
   • Spiegazioni delle Regole: Come i concetti sono stati logicamente composti.
   • Contributi delle Regole: Il peso di ogni regola nella decisione finale.

Contributi Chiave

1. Primo Framework Neurosimbolico per il Rilevamento delle Crisi: Il documento presenta il primo approccio al rilevamento delle crisi basato su video che apprende regole Booleane differenziabili su concetti di movimento radicati nella ILAE, colmando direttamente il divario tra deep learning e ragionamento clinico.
2. Dataset Basato su Scheletri Fine-Grained: Gli autori aumentano due benchmark pubblici (SAHZU e IEEE) con 8 sottoclassi di attività normale tramite una pipeline di estrazione della posa focalizzata sul paziente e annotazione assistita da VLM, rilasciando pubblicamente tutte le annotazioni e il codice.
3. Validazione Empirica della Supervisione Fine-Grained: Lo studio dimostra che combinare la supervisione fine-grained delle attività normali con il ragionamento neurosimbolico riduce significativamente i falsi positivi sui segmenti ad alta intensità di movimento, preservando al contempo l'interpretabilità.

Risultati Sperimentali

Il framework è stato valutato sui dataset SAHZU e IEEE Seizure Video, confrontandolo con 18 baseline SOTA (inclusi I3D, R3D e vari metodi basati su scheletro GCN).

• Performance:
  • SAHZU: Ha raggiunto una sensibilità dell'89,78% con 0,06 falsi rilevamenti per ora (FDR). Ciò rappresenta un guadagno di sensibilità del +7,37% e una riduzione del 68% del FDR rispetto alla più forte baseline di scheletro (HyperGCN).
  • IEEE: Ha raggiunto una sensibilità dell'85,27% con 0,09 FDR, superando la migliore baseline con +5,74% di sensibilità e una riduzione del 63% del FDR.
• Studi di Ablazione:
  • Pre-addestramento: Il pre-addestramento su NTU-RGB+D 120 era essenziale; rimuoverlo ha causato un calo della sensibilità dell'11,16%.
  • Formulazione Multi-label: Passare dalla classificazione binaria a quella multi-label (fine-grained) ha migliorato la sensibilità del 6,47% e ridotto il FDR di 3,5 volte.
  • Concetti Temporali: L'inclusione di concetti temporali ha aumentato la sensibilità di 9,17 punti rispetto ai soli concetti spaziali.
• Interpretabilità: A differenza di tutti gli altri metodi nel confronto, questo framework fornisce piena interpretabilità, scomponendo ogni predizione in primitive motorie rilevate, regole logiche e contributi delle regole.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro rappresenta un passo significativo verso la traduzione clinica dell'IA nella gestione dell'epilessia. Allineando il ragionamento interno del modello con le linee guida cliniche stabilite (semiologia ILAE), il framework offre un processo decisionale verificabile anziché predizioni opache. La capacità di scomporre il rilevamento di una crisi in specifiche regole logiche (ad esempio, "irrigidimento degli arti bilaterale" AND "tremore ritmico") permette ai clinici di verificare il ragionamento del modello rispetto alla propria esperienza. Inoltre, la riduzione dei falsi positivi attraverso la modellazione delle attività fine-grained affronta una barriera pratica fondamentale per l'implementazione del rilevamento automatico delle crisi in contesti ospedalieri reali. Gli autori pongono questo lavoro come la prima esplorazione dell'IA neurosimbolica in questo specifico dominio, ponendo le basi per lavori futuri nella sottoclassificazione delle crisi e in una più ampia validazione clinica.