Resumen Técnico: Un Marco Neurosimbólico para la Detección de Convulsiones Basada en Esqueletos e Interpretable mediante el Razonamiento Lógico Impulsado por Conceptos

Planteamiento del Problema

La detección de convulsiones basada en video es crítica para el manejo de la epilepsia, ofreciendo una alternativa no invasiva a la electroencefalografía (EEG). Sin embargo, los enfoques actuales de aprendizaje profundo para esta tarea enfrentan dos limitaciones primarias:

1. Falta de Interpretabilidad: Los modelos actuales de vanguardia (SOTA) funcionan como "cajas negras". En la epileptología clínica, las decisiones dependen de la comprensión de la semiología motora específica (signos observables como la postura tónica o el sacudimiento clónico) definida por la Liga Internacional Contra la Epilepsia (ILAE). Los modelos que detectan convulsiones sin explicar estos signos motores subyacentes ofrecen un valor clínico limitado y dificultan su adopción.
2. Altas Tasas de Falsos Positivos: La mayoría de los métodos adoptan una formulación binaria (convulsión vs. no convulsión). Esto colapsa actividades normales heterogéneas (por ejemplo, un paciente ajustando su posición) en una única clase negativa, lo que provoca que el modelo confunda actividades de movimiento intensivo con convulsiones, resultando en altas tasas de detección falsa.

Metodología

Los autores proponen un marco neurosimbólico que integra la percepción neuronal con el razonamiento simbólico para abordar estas brechas. El marco opera en tres etapas:

1. Preprocesamiento de Datos y Etiquetado de Grano Fino

• Extracción de Pose Centrada en el Paciente: Para manejar los desafíos únicos de los videos de la Unidad de Monitoreo de Epilepsia (EMU) (por ejemplo, pacientes en decúbito supino, oclusiones por la ropa de cama), los autores emplean un pipeline de modelo fundacional de dos etapas. SAM 3 segmenta y rastrea al paciente, mientras que Sapiens-2B extrae 133 puntos clave de COCO-WholeBody. Estos se mapean a un formato estándar de 25 articulaciones de NTU RGB+D para aprovechar las redes convolucionales de grafos (GCN) preentrenadas.
• Subclasificación de Actividad de Grano Fino: En lugar de una etiqueta binaria de "no convulsión", los autores utilizan un Modelo de Lenguaje-Visión (Qwen3-VL) con prompts clínicos para subclasificar los segmentos de no convulsión en 8 categorías distintas de actividad normal. Estas son verificadas por anotadores humanos. Esto proporciona una supervisión discriminativa de grano fino para reducir los falsos positivos.

2. Construcción del Banco de Conceptos

Se construye un banco de conceptos unificado ($C$), fundamentado en la semiología motora de la ILAE y en primitivas de actividad normal:

• Conceptos de Actividad Normal: Derivados del conjunto de datos NTU RGB+D 120, se generan 74 conceptos (53 espaciales, 21 temporales) descomponiendo las acciones en grupos de partes del cuerpo y utilizando LLMs para crear patrones de verbo-dirección-modificador.
• Conceptos Específicos de Convulsiones: 19 conceptos espaciales se derivan directamente del glosario de la ILAE (por ejemplo, arm_tonic_posture, head_versive_deviation), cubriendo varios tipos de convulsiones (tónicas, clónicas, mioclónicas, etc.).
• Conceptos Temporales Compartidos: Los 21 conceptos temporales de las actividades normales se comparten entre ambos regímenes para capturar la dinámica del movimiento.
• Matriz de Asociación: Un LLM genera una matriz de asociación binaria que vincula las acciones con estos conceptos, refinada para asegurar la discriminabilidad.

3. Marco de Inferencia Neurosimbólica

La arquitectura central procesa secuencias de esqueletos a través de cuatro etapas:

1. Codificador Espacio-Temporal: Una red de fondo GCN (Hyper-GCN) extrae características de movimiento de la secuencia del esqueleto.
2. Cuello de Botella de Conceptos: Las características se proyectan a activaciones de conceptos binarios ($\hat{c}$). El modelo es supervisado para predecir la presencia de primitivas de movimiento específicas (por ejemplo, "endurecimiento de brazos") antes de tomar una decisión final.
3. Capas de Lógica Diferenciable: Capas de conjunción (AND) y disyunción (OR) apiladas componen las activaciones de conceptos binarios en reglas booleanas. Para permitir el entrenamiento, las operaciones booleanas discretas se reemplazan con relajaciones continuas (usando un Estimador de Paso Directo o Straight-Through Estimator) que permiten el flujo de gradientes mientras mantienen pesos discretos para la inferencia.
4. Agregación de Reglas: Una capa lineal agrega las reglas activadas en logits de clase. Esto produce un rastro de auditoría de tres niveles:
   • Explicaciones de Conceptos: Qué primitivas motoras fueron detectadas.
   • Explicaciones de Reglas: Cómo se compusieron lógicamente los conceptos.
   • Contribuciones de Reglas: El peso de cada regla en la decisión final.

Principales Contribuciones

1. Primer Marco Neurosimbólico para la Detección de Convulsiones: El artículo presenta el primer enfoque de detección de convulsiones basado en video que aprende reglas booleanas diferenciables sobre conceptos de movimiento fundamentados en la ILAE, cerrando directamente la brecha entre el aprendizaje profundo y el razonamiento clínico.
2. Dataset de Esqueletos de Grano Fino: Los autores aumentan dos benchmarks públicos (SAHZU e IEEE) con 8 subclases de actividad normal mediante un pipeline de extracción de pose centrado en el paciente y anotación asistida por VLM, liberando públicamente todas las anotaciones y el código.
3. Validación Empírica de la Supervisión de Grano Fino: El estudio demuestra que combinar la supervisión de actividad normal de grano fino con el razonamiento neurosimbólico reduce significamente los falsos positivos en segmentos de movimiento intensivo, preservando la interpretabilidad.

Resultados Experimentales

El marco fue evaluado en los conjuntos de datos SAHZU e IEEE Seizure Video, comparándolo contra 18 líneas base SOTA (incluyendo I3D, R3D y varios métodos de esqueleto basados en GCN).

• Desempeño:
  • SAHZU: Logró una sensibilidad del 89.78% con 0.06 detecciones falsas por hora (FDR). Esto representa una ganancia de +7.37% en sensibilidad y una reducción del 68% en el FDR en comparación con la línea base de esqueleto más fuerte (HyperGCN).
  • IEEE: Logró una sensibilidad del 85.27% con 0.09 FDR, superando a la mejor línea base con un +5.74% de sensibilidad y una reducción del 63% en el FDR.
• Estudios de Ablación:
  • Preentrenamiento: El preentrenamiento en NTU-RGB+D 120 fue esencial; eliminarlo causó una caída del 11.16% en la sensibilidad.
  • Formulación Multietiqueta: Cambiar de clasificación binaria a multietiqueta (grano fino) mejoró la sensibilidad en un 6.47% y redujo el FDR en 3.5 veces.
  • Conceptos Temporales: La inclusión de conceptos temporales aumentó la sensibilidad en 9.17 puntos en comparación con los conceptos puramente espaciales.
• Interpretabilidad: A diferencia de todos los otros métodos en la comparación, este marco proporciona interpretabilidad total, descomponiendo cada predicción en primitivas motoras detectadas, reglas lógicas y contribuciones de reglas.

Significado y Reivindicaciones

Los autores afirman que este trabajo representa un paso significativo hacia la traslación clínica de la IA en el manejo de la epilepsia. Al alinear el razonamiento interno del modelo con las pautas clínicas establecidas (semiología de la ILAE), el marco ofrece una toma de decisiones auditable en lugar de predicciones opacas. La capacidad de descomponer una detección de convulsión en reglas lógicas específicas (por ejemplo, "endurecimiento de extremidades bilaterales" Y "sacudidas rítmicas") permite a los clínicos verificar el razonamiento del modelo frente a su propia experiencia. Además, la reducción de los falsos positivos mediante el modelado de actividad de grano fino aborda una barrera práctica importante para el despliegue de la detección automatizada de convulsiones en entornos hospitalarios reales. Los autores posicionan esto como la primera exploración de la IA neurosimbólica en este dominio específico, sentando las bases para trabajos futuros en la subclasificación de convulsiones y una validación clínica más amplia.