Resumen Técnico: REASON – Un Marco Neurosimbólico para el Razonamiento Lógico Impulsado por Conceptos en el Reconocimiento de Acciones Humanas Basado en Esqueletos

Declaración del Problema

El Reconocimiento de Actividades Humanas (HAR) basado en esqueletos ha logrado un fuerte rendimiento empírico utilizando modelos de aprendizaje profundo, particularmente Redes de Convolución Gráfica (GCN). Sin embargo, estos modelos funcionan como "cajas negras", careciendo de interpretabilidad. Esta opacidad es problemática para dominios de alto riesgo como la atención sanitaria y la rehabilitación, donde la toma de decisiones transparente es esencial. Además, los enfoques neurosimbólicos existentes enfrentan desafíos fundamentales de integración:

1. Anclaje Simbólico: Conectar trayectorias continuas de articulaciones con predicados simbólicos discretos es difícil. Las heurísticas tradicionales (por ejemplo, "ángulo de la rodilla < 90°") son frágiles y fallan bajo variaciones de postura o cambios de punto de vista.
2. Dinámicas Temporales: Las acciones son inherentemente temporales. La lógica puramente espacial no puede distinguir acciones con posturas estáticas similares pero diferentes órdenes de ejecución o direcciones de movimiento (por ejemplo, Ponerse las Gafas vs. Quitarse las Gafas).
3. Aprendizaje de Extremo a Extremo: Los operadores booleanos discretos suelen bloquear la propagación del gradiente, impidiendo la optimización conjunta de la percepción (extracción de características) y el razonamiento (aplicación de reglas).

Metodología: El Marco REASON

Los autores proponen REASON (Acción Explicable Basada en Reglas mediante cONceptos Simbólicos), un marco neurosimbólico que reformula el reconocimiento de acciones como razonamiento lógico de primer orden impulsado por conceptos sobre primitivas de movimiento aprendibles. El marco opera a través de cuatro etapas clave:

1. Generación del Banco de Conceptos

En lugar de depender de heurísticas manuales, los autores construyen un banco de conceptos $\mathcal{C}$ que comprende primitivas de movimiento espaciales, temporales e interactivas utilizando una tubería de tres etapas con un Modelo de Lenguaje Grande (LLM):

• Generación de Descripción: Un LLM (GPT-3) descompone las acciones en descripciones detalladas de partes del cuerpo (por ejemplo, "Pierna: se dobla en las rodillas y luego empuja explosivamente").
• Abstracción y Agrupamiento: Las descripciones crudas se convierten en conceptos canónicos extrayendo patrones verbo-dirección-modificador, incrustándolos y agrupándolos mediante k-medias. Esto produce conceptos espaciales (por ejemplo, levantar brazo, saltar con la pierna).
• Definición Temporal e Interactiva: Se definen conceptos temporales explícitos para capturar la dirección del movimiento (movimiento hacia arriba), la secuencia (manos primero) y la dinámica (velocidad rápida). Un concepto de interacción maneja acciones mutuas.
• Asociación: Un segundo LLM (LLaMA-3.2) empareja las acciones con el banco de conceptos, creando una matriz de asociación binaria $M$ donde $M_{a,c}=1$ si el concepto $c$ está activo para la acción $a$. El banco final contiene 74 conceptos (52 espaciales, 21 temporales, 1 de interacción).

2. Aprendizaje de Representación de Esqueletos

Un codificador de esqueleto espaciotemporal estándar (por ejemplo, Hyper-GCN) procesa las secuencias de entrada $X \in \mathbb{R}^{T \times V \times 3}$ sin agrupación global para preservar la información de movimiento detallada. El codificador alimenta tres ramas:

• Decodificador STC: Predice las activaciones de conceptos.
• Alineación de Texto: Alinea las características agrupadas del esqueleto con incrustaciones de texto ancladas a conceptos (generadas por un codificador CLIP con ajuste fino LoRA) utilizando una pérdida de contraste ($L_{align}$). Esto asegura que las características del esqueleto se agrupen con sus descripciones semánticas.
• Divergencia de Partes: Una pérdida ($L_{div}$) penaliza la alta similitud coseno entre las características de diferentes partes del cuerpo, asegurando representaciones discriminativas para cada región anatómica.

3. Decodificador de Conceptos Espaciotemporales (Decodificador STC)

Este módulo conecta características continuas y predicados simbólicos. Desacopla las características del codificador en flujos espacial ($F_s$) y temporal ($F_t$).

• Decodificación por Grupos: Para manejar la complejidad de las relaciones heterogéneas entre conceptos, los conceptos se dividen en grupos. Matrices de consulta aprendibles realizan atención cruzada para agregar selectivamente información del esqueleto relevante para subconjuntos específicos de conceptos.
• Predicción: Una capa FC por grupos proyecta estas consultas en probabilidades suaves de concepto $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. Razonamiento Diferenciable de Lógica de Primer Orden

Para permitir el entrenamiento de extremo a extremo manteniendo la interpretabilidad discreta:

• Binización: Las predicciones suaves se binarizan ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) utilizando un Estimador de Paso Directo (STE) para permitir el flujo de gradientes.
• Capas Lógicas: Capas apiladas de conjunción (Y) y disyunción (O) componen conceptos en reglas.
• Injerto de Gradientes: Durante el paso hacia adelante, se utilizan operaciones y pesos discretos para la inferencia. Durante la retropropagación, los gradientes se calculan a través de relajaciones continuas (Y/O suaves) y se "injertan" en la ruta discreta, permitiendo el aprendizaje de reglas lógicas dispersas e interpretables.
• Clasificación: Un clasificador lineal mapea las activaciones de reglas a las predicciones finales de acción.

Contribuciones Clave

1. Marco REASON: Una formulación neurosimbólica novedosa para HAR basado en esqueletos que integra representaciones ancladas a conceptos con lógica de primer orden diferenciable para entrenamiento de extremo a extremo.
2. Decodificador STC: Un decodificador especializado que extrae independientemente conceptos de configuración corporal espacial y dinámicas de movimiento temporal, proporcionando abstracciones robustas frente a la variabilidad de ejecución.
3. Banco de Conceptos: Un banco curado de 74 conceptos de movimiento espaciales y dinámicos para los conjuntos de datos NTU RGB+D y NW-UCLA, generado mediante LLMs para asegurar riqueza semántica sin enumeración manual.
4. Interpretabilidad: El sistema proporciona tanto interpretabilidad local (activaciones de conceptos específicas de la instancia) como interpretabilidad global (reglas lógicas legibles por humanos que gobiernan la semántica de la acción).

Resultados Experimentales

El marco se evaluó en los puntos de referencia NTU RGB+D 60/120 y NW-UCLA.

• Rendimiento: REASON logra un rendimiento competitivo, superando varias líneas base de cajas negras.
  • En NTU RGB+D 60 (X-Sub), alcanza una precisión del 94.3% (4-flujos), superando a fuertes líneas base GCN como Hyper-GCN (93.7%) y BlockGCN (93.1%).
  • En NTU RGB+D 120 (X-Set), alcanza el 91.9%.
  • En NW-UCLA, alcanza el 97.9%.
• Reordenamiento con LLM: Una etapa opcional de reordenamiento utilizando LLaMA-3.2 7B anclado en activaciones de conceptos impulsa aún más el rendimiento hasta el 95.6% (NTU-60 X-Sub) y el 93.2% (NTU-120 X-Set), superando a otros métodos aumentados con LLM que dependen de características opacas.
• Estudios de Ablación:
  • Conceptos Temporales: Añadir conceptos temporales a los espaciales mejoró la precisión en +7.8%, confirmando su necesidad para distinguir posturas similares.
  • Capacidad de la Capa Lógica: Una configuración de 128 nodos fue óptima; deshabilitar la negación causó una caída catastrófica al 49.87%, destacando la necesidad de conceptos $\neg$ (por ejemplo, distinguir estar de pie de caminar mediante $\neg$ caminar con la pierna).
  • Intervención de Conceptos: Corregir conceptos mal predichos en la cadena lógica mejoró monótonamente la precisión (hasta +5.67% para 3 correcciones), demostrando que los errores provienen principalmente de la mala predicción de conceptos y no de reglas lógicas defectuosas.

Significado y Afirmaciones

El artículo afirma que el razonamiento neurosimbólico es un paradigma efectivo para la comprensión interpretable de acciones espaciotemporales. Al anclar las representaciones de esqueletos en conceptos de movimiento aprendibles y componerlos mediante lógica diferenciable, REASON logra un rendimiento de vanguardia mientras mantiene cadenas de razonamiento de reglas-conceptos totalmente transparentes.

A diferencia de trabajos anteriores que dependen de explicaciones a posteriori o reglas manuales frágiles, REASON aprende reglas definitorias de acciones directamente de los datos. Los autores enfatizan que este enfoque permite un análisis sistemático tanto de clasificaciones correctas como de casos de fallo, ofreciendo un camino hacia la IA confiable en aplicaciones críticas para la seguridad donde el "por qué" detrás de una predicción es tan importante como la predicción en sí misma. El marco demuestra que es posible cerrar la brecha entre la percepción neuronal y la inferencia simbólica sin sacrificar la precisión ni la escalabilidad.