Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition

Resumen Técnico: Mixture-of-Modality-Experts con Aprendizaje de Tokens Holísticos para Análisis Visual Multimodal de Alta Precisión en la Reconocimiento de Acciones del Conductor

1. Problema

El reconocimiento de acciones del conductor (DAR, por sus siglas en inglés) en cabinas inteligentes presenta desafíos únicos que las soluciones multimodales existentes no abordan adecuadamente:

• Entornos Restringidos y Subtiles: A diferencia de la acción general, las acciones dentro de la cabina implican movimientos corporales limitados, gestos locales sutiles y un fondo fijo. Los modelos basados en transformadores preentrenados a gran escala tienden a depender de patrones contextuales gruesos, ignorando estas señales de movimiento finas.
• Fiabilidad Dependiente de la Entrada: La utilidad de las diferentes modalidades (RGB, Infrarrojo, Profundidad, etc.) varía dinámicamente según las condiciones de iluminación, oclusiones y el tipo de acción. Los métodos actuales utilizan módulos de fusión fijos o interacciones predefinidas que no se adaptan a cambios en la fiabilidad de las modalidades entre muestras.
• Limitaciones en la Transferencia de Conocimiento: Las estrategias de distilación existentes se centran principalmente en tokens de clase (nivel semántico alto), descuidando los tokens espaciotemporales que son cruciales para capturar detalles de movimiento sutiles necesarios en el DAR.

2. Metodología

Los autores proponen un marco de trabajo novedoso compuesto por dos componentes principales: Mixture-of-Modality-Experts (MoME) y la estrategia de Holistic Token Learning (HTL).

• Mixture-of-Modality-Experts (MoME):

  • En lugar de fusionar características con pesos fijos, el marco utiliza una arquitectura de "Mezcla de Expertos" (MoE) donde cada modalidad tiene un "experto" especializado (basado en un transformador de video, UniformerV2).
  • Mecanismo de Puerta (Gating) Consciente de la Salida: A diferencia de las puertas MoE tradicionales que ponderan expertos basándose solo en la entrada, la puerta de MoME se condiciona a las salidas de los expertos (tokens de clase). Esto permite que el sistema evalúe la confianza y los patrones de respuesta específicos de cada experto antes de fusionar, logrando una colaboración adaptativa y dinámica.

• Holistic Token Learning (HTL):

  • Esta estrategia mejora la representación interna de cada experto y la transferencia de conocimiento entre ellos mediante el aprendizaje a nivel de token, no solo a nivel de clase.
  • Auto-guía Intra-experto (Refinamiento): Utiliza una guía de "profundo a superficial". Los tokens de salida más profundos (que contienen entendimiento semántico maduro) regularizan los tokens espaciotemporales de capas más superficiales. Esto ayuda a preservar señales de movimiento sutiles y reduce la dependencia de patrones contextuales gruesos.
  • Guía Mutua Inter-experto (Colaboración): Fomenta la alineación semántica entre los expertos de diferentes modalidades. Dado que las modalidades tienen distribuciones de señal diferentes, se utiliza una pérdida de Error Cuadrático Medio (MSE) para alinear los tokens de clase entre expertos, permitiendo la transferencia de conocimiento de decisión confiable sin colapsar la diversidad de modalidades.
  • Función de Pérdida: El entrenamiento optimiza una función de pérdida combinada que incluye la pérdida de clasificación, la pérdida de auto-guía intra-experto (usando divergencia KL) y la pérdida de alineación inter-experto (usando MSE).

3. Contribuciones Clave

1. Marco MoME: Se introduce el primer enfoque que aplica la arquitectura MoE al DAR para permitir una colaboración flexible y dependiente de la entrada entre expertos de modalidades específicas, superando las limitaciones de la fusión estática.
2. Estrategia HTL: Se propone un mecanismo de aprendizaje holístico que refina tanto los tokens de clase como los tokens espaciotemporales. Esto llena el vacío en la investigación actual sobre la distilación en transformadores de video, permitiendo una transferencia de conocimiento a nivel de token tanto dentro como entre expertos.
3. Validación Exhaustiva: Se demuestra que la combinación de MoME y HTL no solo mejora el rendimiento general, sino que también aumenta la interpretabilidad del modelo, permitiendo que la atención se centre en regiones relevantes para la acción en lugar de en el fondo.

4. Resultados

• Dataset: Los experimentos se realizaron en el dataset Drive&Act, utilizando tres modalidades (RGB, Infrarrojo y Profundidad) para clasificar 34 clases de actividades de alta precisión.
• Rendimiento: El método propuesto superó a todos los baselines (líneas base) de estado del arte (SOTA), incluidos modelos de fusión temprana/tardía, Multifuser y CM2-Net.
  • Precisión Media-1 (Mean-1 Acc.): Logró un 73.82%, superando al mejor método previo (CM2-Net con 72.10%) en un 1.72%. Este aumento es significativo en clases difíciles o menos frecuentes.
  • Precisión Top-1: Alcanzó un 83.94%, superando ligeramente a los métodos más competitivos.
• Estudios de Ablación:
  • La puerta consciente de la salida (MoME) mejoró el rendimiento respecto a un MoE estándar.
  • La estrategia HTL superó a la distilación mutua basada solo en tokens de clase (MoDE), confirmando que el refinamiento de tokens espaciotemporales es crucial para el DAR.
  • HTL también demostró mejoras en modelos de modalidad única, superando a la supervisión profunda y la auto-distilación tradicionales.

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de sistemas de transporte inteligente y la interacción humano-vehículo.

• Robustez en Entornos Críticos: Proporciona una solución robusta para entornos de cabina complejos donde la iluminación y las oclusiones son variables, asegurando que el sistema no dependa de una sola modalidad fallida.
• Comprensión de Alta Precisión: Al enfocarse en detalles espaciotemporales finos, el modelo puede distinguir entre acciones similares (ej. "leer periódico" vs. "comer"), lo cual es vital para la seguridad y la intervención inteligente.
• Interpretabilidad: La estrategia HTL no solo mejora la precisión, sino que hace que el modelo sea más interpretable al dirigir la atención hacia las señales de movimiento relevantes, reduciendo el sesgo hacia el fondo estático.

En resumen, el artículo establece un nuevo paradigma para el análisis visual multimodal, demostrando que la colaboración adaptativa entre expertos y el refinamiento de conocimiento a nivel de token son esenciales para tareas de reconocimiento de acciones de alta precisión en entornos restringidos.