COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

Resumen Técnico: COMPASS

1. El Problema: Incompletitud de la Interfaz de Fusión

Los sistemas de percepción multimodal (que combinan sensores como WiFi, radar mmWave, cámaras RGB, LiDAR, etc.) suelen enfrentar el desafío de modos faltantes durante la inferencia debido a fallos de sensores, oclusiones o restricciones de privacidad.

• Limitaciones de los métodos existentes:
  • Omisión de ramas (Branch-skipping): Eliminan las modalidades ausentes, lo que cambia la estructura de entrada del módulo de fusión en comparación con el entrenamiento.
  • Fusión dependiente del subconjunto: Adaptan el modelo a la combinación específica de sensores presentes, requiriendo múltiples rutas de fusión.
  • Imputación de características: Reconstruyen características faltantes, pero a menudo generan sustitutos que son plausibles en el espacio de características pero no compatibles con el patrón de interacción esperado por la cabeza de fusión.
• El núcleo del problema: La mayoría de los enfoques tratan la falta de modalidades como un problema de pérdida de información o adaptación de subconjuntos. Sin embargo, el artículo argumenta que es principalmente un problema de desajuste de la interfaz de fusión: el cabezal de fusión se entrena para consumir un conjunto fijo de representaciones, pero recibe una estructura de entrada variable y diferente en la prueba.

2. Metodología: COMPASS

El autor propone COMPASS (Complete Multimodal Fusion via Proxy Tokens and Shared Spaces), un marco basado en el principio de completitud de fusión: la cabeza de fusión siempre recibe una entrada multimodal fija de $N$ "slots" (ranuras), una por cada modalidad, independientemente de cuáles estén presentes.

Componentes Clave:

1. Codificación y Proyección en Espacio Compartido:

   • Cada modalidad se procesa mediante un codificador específico ($E_m$) y se proyecta a un espacio latente compartido mediante cabezales de proyección ($P_m$).
   • Se genera un token global ($\bar{z}_m$) por modalidad mediante mean-pooling de la secuencia de tokens proyectados.

2. Generación de Tokens Proxy (Proxy Tokens):

   • Cuando una modalidad $v_j$ está ausente, COMPASS sintetiza un token proxy para llenar su ranura.
   • Utiliza generadores dirigidos de fuente a objetivo ($G_{i \to j}$). Para cada modalidad observada $v_i$, se genera un token proxy específico para la modalidad objetivo faltante $v_j$.
   • Estos generadores son transformadores de una sola capa que utilizan una consulta de proxy aprendible ($p_{i \to j}$) para atender selectivamente a los tokens de la fuente.
   • Si hay múltiples modalidades observadas, sus tokens proxy individuales se promedian para formar un único token de reemplazo $\hat{t}_j$ para la ranura faltante.

3. Fusión Fija:

   • Una vez que todas las $N$ ranuras están pobladas (ya sea con tokens reales o proxies agregados), se realiza la fusión mediante una suma simple de los tokens.
   • Esto garantiza que la operación de fusión sea idéntica en todos los patrones de falta de modalidades, eliminando la necesidad de adaptar la arquitectura de fusión.

4. Estrategia de Entrenamiento (Tres Niveles):
   Para asegurar que los tokens proxy sean útiles y compatibles, se emplean tres señales de entrenamiento:

   • Pérdida de Alineación de Proxy ($L_{align}$): Minimiza el error cuadrático medio entre el token proxy generado y el token global real de la modalidad objetivo (disponible durante el entrenamiento mediante enmascaramiento sintético).
   • Regularización del Espacio Compartido ($L_{ss}$): Utiliza VICReg sobre los tokens globales observados para asegurar que el espacio latente tenga una geometría adecuada para la transferencia cruzada (evitando el colapso de dimensiones y fomentando la invariancia).
   • Pérdida Discriminativa por Proxy ($L_{proxy}$): Aplica la cabeza de tarea a cada token proxy individualmente. Esto fuerza a que cada token generado sea informativo para la tarea final, no solo una réplica geométrica.

3. Contribuciones Principales

1. Formulación del Problema: Replantea la detección multimodal con modalidades faltantes como un problema de fusión de ranuras completas, priorizando la preservación de una interfaz fija sobre la adaptación dinámica.
2. Arquitectura COMPASS: Introduce un marco basado en tokens proxy que llena dinámicamente las ranuras faltantes utilizando generadores dirigidos en un espacio latente compartido.
3. Estrategia de Entrenamiento Híbrida: Combina alineación de características, regularización geométrica y supervisión discriminativa para crear proxies que sean tanto estructuralmente compatibles como informativos para la tarea.
4. Evaluación Exhaustiva: Validación en tres benchmarks de percepción ubicua (XRF55, MM-Fi, OctoNet) bajo diversos escenarios de falta de modalidades (simple y múltiple).

4. Resultados Experimentales

El modelo se evaluó en tareas de Reconocimiento de Actividades Humanas (HAR) comparado con baselines como X-Fi (modelo fundacional multimodal) y un baseline de fusión de características.

• Rendimiento General: COMPASS supera a los métodos anteriores en la gran mayoría de los escenarios.
  • XRF55: Promedio de 7 escenarios del 84.6% (vs. 72.1% de X-Fi). Mejoras drásticas en casos difíciles como WiFi+RFID (86.3% vs 58.1%).
  • MM-Fi: Promedio de 15 combinaciones del 70.6% (vs. 62.5% de X-Fi). Mejora notable en combinaciones como RGB+LiDAR (60.4% vs 35.2%).
  • OctoNet: Gana o empata en 30 de 31 combinaciones de modalidades. Mejora el promedio de modalidades simples en 28 puntos porcentuales sobre X-Fi.
• Análisis Geométrico: Las visualizaciones muestran que COMPASS logra una alineación mucho más fuerte entre modalidades en el espacio latente en comparación con X-Fi, permitiendo una transferencia de proxy fiable sin perder la discriminación de clases.
• Eficiencia: Aunque el tamaño del modelo es comparable a X-Fi (~34M parámetros), COMPASS es 1.9x a 2.6x más rápido en inferencia porque utiliza una suma simple para la fusión, evitando las capas de atención cruzada iterativas y costosas de otros métodos.

5. Significado y Conclusión

El trabajo demuestra que mantener una interfaz de fusión completa y fija es un principio de diseño simple pero poderoso para la robustez en sensores ubicuos. En lugar de adaptar el modelo a lo que está disponible, COMPASS reconstruye lo que falta de manera estructurada.

• Impacto: Proporciona una solución robusta para entornos del mundo real donde los sensores fallan o son inaccesibles, sin sacrificar la velocidad de inferencia ni la complejidad del modelo.
• Limitaciones: La fusión por suma carece de parámetros aprendibles para modelar interacciones cruzadas complejas, y la precisión en modalidades inherentemente débiles (como RFID solo) sigue siendo un desafío, sugiriendo un equilibrio entre alineación y discriminabilidad específica de la modalidad.

En resumen, COMPASS establece un nuevo estándar para la fusión multimodal robusta, demostrando que la consistencia estructural en la interfaz de fusión es tan crítica como la calidad de las características individuales.