Resumen Técnico: VCR: Aprendizaje de Representación Contextual Válida para Señales Incompletas de Dispositivos Vestibles

1. Declaración del Problema

Los dispositivos vestibles ofrecen monitoreo de salud continuo y no invasivo a través de señales multimodales (por ejemplo, PPG, EDA, ACC, TEMP). Sin embargo, su implementación en el mundo real se ve obstaculizada por dos desafíos acoplados:

1. Escasez de Etiquetas: Las tareas de salud posteriores (reconocimiento de emociones, etapas de sueño, reconocimiento de actividad) sufren por la falta de datos etiquetados.
2. Ausencia de Modalidades: Los sensores fallan frecuentemente debido a limitaciones de hardware, comportamiento del usuario (por ejemplo, desactivar PPG para ahorrar energía) o limitaciones del dispositivo. Esto resulta en "ausencia estructural", donde una modalidad completa está ausente para una ventana de tiempo dada.

Los enfoques existentes de aprendizaje auto-supervisado (SSL) a menudo asumen la disponibilidad completa de modalidades durante el preentrenamiento. Cuando se adaptan a escenarios de ausencia, los métodos actuales típicamente intentan reconstruir la señal ausente completa. Los autores argumentan que esto es defectuoso porque los detalles específicos de la modalidad (por ejemplo, patrones de ruido específicos o derivas fisiológicas únicas) a menudo son no identificables a partir de los sensores restantes. Forzar a un modelo a reconstruir estos detalles no observables fomenta la "alucinación": generar datos plausibles pero sin fundamento que inyectan ruido en las representaciones aprendidas, degradando así la robustez.

2. Metodología: El Marco VCR

Los autores proponen VCR (Representación Contextual Válida), un marco auto-supervisado de dos etapas diseñado para aprender representaciones robustas a la ausencia de modalidades sin alucinar detalles no observables.

A. Tokenizador Ortogonal (Etapa 1)

La primera etapa se centra en el desenredo. La hipótesis central es que la información latente de cualquier modalidad puede separarse en:

• Semánticas Compartidas ($s$): Información correlacionada entre modalidades (por ejemplo, patrones de frecuencia cardíaca visibles tanto en PPG como en ACC).
• Residuos Específicos de la Modalidad ($p$): Información única no inferible de otros sensores (por ejemplo, deriva de impedancia cutánea en EDA).

Para imponer una separación estricta y prevenir la filtración de información, VCR emplea un Tokenizador Geométricamente Ortogonal:

• Rectificación y Blanqueado: Un adaptador residual ligero rectifica las incrustaciones del codificador, seguido de un proceso de blanqueado para aproximar una matriz de covarianza identidad.
• Proyección Ortogonal: Una matriz de parámetros aprendible sufre una descomposición QR para formar una base ortonormal. Esta base define un operador de proyección $P$ que separa estrictamente la incrustación en un subespacio compartido ($s = Ph$) y un subespacio residual específico ($p = (I-P)h$).
• Independencia Estadística: Bajo el supuesto de representaciones latentes distribuidas gaussianamente, esta ortogonalidad geométrica asegura la independencia estadística ($I(s; p) \approx 0$).
• Optimización Híbrida: El tokenizador se entrena utilizando:
  • Pérdida Contrastiva Intermodal: Aplicada solo a $s$ para alinear las semánticas compartidas entre modalidades.
  • Reconstrucción Intra-modal: Aplicada solo a $p$ para preservar detalles únicos.
  • Regularización de Blanqueado: Para mantener la condición de independencia.

B. Columna Vertebral MoE Consciente de la Ausencia (Etapa 2)

La segunda etapa procesa los tokens del tokenizador para aprender representaciones contextuales bajo patrones variables de disponibilidad.

• Arquitectura: Una columna vertebral dispersa de Mezcla de Expertos (MoE). Se inyectan incrustaciones de partición aprendibles para identificar explícitamente el origen de la modalidad y el tipo de componente ($s$ vs. $p$) de cada token.
• Enrutamiento: El enrutador activa dinámicamente diferentes expertos basándose en el conjunto de modalidades observadas, permitiendo que el modelo se especialice en combinaciones específicas de modalidades sin interferencia de datos faltantes.
• Objetivos de Entrenamiento (Reconstrucción Enmascarada):
  • Enmascaramiento Aleatorio: Enmascaramiento estándar de parches en modalidades disponibles para reconstruir tanto $s$ como $p$.
  • Enmascaramiento Estructural: Se eliminan modalidades completas. Crucialmente, el objetivo de reconstrucción es consciente de la validez:
    • Si una modalidad falta, el modelo reconstruye solo su componente compartido ($s$), excluyendo explícitamente el componente específico no inferible ($p$).
    • Si múltiples modalidades faltan, la reconstrucción para esas modalidades se omite por completo, ya que incluso los componentes compartidos pueden ser no inferibles.
  • Este diseño evita que el modelo se vea forzado a alucinar detalles no observables.

3. Contribuciones Clave

1. Aprendizaje Consciente de la Validez: La introducción de un tokenizador ortogonal que desenreda estructuralmente los componentes compartidos y específicos. Esto permite un objetivo de reconstrucción que solo apunta a información inferible, mitigando efectivamente las completaciones tipo alucinación.
2. Columna Vertebral MoE Consciente de la Ausencia: Una arquitectura dispersa con incrustaciones de partición aprendibles que adapta el cálculo a diversos patrones de disponibilidad de modalidades, evitando el ruido introducido por el relleno con ceros o tokens especiales.
3. Preservación de Información en Dos Etapas: Una estrategia de entrenamiento que primero preserva la integridad de la información mediante desenredo y alineación contrastiva, y luego aprende semánticas contextuales robustas mediante reconstrucción latente enmascarada, evitando la dominación por modalidades de alta varianza.

4. Resultados Experimentales

VCR fue evaluado en un benchmark integral que abarca cuatro conjuntos de datos (WESAD, DaLiA, AAUWSS, WEEE) y cuatro tareas (detección de emociones, reconocimiento de actividad, etapas de sueño, predicción de VO2).

• Rendimiento con Modalidad Completa: VCR superó tanto a las líneas base supervisadas (ResNet, ViT, FlexMoE) como a las líneas base auto-supervisadas preentrenadas (SimCLR, LSM, LSM-2, etc.) en todas las tareas, demostrando que la robustez ante la ausencia no conlleva un costo en el rendimiento cuando todos los sensores están disponibles.
• Ausencia de Una Modalidad: En escenarios donde se eliminó un sensor, VCR logró el mejor o segundo mejor rendimiento en 65 de las 88 métricas reportadas. Notablemente, cuando sensores críticos como ACC faltaban, VCR mantuvo un rendimiento significativamente superior al de las líneas base, mostrando una degradación suave en comparación con las caídas bruscas observadas en otros métodos.
• Ausencia de Múltiples Modalidades: VCR permaneció robusto en todas las combinaciones de 2 o 3 modalidades faltantes, clasificándose consistentemente en el Top-1 o Top-2 frente a las líneas base.
• Análisis de Alucinación: Un estudio de caso comparando VCR con LSM-2 (que reconstruye señales crudas completas) mostró que LSM-2 indujo mayores desplazamientos de representación e inconsistencias semánticas al reconstruir datos faltantes. La separación estricta de $s$ y $p$ en VCR previno estos desplazamientos, confirmando que evitar la reconstrucción de detalles no inferibles preserva la validez de la representación.
• Verificación de Desenredo: El análisis cuantitativo utilizando el Criterio de Independencia de Hilbert-Schmidt (HSIC) mostró que VCR logró una dependencia significativamente menor entre $s$ y $p$ en comparación con líneas base de restricciones suaves como FOCAL.

5. Significado y Afirmaciones

El artículo afirma que VCR establece un nuevo estándar para el preentrenamiento de modelos multimodales vestibles priorizando la validez de la representación. Los autores argumentan que la práctica común de reconstruir señales faltantes completas es fundamentalmente defectuosa porque obliga a los modelos a adivinar detalles no observables, lo que conduce a alucinaciones que degradan el rendimiento posterior.

Al imponer un desenredo geométrico estricto y limitar los objetivos de reconstrucción a componentes compartidos inferibles, VCR proporciona una base estructural para un aprendizaje robusto. El marco se presenta como una solución de propósito general que permanece efectiva en diversas tareas de monitoreo de salud y configuraciones de sensores, abordando la brecha crítica entre el entrenamiento idealizado con sensores completos y la realidad de los datos vestibles incompletos. Los autores señalan que, aunque la evaluación actual se centra en un solo tipo de dispositivo (Empatica E4), la naturaleza agnóstica a la modalidad del marco sugiere un potencial para una generalización más amplia, lo cual permanece como una dirección para trabajos futuros.