FemWear: A Specialized Wearable Foundation Model for Women's Health

Resumen Técnico de FemWear: Un Modelo de Fundación para Wearables Especializado en la Salud de la Mujer

Planteamiento del Problema
Los modelos de fundación para wearables de propósito general, como OpenMHC, están preentrenados en flujos de sensores amplios y poblaciones diversas para aprender representaciones reutilizables. Sin embargo, estas representaciones generales no están intrínsecamente organizadas en torno a la dinámica y los resultados específicos de la salud de la mujer, que involucran patrones longitudinales heterogéneos (por ejemplo, ciclos menstruales, trayectorias de embarazo, síntomas autoinformados dispersos). Entrenar predictores separados para cada tarea descarta la estructura longitudinal compartida, mientras que el aprendizaje multitarea sin restricciones conlleva el riesgo de transferencia negativa cuando los objetivos compiten entre sí. La pregunta central abordada es si una representación de fundación de wearable general puede ser reconvertida eficientemente en un modelo especializado para la salud de la mujer utilizando un presupuesto mínimo de parámetros entrenables, y hasta qué punto esta especialización se transfiere a través de diversos endpoints.

Metodología
FemWear es un modelo de fundación para wearables especializado que reconvierte la columna vertebral (backbone) preentrenada de OpenMHC mediante la adaptación eficiente de parámetros en lugar de entrenar un nuevo modelo desde cero.

• Arquitectura: El modelo conserva la proyección de parches LSM2 de OpenMHC y el codificador Transformer congelados. Los parámetros entrenables se introducen mediante:
  • Adaptadores Residuales de Bajo Rango: Adaptadores de cuello de botella de rango-32 insertados en los dos últimos bloques de Transformer.
  • Vías de Expertos de Regímenes Fisiológicos: Un banco de adaptadores de tres expertos que computa una mezcla suave de actualizaciones residuales de rango-32 a partir de la representación diaria agrupada (pooled).
  • Cabezales de Familias de Tareas Causales: Una unidad de recurrencia de puerta (GRU) resume la historia causal de los embeddings diarios. Los cabezales de familias de tareas mapean este estado hacia resultados específicos (menstruales, afectivos, sueño, autonómicos, actividad, embarazo).
• Eficiencia de Parámetros: Solo 239,236 parámetros del codificador son entrenables (1.11% de los 21.54M de parámetros del codificador). La capacidad total descendente (downstream) entrenable es de aproximadamente 1.98M de parámetros.
• Estrategia de Entrenamiento:
  • Aprendizaje Multitarea de Etiquetas Parciales: El modelo se entrena en seis cohortes con participantes disjuntos. Las etiquetas ausentes en una cohorte específica no se convierten en negativos; la función de pérdida promedia sobre las tareas observadas dentro de los dominios de salud para evitar que las cohortes con más etiquetas dominen.
  • Especialización Continua: El adaptador bloqueado se entrena adicionalmente durante 1,000 pasos en una mezcla de cinco cohortes de salud de la mujer, incorporando reconstrucción de parches enmascarados y objetivos de consistencia para preservar la representación general mientras se adapta al dominio.
• Protocolo de Evaluación: El estudio emplea una suite de evaluación rigurosa a través de seis cohortes (incluyendo OpenMHC-XS para retención y mcPHASES para salud de la mujer). Los protocolos incluyen divisiones de participantes fijas, una auditoría estricta de dejar uno fuera al participante (leave-one-participant-out) anidada, baselines de capacidad igualada y auditorías de calibración/ausencia de datos.

Contribuciones Clave

1. Modelo FemWear: Introducción de un modelo de fundación para wearables especializado que proporciona una representación longitudinal compartida e interfaz de familia de tareas para cohortes heterogéneas de salud de la mujer (menstruación, estado de ánimo, sueño, embarazo, etc.).
2. Suite de Evaluación Reproducible: Un benchmark exhaustivo que comprende 63 métricas primarias comparables a través de seis fuentes de datos, evaluando una especialización de 1.11%-entrenable frente a baselines estáticos, recurrentes y de mezcla de expertos (mixture-of-experts) bajo datos, conteos de parámetros y semillas igualadas.
3. Definición del Límite de la Evidencia: Un informe detallado sobre los límites de la especialización, utilizando validación de participante anidada, análisis de calibración y auditorías de eficiencia de etiquetas para distinguir entre transferencia prometedora y superioridad universal.

Resultados

• Rendimiento en División Fija: En una división de participantes fija sobre tres semillas, FemWear mejoró el macro-F1 de fase del ciclo en un 8.15% y redujo el error absoluto medio (MAE) para calambres (9.32%), síntomas de estado de ánimo (5.80%) y problemas de sueño (9.43%). Sin embargo, el AUPRC de inicio de 24 horas disminuyó un 3.40%.
• Auditoría Anidada (Validación más Estricta): En una auditoría anidada de dejar uno fuera al participante de 42 participantes, las tendencias positivas se mantuvieron solo para el inicio de 24 horas (+2.87%), el inicio de 72 horas (+6.35%) y calambres (+2.19%). Los cambios para fase, estado de ánimo y sueño fueron neutros o negativos. Ningún endpoint mostró un intervalo de confianza corregido estrictamente positivo.
• Comparación de Capacidad Igualada: FemWear superó a un MLP (perceptrón multicapa) de último día, pero no logró establecer una ventaja sistemática sobre un GRU compartido o un baseline de mezcla de expertos de múltiples puertas (MMoE) cuando se igualaron los conteos de parámetros.
• Calibración y Fiabilidad: El escalado de temperatura solo de entrenamiento redujo el error de calibración esperado (ECE) en un 8se 84.2–88.2% para las predicciones de inicio. El modelo produjo salidas de probabilidad coherentes y anidadas (asegurando que $P_{24} \le P_{72}$) con cero violaciones.
• Datos Faltantes: El modelo tolera la ausencia aleatoria moderada, pero es altamente sensible a la eliminación de la historia reciente (últimos 7 días), lo que causó una caída del 17.99% en el rendimiento.
• Eficiencia de Etiquetas: Los experimentos con etiquetas de entrenamiento reducidas (1% a 25%) no mostraron una ventaja de pocas etiquetas; los cambios relativos medianos fueron negativos o no monotónicos.

Significancia y Reivindicaciones
El artículo afirma que FemWear establece una capa de modelo de wearable especializado reproducible para la investigación en salud de la mujer. Su significancia radica en demostrar que la reconversión eficiente de parámetros de un backbone de fundación general puede permitir una transferencia dirigida y salidas de probabilidad coherentes para tareas específicas de la salud de la mujer.

Sin embargo, los autores son explícitos sobre las limitaciones de estas afirmaciones:

• FemWear no establece un dominio de rendimiento universal sobre los baselines temporales de capacidad igualada.
• No proporciona evidencia de validez clínica o superioridad en la selección de diagnóstico/tratamiento.
• No demuestra una ventaja de pocas etiquetas.
• La especialización depende del endpoint, mostrando beneficios claros para ciertos endpoints menstruales y de síntomas, mientras falla en mejorar otros (por ejemplo, la transferencia de embarazo se degradó).

El trabajo se presenta como una contribución metodológica al campo de los wearables para la salud de la mujer, ofreciendo un recuento preciso de dónde la transferencia de parámetros eficientes es prometedora y dónde se requiere más evidencia (específicamente validación externa independiente y adaptadores conscientes de la transferencia negativa).