🤖 AI

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

El artículo propone TRACE, un paradigma de estimación condicional para modelos fundacionales de series temporales multimodales que infiere sistemáticamente las modalidades objetivo incompletas a partir de las modalidades auxiliares disponibles para abordar el desalineamiento temporal y la ausencia parcial de modalidades, demostrando una robustez y un rendimiento superiores en los entornos de referencia de atención médica y computación afectiva en comparación con los enfoques existentes.

Autores originales: Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas complejo, pero cada vez que miras la imagen, faltan algunas piezas, y las piezas que sí tienes están esparcidas por la mesa en diferentes momentos. Esta es la realidad diaria para las computadoras que intentan analizar datos de series temporales multimodales (como el ritmo cardíaco, la presión arterial y las notas de un médico, o un video con audio, texto y visuales).

En el mundo real, los sensores fallan, las notas se escriben tarde y los datos llegan a diferentes velocidades. Los modelos de computación existentes suelen intentar solucionar esto adivinando las piezas faltantes mediante matemáticas simples (como dibujar una línea recta entre dos puntos conocidos) o simplemente ignorando los huecos. El artículo argumenta que esto es como intentar completar un rompecabezas adivinando el color de una pieza faltante basándose solo en la pieza que tiene justo al lado, ignorando el resto de la imagen.

Aquí está el desglose sencillo de lo que propone el artículo, TRACE:

1. El Problema: El "Rompecabezas Roto"

Imagina los datos de salud de un paciente como una historia contada por tres narradores:

Narrador A (Monitor cardíaco) habla cada segundo.
Narrador B (Notas del médico) habla solo cuando el médico escribe algo.
Narrador C (Rayos X) habla solo cuando se realiza un escaneo.

A veces, el Narrador B y el C guardan silencio durante mucho tiempo. Los modelos de computación antiguos (como FuseMoE) intentan llenar el silencio haciendo una "mejor suposición" basada en lo último que escucharon. Pero esto a menudo crea una historia distorsionada porque no escucha lo que el Narrador A está diciendo justo ahora para ayudar a llenar los huecos de B y C.

2. La Solución: TRACE (El "Detective Inteligente")

Los autores proponen TRACE, que significa Temporal Conditional Estimation (Estimación Temporal Condicional).

En lugar de solo adivinar la pieza faltante de forma aislada, TRACE actúa como un detective que utiliza todas las pistas disponibles para reconstruir las partes faltantes de la historia.

La Analogía: Imagina que estás tratando de recordar lo que dijo un amigo durante una fiesta ruidosa, pero te perdiste algunas frases. En lugar de solo adivinar palabras al azar, escuchas lo que el amigo dijo antes y después, y también escuchas lo que sus otros amigos decían al mismo tiempo para llenar los espacios en blanco.
Cómo funciona: TRACE utiliza una técnica llamada Difusión. Piensa en esto como un escultor que comienza con un bloque de arcilla (ruido aleatorio) y va quitando lentamente el ruido, guiado por las "pistas" de los otros narradores, hasta que emerge una forma clara y realista. No solo dibuja una línea; imagina los datos faltantes basándose en el contexto de todo lo demás que está presente.

3. El Proceso de Dos Pasos

TRACE trabaja en dos etapas distintas, como un equipo de dos personas:

Paso 1: El Equipo de Reconstrucción (Difusión Condicional)
Antes de que el equipo intente resolver el problema final, primero trabajan juntos para "reparar" los datos rotos. Si al monitor cardíaco le falta un fragmento de datos, el equipo observa las notas del médico y los rayos X para reconstruir probabilísticamente (matemáticamente) cómo probablemente se veía ese fragmento faltante. No solo lo llenan con un número estático; crean una "nube de posibilidades" que encaja con el contexto.
Paso 2: El Equipo de Decisión (Mezcla de Expertos)
Una vez que los datos han sido "reparados", un segundo equipo (llamado Mezcla de Expertos o Mixture-of-Experts) observa la imagen ahora completa para hacer una predicción (como predecir si un paciente recibirá el alta o si un video es feliz o triste). Debido a que los datos son más limpios y precisos, este equipo toma mejores decisiones.

4. Lo que Encontraron (Los Resultados)

Los investigadores probaron TRACE en dos tipos de "rompecabezas":

Análisis de Sentimiento (CMU-MOSI/MOSEI): Determinar si un clip de video es positivo o negativo basándose en texto, audio y video.
Predicción de Salud (MIMIC-IV): Predecir los resultados de los pacientes (como mortalidad o duración de la estancia) basándose en signos vitales, notas, rayos X y ECG.

El Veredicto:

Mejor Precisión: TRACE superó consistentemente a los modelos anteriores. En las pruebas de salud, fue mejor para predecir los resultados de los pacientes.
Resiliencia: Cuantos más datos faltaban, más brillaba TRACE. Mientras que otros modelos se desmoronaban cuando los datos eran escasos (faltando un 30% o más), TRACE mantuvo la calma.
Más Cercano a la Realidad: El artículo muestra que los datos "reparados" que crea TRACE están mucho más cerca de la "verdadera" realidad (lo que habría sucedido si todos los sensores funcionaran perfectamente) que las simples suposiciones hechas por otros modelos.

Resumen

En resumen, TRACE cambia la forma en que las computadoras manejan los datos faltantes. En lugar de decir: "Simplemente llenaré este hueco con un promedio simple", dice: "Déjame observar todo lo demás que está sucediendo en este momento para reconstruir inteligentemente lo que falta". Esto conduce a una imagen mucho más clara del pasado, lo que ayuda a la computadora a realizar predicciones mucho más inteligentes sobre el futuro.

Resumen Técnico: TRACE – Una Estimación Condicional Temporal para Modelos Fundacionales de Series Temporales Multimodales

1. Planteamiento del Problema

Los modelos fundacionales de series temporales (TS-FMs) buscan aprender representaciones temporales generalizables que sean adaptables a diversas tareas de seguimiento. Sin embargo, los datos de series temporales multimodales del mundo real, particularmente en dominios como la atención médica y la computación afectiva, sufren frecuentemente de desalineación temporal y ausencia parcial de modalidades. En estos escenarios, las diferentes modalidades se observan en escalas temporales heterogéneas, o modalidades específicas están parcialmente ausentes debido a un muestreo irregular o fallos en los sensores.

Los enfoques existentes suelen abordar estos problemas mediante una imputación ingenua (por ejemplo, llenado con ceros o llenado con el valor más cercano) o estrategias de enmascaramiento antes de la fusión. Los autores argumentan que estos métodos no tienen en cuenta las dependencias intermodales. Al completar de forma determinista los valores faltantes, los modelos existentes colapsan la incertidumbre condicional, lo que potencialmente distorsiona la dinámica temporal y sesga la fusión posterior. Además, muchos TS-FMs actuales tratan la ausencia como un paso de preprocesamiento en lugar de una variable temporal latente que debe ser estimada condicionalmente, lo que limita su robustez bajo una escasez severa.

2. Metodología: TRACE

Los autores proponen TRACE (Estimación Condicional Temporal), un paradigma que reformula cómo se manejan las observaciones dispersas y basadas en eventos. En lugar de una completación determinista, TRACE trata las entradas de modalidades faltantes como variables latentes para ser estimadas condicionalmente a partir de las modalidades auxiliares disponibles antes de la fusión. La arquitectura opera como un flujo de trabajo de dos etapas:

Etapa 1: Difusión Condicional Multimodal

Esta etapa realiza la estimación probabilística de los componentes de la señal a nivel de señal.

Construcción de Contexto Intermodal: Para una modalidad objetivo $m$ , el modelo agrega los componentes observados de las modalidades auxiliares ( $M \setminus \{m\}$ ) utilizando un mecanismo de compuerta inspirado en la Mezcla de Expertos (MoE). Una función de compuerta asigna puntuaciones de importancia a cada modalidad auxiliar basándose en sus características observadas, produciendo un contexto intermodal ponderado $x^{(m)}_c$ .
Proceso de Difusión Condicional: TRACE emplea un modelo de difusión de eliminación de ruido condicional (basado en DDPM) para estimar los componentes no observados $x^{(m)}_U$ $x_{U}^{(m)}$ .
- El proceso condiciona sobre la parte observada de la modalidad objetivo $x^{(m)}_O$ y el contexto intermodal agregado $x^{(m)}_c$ .
- Un proceso de adición de ruido hacia adelante añade ruido gaussiano solo a los componentes faltantes, mientras que las entradas observadas permanecen fijas.
- Un proceso de eliminación de ruido inverso, parametrizado por una red neuronal $\epsilon_\theta$ , aprende a predecir el ruido y reconstruir los valores faltantes de forma probabilística, condicionado al contexto multimodal.
Entrenamiento: La red de difusión se entrena utilizando una estrategia de enmascaramiento autosupervisada (inspirada en CSDI), donde un subconjunto de valores observados se enmascara y se trata como objetivos de imputación, condicionado a las observaciones restantes y al contexto intermodal.

Etapa 2: Fusión Multimodal y Predicción

Una vez que los componentes faltantes son estimados probabilísticamente, las representaciones de la modalidad completada se pasan a una capa de fusión de seguimiento.

Fusión MoE: TRACE adopta la capa de fusión MoE de FuseMoE. Esta capa utiliza un mecanismo de compuerta disperso para enrutar las representaciones específicas de la modalidad hacia un grupo compartido de expertos de alimentación hacia adelante (feed-forward), agregándolas en un embedding unificado para cabezales de predicción específicos de la tarea.
Regularización: Se añade un término de regularización basado en la entropía para fomentar el uso equilibrado de los expertos y prevenir el colapso de los mismos.

3. Contribuciones Clave

Identificación del Problema: Los autores identifican que la completación determinista de las observaciones faltantes antes de la fusión es un cuello de botella crítico en los procesos de los TS-FM, lo que a menudo conduce a representaciones desalineadas o degradadas.
Paradigma TRACE: Proponen TRACE, un paradigma de estimación condicional para los TS-FM multimodales. Se instancia mediante un mecanismo basado en difusión para la estimación probabilística a nivel de señal, aprovechando explícitamente el contexto intermodal complementario para inferir los datos faltantes.
Validación Empírica: A través de experimentos extensos, los autores demuestran que TRACE mejora consistentemente el rendimiento en el seguimiento en diversos conjuntos de datos y patrones de ausencia, estableciendo la estimación condicional temporal como un punto de apalancamiento efectivo a nivel de sistema.

4. Resultados Experimentales

TRACE fue evaluado en tres bancos de pruebas que abarcan el análisis de sentimiento y la predicción clínica: CMU-MOSI, CMU-MOSEI y MIMIC-IV.

Análisis de Sentimiento (CMU-MOSI/MOSEI): TRACE superó a los modelos base de vanguardia (incluyendo MulT, MAG, TFN y FuseMoE) en todas las métricas (MAE, Exactitud, Correlación, F1). Notablemente, logró un menor error de predicción y una mayor exactitud de clasificación con una varianza reducida, lo que indica una estimación intermodal más estable.
Predicción Clínica (MIMIC-IV): En tareas que incluyen mortalidad intrahospitalaria a las 48 horas (48-IHM), estancia hospitalaria (LOS) y clasificación de fenotipos (25-PHE), TRACE alcanzó el rendimiento promedio más fuerte en las puntuaciones de AUROC y F1, superando a modelos base como FuseMoE, MISTS y HAIM (en la mayoría de las métricas).
Robustez ante la Ausencia: En estudios de ablación y experimentos de ausencia controlada, TRACE demostró una robustez superior a medida que aumentaban las tasas de ausencia. Mientras que la imputación ingenua (FuseMoE) llevó a representaciones degradadas bajo alta ausencia (por ejemplo, 30-50%), TRACE mantuvo representaciones más cercanas a la verdad de campo (ground truth) "oráculo" (totalmente observada).
Estudios de Ablación:
- Difusión Condicional: Eliminar el condicionamiento intermodal o utilizar difusión incondicional perjudicó significativamente el rendimiento, confirmando la necesidad de aprovechar las modalidades auxiliares.
- Enrutamiento MoE: Deshabilitar el enrutamiento adaptativo (usando pesos fijos) redujo el rendimiento, resaltando la importancia de la selección de expertos dependiente de los datos.
- Conteo de Expertos: El rendimiento alcanzó su punto máximo con 5 expertos en el módulo de difusión, con rendimientos decrecientes o degradación con conteos más altos debido a la supervisión dispersa.
Eficiencia: TRACE requiere aproximadamente 2.7M de parámetros. Aunque la inferencia es más lenta que las bases deterministas debido a los pasos de difusión, reducir los pasos de 50 a 10 proporciona una aceleración de 4x con una pérdida de rendimiento mínima, manteniéndose tratable para entornos clínicos donde la respuesta en tiempo real estricto no siempre es necesaria.

5. Significado y Reivindicaciones

El artículo afirma que TRACE aborda una limitación fundamental en los modelos actuales de series temporales multimodales: el tratamiento de los datos faltantes como un problema de llenado de valores estáticos en lugar de una tarea de estimación condicional dinámica.

Cambio de Paradigma: El trabajo desplaza el enfoque de "llenar huecos" a "estimar variables latentes", preservando la estructura probabilística de los datos faltantes y aprovechando las dependencias intermodales.
Fidelidad de la Representación: Los autores argumentan que el beneficio principal de TRACE no es solo mejorar la precisión de la imputación punto a punto, sino la preservación de representaciones temporales significativas en el espacio latente bajo una ausencia severa. Esto permite que las capas de fusión posteriores operen sobre datos más fieles, lo que conduce a una mejor robustez.
Generalizabilidad: Aunque la instancia actual se centra en entornos donde las modalidades se observan parcialmente (ausencia dentro de la modalidad), el marco está diseñado para ser un paradigma general para los TS-FM. Los autores señalan que para modalidades completamente ausentes, el sistema depende de la capacidad del backbone para sortear las entradas faltantes, pero la contribución central radica en refinar las representaciones cuando los datos están presentes pero son escasos.
Limitaciones: Los autores reconocen modestamente que para tareas específicas que dependen fuertemente de sesgos inductivos de dominio (por ejemplo, HAIM en la clasificación de fenotipos), las arquitecturas especializadas pueden seguir superando a los marcos generales. Sugieren que cerrar esta brecha mediante priors de dominio ligeros dentro de TRACE es una dirección para trabajos futuros. Además, señalan que el alcance actual apunta a la observación parcial en lugar de la generación de modalidades enteramente ausentes.

En conclusión, TRACE demuestra que la estimación condicional temporal explícita mediante difusión es una estrategia superior a la imputación ingenua para construir modelos fundacionales de series temporales multimodales robustos y generalizables.