Resumen Técnico: Falcon-X

Declaración del Problema

Los Modelos Fundacionales de Series Temporales (TSFMs) están redefiniendo los pronósticos al aprovechar el preentrenamiento a gran escala entre dominios. Sin embargo, los TSFMs existentes enfrentan dos limitaciones fundamentales al manejar datos multivariados heterogéneos:

1. Desalineación Semántica: La mayoría de los modelos operan directamente en el espacio de variaciones brutas. Al mezclar cantidades físicas heterogéneas (por ejemplo, temperatura frente a volumen de tráfico) de diferentes conjuntos de datos, los mecanismos estándar de atención por grupos fallan en alinear sus semánticas distintas. Esto conduce a un "colapso semántico", donde el modelo aprende correlaciones espurias específicas del conjunto de datos en lugar de estructuras temporales transferibles.
2. Expresividad Relacional Limitada: Los sistemas del mundo real exhiben interacciones complejas, que incluyen tanto dependencias sinérgicas (positivas) como antagónicas (negativas). Los mecanismos de atención estándar, que dependen de puntuaciones softmax no negativas, capturan principalmente efectos agregativos y luchan por modelar explícitamente dinámicas opuestas o relaciones antagónicas.

Los enfoques actuales a menudo aplanan las series multivariadas o utilizan atención por grupos dentro del espacio bruto, lo que ya sea escala mal con la dimensionalidad o falla en desentrañar las semánticas heterogéneas, limitando las capacidades de transferencia cero-shot.

Metodología: Falcon-X

Falcon-X es un modelo fundacional solo de codificador (591 millones de parámetros) diseñado para desacoplar las variaciones físicas del espacio de interacción. Introduce un paradigma de Espacio de Prototipos Latentes Unificados, que consta de cuatro etapas principales:

1. Preprocesamiento y Tokenización

• Normalización: Las entradas sufren una transformación arcseno utilizando la media y la desviación estándar por instancia calculadas únicamente a partir de valores observados para preservar las entradas faltantes.
• Tokenización: La secuencia se aumenta con marcas de tiempo relativas y una máscara de observación binaria. Luego se divide en parches no superpuestos y se proyecta a una dimensión oculta mediante un mecanismo de incrustación de parches residual.

2. Atención Temporal

Falcon-X emplea una arquitectura Transformer solo de codificador para capturar primero los patrones temporales intrínsecos. Se aplican $n$ capas de Atención Temporal de forma independiente a cada variación a lo largo de la dimensión temporal. Esto asegura que las dinámicas temporales robustas se destilen antes de que ocurra cualquier interacción entre variaciones, evitando el entrelazamiento semántico prematuro.

3. Atención de Variaciones (Innovación Central)

Esta etapa cierra la brecha entre las entradas heterogéneas y una representación unificada:

• Atención de Diferencia de Prototipos Unificados (UPDA): En lugar de mezclar variaciones brutas, Falcon-X las proyecta en un espacio de prototipos latentes de dimensión fija ($C$). Utiliza un mecanismo de Atención Diferencial con dos matrices de claves aprendibles: $K_{pos}$ (sinérgica) y $K_{neg}$ (antagónica).
  • El modelo calcula puntuaciones de atención contra ambas claves: $A_{pos} = \text{softmax}(QK_{pos}^T)$ y $A_{neg} = \text{softmax}(QK_{neg}^T)$.
  • La representación unificada se deriva agregando valores basados en la puntuación diferencial: $H_C = (A_{pos} - \lambda A_{neg})^T V$.
  • Una pérdida de ortogonalidad restringe $K_{pos}$ y $K_{neg}$ para asegurar la distinción semántica. Esto permite que el modelo capture explícitamente tanto afinidades positivas como negativas.
• Atención de Entidad Latente (LEA): Una vez alineadas en el espacio de prototipos compartido, las interacciones globales entre variaciones se realizan mediante Atención Multi-Cabeza estándar. Dado que todas las entidades residen en el mismo espacio semántico agnóstico a la dimensión, esto facilita una transferencia cero-shot fluida entre conjuntos de datos con diferentes conteos de variaciones y significados físicos.
• Enrutador de Reensamblaje de Variaciones (VRR): Para reconstruir trayectorias específicas, se utiliza un mecanismo de solicitud y despacho. Una solicitud de enrutamiento ($R_{req}$) desde la incrustación temporal original se compara con un índice de prototipo ($P_{idx}$) para recuperar cargas útiles semánticas relevantes del contexto fuente ($S_{ctx}$).
  • La salida final fusiona las incrustaciones temporales originales con las representaciones reensambladas entre variaciones mediante una conexión residual con puerta: $\hat{H} = H_T + G(H_T) \odot H_V$. Esta puerta regula dinámicamente la fusión, evitando la interferencia semántica en sistemas débilmente correlacionados mientras aprovecha las dependencias en los fuertemente correlacionados.

4. Cabeza de Pronóstico

El modelo adopta un paradigma de pronóstico probabilístico, prediciendo distribuciones futuras a través de un conjunto de cuantiles utilizando una Pérdida de Cuantiles.

Contribuciones Clave

1. Un Nuevo Paradigma de Modelado Heterogéneo: Falcon-X cambia de la mezcla en espacio bruto a un espacio de prototipos latentes unificado. Esto crea un sistema de coordenadas universal que resuelve las discrepancias semánticas entre conjuntos de datos, permitiendo una transferencia de conocimiento cero-shot principista.
2. Innovación Arquitectónica:
   • Atención de Prototipos Diferencial: Modela explícitamente tanto las dinámicas sinérgicas como las antagónicas, superando las limitaciones de la atención no negativa.
   • Enrutador de Reensamblaje de Variaciones: Un mecanismo con puerta que fusiona adaptativamente el contexto global con señales temporales locales, asegurando robustez a través de diversas fortalezas de dependencia.
3. Excelencia Empírica: El modelo demuestra un rendimiento de vanguardia en benchmarks integrales, validando su adaptabilidad estructural.

Resultados Experimentales

Falcon-X fue evaluado en GIFT-Eval y fev-bench, dos benchmarks a gran escala que cubren diversos dominios (naturaleza, energía, finanzas, atención médica, etc.).

• GIFT-Eval: Falcon-X logró el mejor rendimiento general con 0.666 MASE y 0.453 CRPS. Superó a bases fuertes como STRIDE (+1.2% MASE), Toto-2.0-FT (+1.9% MASE) y Timer-S1 (+3.9% MASE). Cabe destacar que su ventaja aumentó con horizontes de pronóstico más largos, logrando los mejores resultados a medio plazo (0.68 MASE) y a largo plazo (0.70 MASE).
• fev-bench: Falcon-X se ubicó muy cerca de Chronos-2 (0.652 vs. 0.645 MASE) mientras dependía estrictamente de series objetivo endógenas, superando a otros modelos recientes como TiRex y Moirai 2.0.
• Estudios de Ablación: Eliminar la clave de prototipo negativa ($K_{neg}$) causó la caída de rendimiento más severa, confirmando la necesidad de modelar relaciones antagónicas. El entrenamiento conjunto (univariado + multivariado) demostró ser superior al aprendizaje curricular de dos etapas.
• Escalado: El modelo se adhiere a las leyes de escalado neuronal, mostrando mejoras consistentes en el rendimiento a medida que los parámetros escalan de 59M a 591M.

Significado y Afirmaciones

El artículo afirma que Falcon-X ofrece un paradigma principista y escalable para entornos multivariados complejos. Al desacoplar las variaciones físicas del espacio de interacción y modelar explícitamente dependencias duales (sinérgicas y antagónicas), aborda los cuellos de botella de alineación semántica y expresividad relacional de los TSFMs actuales. Los autores postulan que este enfoque permite una transferencia estructural cero-shot robusta, permitiendo que el modelo aprenda patrones reutilizables entre dominios sin estar acoplado a las dimensiones de variaciones brutas. El trabajo se presenta como un paso hacia modelos fundacionales más unificados y expresivos para series temporales, con el código publicado públicamente para apoyar la investigación futura.