Resumen Técnico: CAST (Transporte Simplex Anclado Causal)

1. Declaración del Problema

El artículo aborda la predicción de series temporales de valor de distribución, donde las observaciones no son trayectorias escalares, sino distribuciones de probabilidad que evolucionan en el tiempo. Estas distribuciones viven en el simplex de probabilidad $\Delta^{D-1}$ y representan estados agregados del sistema, como ocupaciones de colas, cuotas de movilidad, perfiles de severidad de la calidad del aire y composiciones ecológicas.

El desafío central identificado es el aliasing del núcleo de transición latente. En muchos sistemas estocásticos, la misma distribución observada actual $p_t$ puede surgir de diferentes regímenes latentes (por ejemplo, una cola entrando en congestión frente a una que se vacía tras un estallido) con sucesores futuros distintos. Los predictores tradicionales que dependen únicamente de un resumen fijo del estado actual (o entradas solo del presente) se ven forzados a promediar estos sucesores incompatibles, lo que conduce a un error irreducible. Además, las arquitecturas estándar de aprendizaje profundo (Transformers, RNN) tratan estas entradas como vectores no restringidos y hacen cumplir la validez del simplex únicamente mediante un softmax final, fallando en modelar explícitamente la estructura causal de la localidad del sucesor, la desambiguación de regímenes o el movimiento ordenado de masa.

2. Metodología: El Modelo CAST

Los autores proponen CAST (Transporte Simplex Anclado Causal), un operador de transición estructurado diseñado específicamente para el simplex. CAST opera como una tubería causal y local al sucesor con tres etapas distintas, todas las cuales preservan el simplex por construcción:

1. Recuperación Causal del Sucesor:
   CAST codifica la historia causal $p_{1:t}$ en estados ocultos utilizando un Transformer solo de decodificador. Luego, recupera sucesores empíricos $r_t$ de un banco de memoria estrictamente causal de pares contexto-sucesor pasados $(p_s, p_{s+1})$ donde $s < t$. Este mecanismo de recuperación permite al modelo desambiguar regímenes: si el estado actual $p_t$ ha aparecido en diferentes contextos con diferentes futuros, el mecanismo de recuperación selecciona el sucesor correspondiente al contexto causal actual.

2. Ancla de Persistencia–Sucesor:
   Para estabilizar el sucesor recuperado ruidoso, CAST forma un ancla $a_t$ interpolando entre la distribución actual $p_t$ y el sucesor recuperado $r_t$:
   $$a_t = \lambda_t p_t + (1 - \lambda_t) r_t$$
   Aquí, $\lambda_t$ es una puerta de persistencia aprendible. Este paso asegura que la predicción permanezca cerca del estado actual si la historia recuperada es poco fiable, mientras que aún aprovecha las transiciones históricas cuando es apropiado.

3. Transporte Local Acotado (para Soportes Ordenados):
   Para soportes con un orden natural (por ejemplo, longitudes de cola, niveles de ICA), CAST aplica un operador de transporte estocástico local acotado $T_t$ al ancla. La predicción final es:
   $$\hat{p}_{t+1} = (1 - \rho_t) a_t + \rho_t T_t a_t$$
   donde $\rho_t$ es una fuerza de transporte acotada. El núcleo de transporte $T_t$ está restringido a mover masa de probabilidad localmente (por ejemplo, desplazamientos de radio 1) e incluye un "presupuesto de desplazamiento de media" para evitar una deriva descontrolada durante los despliegues autoregresivos. Para soportes no ordenados, esta etapa se desactiva ($\rho_t \equiv 0$).

Entrenamiento: El modelo se entrena utilizando pérdida de divergencia KL de un paso forzada por el profesor. Crucialmente, no utiliza pérdida de despliegue, objetivos de múltiples horizontes ni supervisión de oráculo. Se añade un prior de operador libre de objetivo ($R_{op}$) para penalizar el transporte fuerte, la masa fuera de la identidad y los núcleos rugosos, asegurando estabilidad sin supervisión directa en los pasos futuros.

3. Contribuciones Teóricas

El artículo proporciona tres resultados teóricos principales sobre las limitaciones de los predictores de resumen fijo y la expresividad de CAST:

• Límite Inferior de Aliasing (Teorema 1): Los autores demuestran que, bajo aliasing del núcleo de transición latente (donde múltiples regímenes comparten el mismo resumen observado pero tienen sucesores diferentes), cualquier predictor de resumen fijo incurre en un límite inferior de riesgo excesivo ponderado de Jensen–Shannon (JS) irreducible. Este límite es estrictamente positivo a menos que todos los sucesores específicos del régimen sean idénticos.
• Representabilidad de Oráculo (Teorema 2): Demuestran que la clase de hipótesis de CAST contiene el sucesor Bayesiano consciente del régimen. Si la representación causal puede identificar el régimen latente y la memoria contiene el ancla apropiada, CAST puede teóricamente lograr un riesgo excesivo cero.
• Separación de Soporte Ordenado (Teorema 3): Para soportes ordenados, los autores muestran que incluso un método de oráculo restringido a la clase de ancla "sin transporte" (combinaciones lineales de los estados actual y recuperado) incurre en un riesgo excesivo KL condicional acotado inferiormente por un término de separación de Pinsker si el sucesor verdadero se encuentra fuera de la envoltura del ancla. CAST, al utilizar transporte local acotado, puede cerrar esta brecha.

4. Resultados Experimentales

Los autores evaluaron CAST en una suite de 11 puntos de referencia que abarcan ecología, energía, dieta, mortalidad, empleo, calidad del aire, clima severo, movilidad y colas (tanto G/G/1 como Gt/G/1).

• Rendimiento: CAST logró el mejor rango promedio tanto en KL de un paso (1.27) como en JSD de despliegue autoregresivo (1.91) en las 11 secciones.
• Comparaciones: Superó a un amplio conjunto de líneas base que incluía métodos estadísticos (persistencia, ETS, ilr-VAR), modelos composicionales y arquitecturas modernas de series temporales profundas (Transformers, iTransformer, N-HiTS, TimeMixer, etc.). CAST ganó 8 de 11 secciones en ambas métricas y estuvo en el top-2 en las 11 para KL offline.
• Ablaciones: Eliminar la mezcla de persistencia causó una caída significativa en el rendimiento (las victorias en KL bajaron de 8/11 a 5/11), mientras que eliminar la regularización estructural degradó principalmente la estabilidad del despliegue a largo plazo.
• Validación Sintética: Un experimento sintético controlado confirmó la teoría del aliasing. Los predictores de resumen fijo colapsaron al promedio JS de sucesores incompatibles, mientras que CAST recuperó con éxito el sucesor específico del régimen, cerrando la brecha de error a casi cero.
• Análisis Cualitativo: Las visualizaciones en datos de colas mostraron que, mientras las líneas base producían bandas estáticas o distribuciones difusas, CAST preservó los modos móviles y la forma de la distribución, consistente con su mecanismo de transporte acotado.

5. Significado y Afirmaciones

El artículo afirma que CAST ofrece una alternativa estructural a los modelos genéricos de secuencia a distribución. Su significado radica en:

1. Modelado Explícito de la Estructura Causal: Al recuperar sucesores empíricos y anclarlos, CAST aborda directamente el problema de aliasing donde los estados actuales son insuficientes para determinar futuros.
2. Diseño Nativo del Simplex: A diferencia de los modelos que mapean a logits no restringidos y proyectan de nuevo, el operador de transición de CAST está construido para permanecer dentro del simplex en cada etapa, asegurando distribuciones de probabilidad válidas sin corrección a posteriori.
3. Estabilidad en Despliegue: La combinación de anclaje de persistencia y transporte local acotado previene la acumulación de errores durante la predicción autoregresiva a largo plazo, un modo de fallo común en los modelos de series temporales profundas.
4. Desambiguación de Régimen: Los resultados sugieren que, para series temporales de valor de distribución, aprovechar la historia causal para distinguir regímenes latentes es más crítico que simplemente aumentar la capacidad del modelo o la longitud de la secuencia.

Los autores permanecen modestos respecto al alcance, señalando que la teoría proporciona un argumento de existencia para el régimen donde CAST destaca, en lugar de una garantía de entrenamiento de muestra finita. Reconocen que para dinámicas puramente suaves en soportes no ordenados, otros modelos pueden seguir siendo competitivos, y que la implementación actual depende de un entrenamiento de un paso con el despliegue como un protocolo de evaluación puro.