Learning Transferable Predictability Representations

Resumen Técnico: Aprendizaje de Representaciones de Predictibilidad Transferibles

Formulación del Problema

El artículo aborda el desafío de asignar una puntuación escalar a una ventana de trayectoria corta que refleje su posición en un continuo ordenado de regímenes de predictibilidad. Mientras que los métodos existentes discriminan eficazmente entre la dinámica determinista y la estocástica dentro de un mismo sistema, no logran producir puntuaciones con interpretaciones numéricas consistentes entre diferentes sistemas.

Los autores formalizan esto como un problema de estimación ordinal sobre una "escalera de predictibilidad" de cinco niveles ($L_0$ a $L_4$):

1. $L_0$ (Determinista Estable): Puntos fijos o ciclos límite ($\lambda_{max} \le 0$).
2. $L_1$ (Débilmente Caótico): Determinista con pequeña inestabilidad positiva ($0 < \lambda_{max}\tau \ll 1$).
3. $L_2$ (Fuertemente Caótico): Determinista con divergencia rápida ($\lambda_{max}\tau \gg 0$).
4. $L_3$ (Estocástico Estructurado): Sustitutos (surrogates) que preservan estadísticas lineales (p. ej., espectro de potencia) pero rompen la geometría no lineal.
5. $L_4$ (Estocástico No Estructurado): Ruido i.i.d.

Una barrera estructural crítica identificada es la libertad de calibre (gauge freedom): la supervisión ordinal por sí sola determina el orden de las puntuaciones, pero deja la coordenada numérica sin fijar mediante una reparametrización monótona. En consecuencia, las puntuaciones entrenadas en un sistema no son directamente comparables con las de otro, incluso si el ranking ordinal es correcto. El artículo sostiene que la transferencia entre sistemas requiere fijar esta ambigüedad de la coordenada, ya que los escenarios de cero disparos (zero-shot) carecen de datos del sistema objetivo para una recalibración post-hoc.

Metodología: La Red Ordinal de Calibre Fijo (GON)

La solución propuesta, GON, es un modelo de convolución temporal diseñado para aprender una coordenada de puntuación compartida entre sistemas. Consta de tres componentes clave:

1. Preprocesamiento de 2-Jet:
   En lugar de utilizar coordenadas de estado puras (que conllevan la escala y las unidades específicas del sistema), GON opera sobre características de 2-jet: posición ($x$), velocidad ($\dot{x}$) y aceleración ($\ddot{x}$). Estas características, estimadas mediante el filtrado de Savitzky–Golay y diferencias finitas centrales, exponen la geometría local de la trayectoria. Esta representación es preservada por flujos deterministas suaves pero es perturbada por procedimientos de sustitutos estocásticos, lo que la hace ideal para distinguir la estructura determinista del ruido estructurado.

2. Arquitectura:
   El modelo utiliza una Red de Convolución Temporal (TCN) con bloques residuales dilatados para codificar la entrada de 2-jet en una secuencia oculta. Un agrupamiento promedio (average pooling) multiescala agrega esto en un vector, que se mapea a una puntuación escalar mediante un MLP de dos capas. Las salidas se recortan utilizando una función tangente hiperbólica para alinearse con el rango objetivo.

3. Objetivo Ordinal de Calibre Fijo:
   Para resolver la libertad de calibre, el objetivo de entrenamiento asigna objetivos de anclaje fijos a las medias de las puntuaciones de cada nivel de la escalera: $\{t_k\} = \{-4, -2, 0, +2, +4\}$. La función de pérdida ($\mathcal{L}$) consta de:

   • Término de Anclaje: Penaliza la desviación de las medias de puntuación por nivel ($\mu_k$) respecto a sus objetivos ($t_k$).
   • Término de Varianza: Penaliza la dispersión excesiva dentro de cada nivel ($\sigma_k$), fomentando un agrupamiento estrecho alrededor de los anclajes.

   Este objetivo de "anclaje y varianza" fija la coordenada de la puntuación, asegurando que un valor numérico específico corresponda a un régimen de predictibilidad específico a través de diferentes sistemas.

Configuración Experimental

• Datos de Entrenamiento: 12 sistemas de ODE disipativos caóticos en tres dimensiones (p. ej., Lorenz-63, Rössler, Chen) que cubren un rango de geometrías de atractor.
• Datos de Prueba: Cinco sistemas totalmente excluidos (held-out) (p. ej., Thomas, Tigan, péndulo forzado) sin uso de datos durante el entrenamiento.
• Métricas de Evaluación:
  • Pendiente de Monotonicidad ($\beta$): Mide la coherencia ordinal global de las medias de nivel.
  • $\beta$ Normalizada por Escala ($\beta_{norm}$): Utilizada para la comparación entre métodos.
  • Deriva de Anclaje ($\delta_{anchor}$): Mide qué tan cerca están las medias aprendidas de los anclajes objetivo.
  • AUROC de Pares: Evalúa la discriminación en fronteras específicas (p. ej., $L_2 \to L_3$).

Resultados Clave

1. Transferencia Zero-Shot:

   • GON logra una pendiente de monotonicidad normalizada por escala de $\beta_{norm} = 0.559$ en sistemas excluidos, superando a todos los baselines supervisados (que se agrupan alrededor de 0.46–0.48).
   • La transferencia es más fuerte en la frontera estocástica ($L_2 \to L_3$ y $L_3 \to L_4$), donde los procedimientos de sustitutos interrumpen la geometría no lineal. Las fronteras del lado determinista ($L_0 \to L_2$) muestran una separación más débil, lo que sugiere que las distinciones caóticas finas son más específicas de cada sistema.
   • La calibración in-distribution es excelente, con una deriva de anclaje media de $\delta_{anchor} = 0.0097$.

2. Eficiencia de Adaptación:

   • Iniciar desde un checkpoint de GON preentrenado supera significativamente al entrenamiento desde cero, incluso con muy pocas ventanas etiquetadas ($k=5$).
   • El ajuste fino completo (pre_all) supera consistentemente a la inicialización aleatoria, mientras que congelar el codificador (pre_head) mejora la discriminación pero falla en recuperar la estructura ordinal global ($\beta$).
   • La profundidad de la adaptación se correlaciona con la proximidad geométrica: los sistemas con campos vectoriales similares al conjunto de entrenamiento se adaptan inmediatamente, mientras que aquellos con estructuras no vistas (p. ej., forzamiento sinusoidal) requieren más datos y pueden fallar en resolver fronteras más finas.

3. Estudios de Ablación:

   • Anclaje vs. Margen: Reemplazar el objetivo de anclaje con una pérdida de margen (que impone separación pero no coordenadas fijas) preserva la discriminación in-distribution pero causa que la deriva de anclaje aumente de 0.005 a 2.556 y reduce la transferencia $\beta$ en un 47%. Esto confirma que la estabilidad de la coordenada, no solo la coherencia ordinal, es necesaria para la transferencia.
   • Características de 2-Jet: El uso de características de 2-jet coherentes mejora significativamente la transferencia ($\beta = 1.504$) en comparación con los estados brutos ($\beta = 1.132$) o derivadas mezcladas (shuffled). Esto resalta la importancia de la estructura geométrica sobre la mera dimensionalidad.

Significado y Reivindicaciones

El artículo afirma identificar el fijado de calibre (gauge-fixing) como el ingrediente faltante para las puntuaciones de predictibilidad ordinal transferibles. La contribución central es demostrar que asignar una coordenada numérica estable a los niveles ordinales es una condición necesaria para la comparabilidad entre sistemas.

• Perspectiva Teórica: El trabajo establece que la discriminación por pares y la puntuación ordinal globalmente coherente son propiedades distintas; se requiere una coordenada estable para unirlas bajo transferencia.
• Utilidad Práctica: El marco permite la evaluación de la predictibilidad, la selección de modelos y los diagnósticos de alerta temprana en sistemas naturales e ingenieriles sin necesidad de calibración específica del sistema.
• Limitaciones: Los autores señalan que el benchmark está actualmente limitado a sistemas ODE disipativos de baja dimensión. Las extensiones a sistemas de alta dimensión, conservativos o señales del mundo real siguen siendo un trabajo futuro. El método opera sobre datos sintéticos y no implica datos personales ni previsibles impactos sociales negativos.

En conclusión, el artículo postula que el aprendizaje de una coordenada de predictibilidad ordinal transferible mediante el fijado de calibre permite comparaciones significativas de los regímenes de predictibilidad entre sistemas dinámicos heterogéneos, una capacidad previamente inalcanzable mediante los enfoques estándar de regresión u clasificación ordinal.