Teacher Forcing as Generalized Bayes: Optimization Geometry Mismatch in Switching Surrogates for Chaotic Dynamics

A continuación se presenta un resumen técnico detallado del artículo "Teacher Forcing como Bayes Generalizado: Desajuste de la Geometría de Optimización en Sustitutos de Conmutación para Dinámicas Caóticas".

1. Planteamiento del Problema

El artículo aborda una paradoja fundamental en la Reconstrucción de Sistemas Dinámicos (DSR) utilizando Redes Neuronales Recurrentes (RNN), particularmente para sistemas caóticos:

• El Objetivo: Aprender modelos sustitutos que reproduzcan con precisión el comportamiento invariante a largo plazo (por ejemplo, exponentes de Lyapunov, geometría del atractor) de un sistema caótico, en lugar de solo la predicción de trayectorias a corto plazo.
• El Desafío: Los sistemas caóticos exhiben dependencia sensible de las condiciones iniciales (exponentes de Lyapunov positivos). Esto provoca que los gradientes a nivel de trayectoria exploten durante la Retropropagación a través del Tiempo (BPTT) estándar, haciendo que el entrenamiento directo a largo plazo sea numéricamente inestable.
• La Solución de Contingencia: El Teacher Forcing Escaso (STF), específicamente el Identity Teacher Forcing (ITF), se utiliza ampliamente. Sobrescribe periódicamente el estado latente del modelo con datos observados para estabilizar los gradientes.
• El Problema Central: STF es un método de entrenamiento basado en intervención. Optimiza una pérdida de predicción bajo una distribución de despliegue modificada (forzada por datos), lo que desconecta estadísticamente el objetivo de entrenamiento de la verosimilitud marginal del modelo generativo autónomo (de ejecución libre).
• Hipótesis: El artículo investiga si la geometría de optimización local (curvatura) inducida por ITF coincide con la geometría de la verdadera verosimilitud marginal. Postula que ITF condiciona una única trayectoria forzada, ignorando la ambigüedad de conmutación (incertidumbre sobre qué régimen lineal generó los datos), lo que potencialmente conduce a una curvatura excesivamente segura y aguda que no se alinea con la geometría del posterior verdadero requerida para los invariantes dinámicos a largo plazo.

2. Metodología

A. Arquitectura del Modelo: RNNs Casi-Lineales (AL-RNNs)

Los autores utilizan AL-RNNs como banco de pruebas. Estos modelos combinan estructuras recurrentes lineales con un pequeño número de unidades no lineales con compuertas (ReLU).

• Dinámicas de Conmutación: Las dinámicas conmutan entre regímenes lineales basándose en un "código de conmutación" binario $c_t$ determinado por el signo de coordenadas latentes específicas.
• Interpretabilidad: Esta estructura permite códigos simbólicos explícitos y cálculos de Jacobiano tratables y en forma cerrada, facilitando el análisis de los regímenes de conmutación.

B. Marco Teórico: Bayes Generalizado vs. Verosimilitud Marginal

El artículo contrasta dos perspectivas estadísticas:

1. ITF como Bayes Generalizado: ITF minimiza una pérdida de predicción. Estadísticamente, esto corresponde a un posterior de Gibbs (actualización de Bayes Generalizado). La curvatura de este objetivo se aproxima mediante una matriz Gauss-Newton/Fisher Generalizada ($I_{ITF}$) calculada a lo largo de la trayectoria forzada.
2. Verosimilitud Marginal (PAL-RNN): Para establecer una geometría de referencia, los autores aumentan probabilísticamente la AL-RNN a una AL-RNN Probabilística (PAL-RNN).
   • Los códigos de conmutación se tratan como variables aleatorias latentes gobernadas por una compuerta probit (introduciendo estocasticidad).
   • El objetivo es la verosimilitud marginal $p(x_{1:T})$, obtenida integrando sobre estados latentes y códigos de conmutación.
   • Identidad de Louis: La curvatura de la verosimilitud marginal (Información Observada, $I_{obs}$) se calcula utilizando la identidad de Louis:
     $$I_{obs}(\theta) = E[I_{comp}(\theta) | x] - I_{miss}(\theta)$$
     Donde $I_{miss}$ es el término de información faltante que surge de la incertidumbre latente (ambigüedad sobre la trayectoria de conmutación).

C. Configuración Experimental

• Conjunto de Datos: Sistema de Lorenz-63 (un atractor caótico clásico).
• Análisis de Curvatura:
  • Calcular $I_{ITF}$ (trayectoria forzada) e $I_{obs}$ (trayectoria marginal mediante Filtrado de Partículas Rao-Blackwellizado e identidad de Louis).
  • Medir la Brecha de Curvatura ($g_Q$) entre la traza de $I_{ITF}$ e $I_{obs}$.
  • Analizar la relación entre la ambigüedad de conmutación (entropía posterior de la compuerta) y la brecha de curvatura.
• Experimento de Ajuste Fino:
  • Inicializar PAL-RNNs desde puntos de control de AL-RNNs entrenados con ITF.
  • Ajustar fino utilizando SAEM Estocástico de Partículas para maximizar la evidencia logarítmica condicional por ventanas.
  • Comparar tres configuraciones: Línea base (sin actualización), Calibración (actualizar solo ruido) y SAEM Completo (actualizar deriva + ruido).
  • Evaluar Cantidades de Interés (QoIs): Superposición de distribución de estados ($D_{stsp}$) y error del Exponente de Lyapunov más grande ($\hat{\lambda}_1 - \lambda_{ref}$).

3. Contribuciones Clave

1. Formalización de ITF como Bayes Generalizado: El artículo enmarca rigurosamente Teacher Forcing no solo como un truco de entrenamiento, sino como una regla de puntuación específica que induce un posterior generalizado con una geometría local distinta.
2. Identificación del Desajuste de Geometría: Demuestra que ITF induce una curvatura más aguda (mayor confianza) que la verosimilitud marginal consciente de la ambigüedad. Esto se debe a que ITF condiciona una única trayectoria de conmutación forzada, mientras que la verosimilitud marginal cuenta con múltiples trayectorias de régimen plausibles, aplanando la geometría mediante la corrección de información faltante (término de Louis).
3. Cuantificación de la Brecha de Curvatura: Los autores introducen una métrica ($g_Q$) que muestra que la brecha de curvatura escala con la ambigüedad de conmutación (entropía). Cuando múltiples regímenes son plausibles, ITF sobreestima la curvatura en órdenes de magnitud en comparación con la verdadera verosimilitud marginal.
4. Desalineación Evidencia-QoI: El artículo proporciona evidencia empírica de que optimizar para la evidencia por ventanas (un proxy para la verosimilitud) puede degradar los invariantes dinámicos. Específicamente, ajustar fino los parámetros de deriva para mejorar la evidencia puede hacer que el modelo colapse en un atractor estable y no caótico (error de Lyapunov negativo), sacrificando la fidelidad dinámica a largo plazo por un ajuste predictivo a corto plazo.

4. Resultados Clave

• Curvatura vs. Ambigüedad: En un modelo AR(1) de conmutación de juguete, aumentar el ruido de la compuerta (y por tanto la ambigüedad de conmutación posterior) incrementa la Relación de Información Faltante (MIR) y disminuye la curvatura observada. Esto valida que la incertidumbre latente aplana la geometría de la verosimilitud marginal.
• La Brecha de Curvatura: En datos de Lorenz-63, la brecha de curvatura $g_Q$ oscila entre $\approx 10$ y $\approx 10^3$. La curvatura de ITF es significativamente más aguda que la información observada consciente de la ambigüedad.
  • Análisis Matricial: El desajuste es anisotrópico. Mientras que la traza sugiere que ITF es mucho más agudo, el análisis de valores propios generalizado muestra que esto no es un escalado uniforme; más bien, subespacios específicos son excesivamente seguros bajo ITF, mientras que otros no lo son.
• Fallo del Ajuste Fino:
  • Calibración (Solo ruido): Mejora la evidencia sin cambiar las QoIs (como se esperaba).
  • SAEM Completo (Deriva + Ruido): Mejora significativamente la evidencia por ventanas retenida, pero degrada severamente las QoIs dinámicas. El error del exponente de Lyapunov más grande cambia de estar cerca de cero a fuertemente negativo, indicando que el modelo ha aprendido una dinámica estable y contráctil en lugar del atractor caótico.
  • Visualización Cualitativa: El atractor del modelo ajustado fino con SAEM colapsa en una órbita periódica, mientras que la línea base preentrenada con ITF preserva la geometría caótica.

5. Significado e Implicaciones

• No hay Posterior Canónico: El artículo argumenta que no existe un único "posterior correcto" para la DSR caótica. La elección del objetivo (basado en intervención vs. verosimilitud marginal) dicta la geometría local y, en consecuencia, las dinámicas aprendidas.
• Limitaciones del Ajuste Fino Basado en Verosimilitud: Simplemente maximizar la verosimilitud (incluso con ventanas) en sistemas caóticos inicializados desde modelos con teacher forcing puede conducir a un colapso dinámico. El paisaje de optimización para la evidencia puede favorecer conjuntos de parámetros que son predictivos localmente pero globalmente inestables o no caóticos.
• Aprendizaje Consciente de QoI: Los hallazgos sugieren que, para sistemas caóticos, los objetivos de entrenamiento deben alinearse con las Cantidades de Interés (QoIs) (por ejemplo, exponentes de Lyapunov, medidas invariantes) en lugar de solo el error de predicción o la verosimilitud.
• Aprendizaje Activo Consciente de Geometría: El desajuste implica que la cuantificación de la incertidumbre (por ejemplo, aproximaciones de Laplace) basada en la curvatura de ITF será excesivamente segura. Las futuras estrategias de recolección activa de datos deben tener en cuenta la "información faltante" debida a la ambigüedad de conmutación.

En resumen, el artículo revela una desconexión crítica entre los mecanismos de estabilidad utilizados para entrenar RNNs caóticas (Teacher Forcing) y las propiedades estadísticas requeridas para recuperar sus verdaderas dinámicas a largo plazo. Advierte que optimizar para la verosimilitud en sustitutos de conmutación puede destruir inadvertidamente los propios invariantes caóticos que los investigadores buscan reconstruir.