Resumen Técnico: Incertidumbre de la Llegada de Regímenes en los Límites de Generalización bajo Desplazamiento de Distribución

Declaración del Problema

Los límites de generalización estándar en la teoría del aprendizaje estadístico dependen del supuesto de que los datos de entrenamiento y de despliegue son generados por la misma distribución estática. Este supuesto falla frecuentemente en aplicaciones del mundo real (por ejemplo, modelado de riesgo clínico, detección de intrusiones, sistemas autónomos) donde el entorno evoluciona a través del tiempo mediante cambios estructurales. Específicamente, la teoría existente no aborda adecuadamente entornos donde la proporción de estados de "calma" frente a "crisis" difiere entre el periodo de entrenamiento y el periodo de despliegue futuro. El problema central es cuantificar el riesgo adicional introducido por este desajuste de composición de regímenes cuando los desplazos de distribución siguen un proceso de cambio de Markov (Markov-switching).

Metodología

El artículo propone un marco teórico fundamentado en la dinámica de regímenes latentes, modelando el entorno como una cadena de Markov de dos estados ($Z_t \in \{0, 1\}$) que representa los regímenes de calma y crisis.

1. Marco Teórico

• Descomposición de Regímenes: La distribución de entrenamiento se modela como una mezcla $P_{mix} = (1-\pi)P_0 + \pi P_1$, donde $\pi$ es la fracción histórica de crisis. La distribución de despliegue futuro (condicionada a que el estado actual sea de calma) es $P_{future} = p_{00}P_0 + p_{01}P_1$, donde $p_{01}$ es la probabilidad de transición al régimen de crisis.
• Descomposición Exacta (Lema 4.1): Los autores derivan una identidad exacta para la brecha de generalización:
  $$R_{future}(f) - R_{mix}(f) = (p_{01} - \pi)(R_1(f) - R_0(f))$$
  Esto separa la brecha en un término de desajuste de composición ($p_{01} - \pi$) y un término de sensibilidad de régimen ($R_1 - R_0$).
• Límite de Sensibilidad de Régimen: El término de sensibilidad se acota utilizando la divergencia $H\Delta H$ (Ben-David et al., 2010), la cual es más ajustada y estimable que la distancia de Variación Total. El límite incorpora un término de adaptabilidad $\lambda_{01}$.
• Manejo de Datos Dependientes: Para dar cuenta de la dependencia temporal, el marco extiende la teoría del aprendizaje a secuencias geométricamente $\beta$-mezclables (Yu, 1994). Deriva explícitamente un tamaño de muestra efectivo ($n_{eff}$) basado en la brecha espectral de la matriz de transición, reduciendo el tamaño de la muestra a medida que aumenta la persistencia del régimen.
• Estimación: Los componentes de la penalización se estiman mediante:
  • Fracciones de crisis empíricas de las ventanas de entrenamiento.
  • Un clasificador de dominio para estimar la divergencia $H\Delta H$ a partir de características no etiquetadas.
  • Constantes de mezcla derivadas de la matriz de transición.

2. Límites Teóricos

• Límite Superior (Teorema 4.13): Se construye un límite superior de alta probabilidad para el riesgo futuro con muestra finita, encadenando la desigualdad de cambio de régimen con un límite de complejidad de Rademacher consciente de la mezcla.
• Límite Inferior (Teorema 4.15): Se establece un límite inferior minimax (estilo Le Cam) para el entrenamiento de puro estado de calma ($\pi=0$). Demuestra que un exceso de riesgo de al menos $p_{01} \cdot \frac{1}{2}d_{H\Delta H}$ es irreducible, independientemente del tamaño de la muestra, porque el aprendiz no puede distinguir entre diferentes mundos de crisis sin observar muestras de crisis.

Contribuciones Clave

1. Descomposición Exacta del Desajuste de Régimen: El artículo proporciona una descomposición algebraica rigurosa que muestra que la brecha de generalización bajo el cambio de régimen es el producto del desajuste en la composición del régimen y la sensibilidad del modelo a los cambios de régimen.
2. Incertidumbre de la Llegada de Regímenes: El marco demuestra que, si bien la geometría de los regímenes de crisis (distinguibilidad de características) puede detectarse, la llegada temporal (probabilidad de transición $p_{01}$) no puede pronosticarse de manera fiable a partir de las ventanas de entrenamiento estándar.
3. Irreducibilidad del Riesgo: Establece que bajo un entrenamiento de puro estado de calma, la penalización debida al desajuste de régimen es una limitación fundamental, no un artefacto del análisis. Ninguna mejora algorítmica puede eliminar este riesgo sin observar la dinámica de transición.
4. Extensión a Datos Dependientes: Los límites se extienden a datos $\beta$-mezclables con correcciones explícitas de tamaño de muestra efectivo, uniendo la adaptación de dominio y la teoría del aprendizaje dependiente.

Resultados Empíricos

El marco fue validado en dos conjuntos de datos:

1. Datos Sintéticos: Un entorno controlado con dinámicas de régimen conocidas y características gaussianas.
2. Datos del Mundo Real: 25 años de precios de cierre diarios de 10 índices de renta variable globales (2000–2025). Los regímenes se infirieron utilizando un Modelo Oculto de Markov (HMM) sobre los rendimientos logarítmicos y la volatilidad realizada.

Hallazgos:

• Validación Ex Post: Cuando la penalización se calcula utilizando la fracción de crisis realizada (disponible solo después del despliegue), esta sigue la brecha de generalización real con una alta correlación ($\rho = 0.729$ en datos reales, $\rho = 0.716$ en datos sintéticos). La identidad exacta del Lema 4.1 se cumple con precisión numérica.
• Fallo Ex Ante: Cuando la penalización se estima utilizando únicamente los datos de entrenamiento (reemplazando la fracción futura por la probabilidad de transición estimada $\hat{p}_{01}$), la correlación con las brechas realizadas desaparece ($\rho \approx 0.084$, el IC del 95% incluye cero).
• Distinguibilidad de Régimen: A pesar del fallo en el pronóstico de la llegada, el clasificador de dominio pudo separar los regímenes de calma y crisis con una precisión casi perfecta ($\frac{1}{2}\hat{d}_{H\Delta H} \approx 0.93$), confirmando que la geometría de las características es distinta pero el tiempo es impredecible.

Significado y Reivindicaciones

El artículo se posiciona no como una herramienta de pronóstico, sino como un instrumento de diagnóstico para comprender los fallos de despliegue.

• Reencuadre del Problema: Los autores argumentan que la respuesta estándar al fallo de un modelo (culpar a la arquitectura o a la regularización) es estructuralmente incompleta. La brecha de generalización suele estar impulsada por el tiempo del régimen del entorno ($p_{01}$), el cual está fuera del control del algoritmo.
• Utilidad Diagnóstica: El marco permite a los profesionales realizar "auditorías de fallo post-hoc". Al confirmar que el mecanismo de penalización es real y que la descomposición es exacta, ayuda a aislar el componente estructural de riesgo que no puede ser eliminado mediante el refinamiento del modelo.
• Limitaciones: Los autores declaran explícitamente que el marco no resuelve el problema de pronosticar la composición de los regímenes futuros. La "condición de escape" (donde la composición de entrenamiento coincide con la probabilidad de transición futura) está identificada matemáticamente pero es empíricamente inalcanzable basándose únicamente en las ventanas históricas. El marco destaca que la seguridad del aprendizaje estadístico bajo no-estacionariedad es fundamentalmente un problema de tiempo de régimen más que un problema de optimización algorítmica.