Exposure Bias as Epistemic Underidentification in Recursive Forecasting

Resumen Técnico: El Sesgo de Exposición como Subidentificación Epistémica en el Pronóstico Recursivo

Declaración del Problema
El pronóstico multietapa recursivo se enmarca tradicionalmente como un problema de desplazamiento de distribución (desplazamiento de covariables), donde los modelos entrenados en historias observadas (mediante teacher forcing) se despliegan sobre predicciones autogeneradas, lo que conduce a errores acumulativos conocidos como sesgo de exposición. Este artículo sostiene que este marco es incompleto. Los autores postulan que, bajo condiciones de observabilidad parcial, ruido o truncamiento de estado, el pronóstico recursivo no es simplemente un desajuste entre las distribuciones de entrenamiento y prueba, sino fundamentalmente un problema de subidentificación epistémica.

Específicamente, el artículo sostiene que un predictor óptimo de Bayes de un solo paso, entrenado en contextos observados, puede fallar al identificar de manera única el comportamiento correcto para el proceso de despliegue (rollout) recursivo. Cuando un modelo genera sus propios estados futuros (estados inducidos), el valor numérico de estos estados por sí solo puede ser insuficiente para determinar el objetivo local correcto. El "siguiente paso" correcto puede depender de la procedencia del estado (por ejemplo, si fue observado o autogenerado), información que se pierde cuando el estado se trunca a una representación numérica. En consecuencia, el predictor recursivo desplegado opera en un régimen donde el objetivo local está subidentificado por la representación del estado.

Metodología y Marco Teórico
Los autores formalizan este problema utilizando un marco de estados inducidos ($Z_h$) y variables de procedencia ($P_h$).

• Estados Inducidos ($Z_h$): El estado numérico en una profundidad de despliegue $h$ específica, derivado de las propias salidas del predictor.
• Procedencia ($P_h$): Información que describe cómo se formó el estado (por ejemplo, observado vs. generado por el modelo).

El artículo establece tres componentes teóricos:

1. Teorema de Subidentificación: Los autores demuestran que, incluso si dos predictores recursivos son idénticos en el soporte observado (logrando el mismo riesgo de Bayes de un solo paso), pueden inducir diferentes pronósticos multietapa una vez que consultan estados autogenerados fuera de ese soporte. El objetivo de un solo paso no restringe el comportamiento en estos estados inducidos.
2. Descomposición del Error: El error en el pronóstico recursivo se descompone en tres términos no negativos:
   • Desajuste de Teacher-forcing/Rollout: La incapacidad de un predictor entrenado en datos observados para generalizar a la tarea del estado inducido.
   • Brecha de Representación-Clase: El error de aproximación de la clase de funciones elegida sobre la representación inducida.
   • Brecha de Procedencia: La pérdida de información recuperable incurrida al omitir los datos de procedencia de la entrada del estado.
3. Utilidad de la Procedencia: Teóricamente, condicionar en la procedencia puede reducir estrictamente el riesgo de Bayes en los estados inducidos si el objetivo esperado difiere según cómo se generó el estado (es decir, $E[Y|Z, P] \neq E[Y|Z]$).

Evaluación Empírica
Los autores prueban estas afirmaciones teóricas en tres conjuntos de datos de pronóstico numérico (ETTh1, MG, Weather) utilizando Perceptrones Multicapa (MLP) y GRUs. Los experimentos están diseñados para validar cuatro predicciones específicas:

1. Régimen Distinto: ¿Entra el despliegue en un régimen de estado distinto al de los datos observados?
   • Resultado: Las sondas lineales entrenadas para distinguir contextos observados de estados inducidos mediante teacher forcing muestran una precisión creciente con la profundidad del despliegue, confirmando que el despliegue recursivo mueve al modelo hacia un régimen de estado distinto.
2. Tarea Local Distinta: ¿Es la tarea de predecir sobre estados inducidos fijos diferente de la tarea original de un solo paso?
   • Resultado: Al congelar los estados inducidos y reentrenar, el rendimiento varía significamente entre los conjuntos de datos. En algunos (MG, Weather), el reentrenamiento sobre estados inducidos fijos mejora el rendimiento; en otros (ETTh1), este decae. Esto sugiere que la tarea del estado inducido no es simplemente una versión desplazada de la tarea original, sino un problema estructuralmente diferente.
3. Utilidad de la Procedencia: ¿Ayuda añadir información de procedencia?
   • Resultado: Una etiqueta de procedencia binaria (observado vs. generado) proporciona ganancias condicionales. En el entorno de "estado congelado", las ganancias son limitadas, lo que sugiere que la codificación binaria simple captura solo una fracción del potencial teórico. Sin embargo, en entornos de bucle cerrado, los métodos conscientes de la procedencia muestran resultados prometedores en conjuntos de datos específicos.
4. Dinámicas de Bucle Cerrado: ¿Ayuda la corrección al cambiar los estados visitados, no solo al mejorar la predicción local?
   • Resultado: La corrección de bucle cerrado (usando Scheduled Sampling con Procedencia) mejora el rendimiento general del despliegue. Crucialmente, los autores muestran que los modelos entrenados con corrección generan estados inducidos que son "más fáciles" de manejar para otros predictores, lo que indica que la corrección mejora el régimen de estado inducido en sí mismo, no solo el predictor local.

Contribuciones Clave

• Reencuadre del Sesgo de Exposición: El artículo redefine el sesgo de exposición de un simple desajuste de distribución de entrenamiento-prueba a un problema de subidentificación epistémica que surge de una representación de estado insuficiente en sistemas de observación parcial.
• Descomposición Formal: Proporciona una descomposición rigurosa del error de pronóstico recursivo en brechas de desajuste, aproximación e información de procedencia.
• Evidencia Empírica de Regímenes Distintos: Demuestra que el despliegue recursivo entra en un régimen de estado inducido distinto y que la tarea correctiva local sobre estos estados es heterogénea y dependiente del conjunto de datos.
• Mecanismo de Corrección: Muestra que los beneficios de la corrección recursiva surgen no solo de un mejor ajuste local, sino de alterar la trayectoria de los estados inducidos visitados durante el despliegue.

Significancia y Reivindicaciones
El artículo afirma que comprender el sesgo de exposición requiere reconocer que el despliegue recursivo crea un problema de predicción donde el objetivo local no está determinado únicamente por el estado numérico. La importancia radica en cambiar la narrativa de ver el sesgo de exposición únicamente como un desplazamiento de covariables para tratarlo como un razonamiento bajo incertidumbre epistémica autoinducida.

Los autores señalan modestamente que su codificación de procedencia binaria específica es una señal mínima y que las ganancias son condicionales en lugar de uniformes. No proponen una solución universal, sino que argumentan que el diseño de métodos futuros debería centrarse en explotar la información sobre cómo se forman los estados (por ejemplo, profundidad de despliegue, estimaciones de incertidumbre o trazas estructuradas) para resolver la ambigüedad entre los estados observados e inducidos. El trabajo sirve como banco de pruebas para la incertidumbre epistémica en el aprendizaje secuencial, sugiriendo que mejorar el pronóstico recursivo requiere abordar la subidentificación del mapa recursivo desplegado.