Resumen Técnico: Completitud vs. Optimalidad en Problemas de Daño Acumulativo de Largo Horizonte

1. Definición del Problema

Este artículo aborda una clase específica de problemas de decisión secuencial de largo horizonte caracterizados por daño acumulativo. En estos entornos, las acciones que maximizan la recompensa inmediata (localmente atractivas) aumentan simultáneamente un estado latente de daño acumulativo ($D_t$). El episodio termina implícitamente cuando $D_t$ cruza un umbral o cuando se viola una restricción de "viabilidad del rol" (por ejemplo, cuando la proporción de actividades de alto daño cae por debajo de un nivel crítico).

El desafío central es que la señal de daño a menudo es latente o poco informativa en niveles bajos de daño. Los agentes que utilizan métodos estándar de gradiente de política (como PPO) a menudo fallan en aprender políticas prudentes porque:

1. No pueden observar el daño hasta que es demasiado tarde (el "límite terminal implícito").
2. La asignación de crédito codiciosa favorece la recompensa inmediata sobre la preservación a largo plazo, lo que conduce a una terminación temprana.

Los autores identifican que la evaluación basada en retorno estándar confunde dos modos de fallo distintos:

• Fallo de Completitud: El agente sale del episodio antes de tiempo (antes del horizonte completo $H$) debido a la violación de la restricción implícita.
• Fallo de Optimalidad: El agente completa el horizonte completo pero alcanza un estado final subóptimo (por ejemplo, menor preservación de salud/capacidad) porque se comprometió con una estrategia codiciosa desde el principio.

2. Metodología y Descomposición

El artículo propone una descomposición para evaluar a los agentes en dos ejes ortogonales:

1. Completitud: ¿La política alcanza el horizonte terminal $H$?
2. Optimalidad: Dada la completitud, ¿la política coincide con el valor de una referencia de inducción hacia atrás ($\pi^*$)?

Configuración Experimental

Los autores evalúan esta descomposición en dos entornos distintos y calibrados que comparten la misma estructura abstracta pero difieren en dominio y parámetros:

• Carrera de Albañil: Una simulación de 49 pasos (49 años) de un trabajador de la construcción gestionando 7 actividades, calibrada con datos de biomecánica de rodillas humanas y epidemiológicos.
• Carrera de Ala-Pívot de la NBA: Una simulación de 20 temporadas de un jugador de baloncesto gestionando 6 actividades, calibrada con literatura de medicina deportiva.

Ambos entornos presentan:

• Daño Latente: El agente observa solo una señal proxy $S_t = g(D_t)$, que es poco informativa en niveles bajos de daño.
• Estructura de Actividad Dominante: Una actividad maximiza tanto la recompensa como el daño.
• Degradación Autoamplificada: Un canal secundario donde la preservación ($M_t$) se degrada a una tasa acelerada una vez que cae por debajo de un umbral ($M_{amp} = 0.6$).

Algoritmos Comparados

1. PPO-real: Optimización de Política Proximal estándar entrenada en trayectorias reales con la restricción de terminación implícita activa.
2. Dyna Sin Restricciones: Una variante basada en modelos (Dyna) con acceso al horizonte completo (mediante un indicador no_exit durante el entrenamiento) y una penalización suave lineal por violar la restricción de viabilidad del rol.
3. Dyna de Cuota Fija: Una variante donde la cuota de actividad se fija a la asignación óptima de Programación Dinámica (DP), y solo se aprende el nivel de esfuerzo.
4. Óptimo de DP: Una referencia de inducción hacia atrás que utiliza conocimiento completo del estado ($D, M, t$) para calcular el límite superior teórico.

3. Hallazgos Clave y Resultados

La Brecha de Completitud

• Fallo de PPO-real: El PPO entrenado en trayectorias reales falla en completar el horizonte en ambos entornos (0% de tasa de completitud). La edad media de salida es significativamente menor que el horizonte (27.8 años en Albañil; 22.6 años en NBA).
• Daño del Acceso al Horizonte por Sí Solo: Otorgar acceso al horizonte a un agente sin restricciones (Dyna Sin Restricciones) con una penalización suave lineal empeora el rendimiento. La penalización impulsa la cuota de la actividad dominante a cero, violando la restricción incluso más agresivamente que PPO-real.
• Restricción del Espacio de Acciones: Restringir el espacio de acciones a la asignación de cuota óptima de DP (Dyna de Cuota Fija) desbloquea la completitud. Este agente logra un 100% de completitud en ambos entornos, demostrando que el fallo en completar es estructural (relacionado con la restricción de cuota) y no puramente un problema de asignación de crédito.

La Brecha de Optimalidad

Incluso cuando se logra la completitud (Dyna de Cuota Fija), persiste una brecha de optimalidad ($\Delta M_{final}$) significativa:

• Albañil: $\Delta M_{final} = 0.271$ (Dyna de Cuota Fija $M_{final} \approx 0.52$ vs. Óptimo de DP $0.79$).
• NBA: $\Delta M_{final} = 0.150$ (Dyna de Cuota Fija $M_{final} \approx 0.61$ vs. Óptimo de DP $0.76$).

Mecanismo del Fallo de Optimalidad: Entrada a la Cuenca de la Primera Fase

El artículo identifica la causa de la brecha de optimalidad como un compromiso codicioso de la primera fase:

• Atractor de Declive Reactivo: En 8/10 semillas (Albañil) y 4/10 semillas (NBA), el agente se compromete con el esfuerzo máximo en la actividad dominante en $t=0$.
• Irreversibilidad: Este esfuerzo inicial alto impulsa la variable de preservación $M$ por debajo del umbral de autoamplificación ($M_{amp}$) de manera irreversible.
• Entrada a la Cuenca en el Paso 0: La primera actualización esperada del gradiente de política apunta hacia la acción codiciosa porque la brecha de recompensa inmediata supera el costo futuro descontado del daño (formalizado en la Proposición 1). Este compromiso ocurre dentro del primer 1% del entrenamiento, antes de que se acumulen las señales de largo horizonte.
• Invarianza del Horizonte: La dominancia de este atractor de "declive reactivo" es invariante a la longitud del horizonte de entrenamiento ($H$) hasta un límite crítico $H^*$, confirmando que el fallo es impulsado por condiciones iniciales, no por la asignación de crédito de largo horizonte.

4. Contribuciones

1. Formalización: Una definición formal de la clase de problemas de "daño acumulativo con horizonte no coincidente" y una descomposición del fallo en ejes de completitud y optimalidad.
2. Descomposición Empírica: Una comparación triple (PPO-real, Dyna de Cuota Fija, Óptimo de DP) que cuantifica ambas brechas en dos dominios distintos.
3. Análisis Causal: Evidencia de que el acceso al horizonte por sí solo es perjudicial bajo penalizaciones suaves lineales y que la restricción del espacio de acciones es la intervención necesaria para la completitud.
4. Identificación del Mecanismo: Identificación del "compromiso codicioso de la primera fase" como el motor del fallo de optimalidad, respaldado por una proposición teórica sobre la dirección de la primera actualización de gradiente esperada.

5. Significado y Afirmaciones

El artículo afirma que los métodos estándar de gradiente de política fallan en problemas de daño acumulativo no solo debido a la asignación de crédito de largo horizonte, sino debido a una incapacidad estructural para satisfacer restricciones terminales implícitas (completitud) y una tendencia a comprometerse con estrategias codiciosas al muy inicio del episodio (optimalidad).

• Valor Diagnóstico: La descomposición revela que las intervenciones dirigidas a un eje (por ejemplo, restricción del espacio de acciones para la completitud) no resuelven el otro (optimalidad).
• Generalizabilidad: Los hallazgos se replican en dos dominios (salud ocupacional y medicina deportiva), lo que sugiere que los modos de fallo son inherentes a la estructura del problema (daño latente, alineación de actividad dominante, degradación autoamplificada) y no específicos de un simulador.
• Perspectiva Teórica: El trabajo conecta el patrón empírico de "declive reactivo" con una condición formal donde la brecha de recompensa inmediata domina el valor de continuación en $t=0$, explicando por qué los agentes convergen a puntos fijos subóptimos independientemente de la longitud del horizonte de entrenamiento.

Los autores declaran explícitamente que su proposición teórica (Proposición 1) se aplica a un MDP binario mínimo y sirve como una analogía estructural para los entornos de prueba de múltiples actividades, en lugar de una derivación directa para ellos. También señalan limitaciones relacionadas con el uso de un único motor de simulación y las funciones de penalización específicas utilizadas (penalizaciones suaves lineales).