Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning

Resumen Técnico: Sesgo de Pico Mediado por Trazas en el Aprendizaje por Refuerzo Profundo

Planteamiento del Problema
La asignación de crédito temporal —el proceso de determinar qué estados pasados son responsables de las recompensas actuales— es un desafío fundamental tanto en la inteligencia biológica como en la artificial. Si bien las trazas de elegibilidad (por ejemplo, en los algoritmos TD($\lambda$)) cierran eficazmente las brechas temporales en entornos tabulares, su interacción con la aproximación de funciones no lineales en el aprendizaje por refuerzo (RL) profundo sigue siendo insuficientemente comprendida. El artículo identifica un modo de fallo sistemático en el RL profundo denominado Sesgo de Pico Mediado por Trazas (TMPB, por sus siglas en inglés). En este fenómeno, los agentes equipados con trazas de elegibilidad y redes neuronales no lineales prefieren irracionalmente trayectorias que contienen "picos" de recompensa de gran magnitud sobre alternativas con retornos acumulados más altos. Este comportamiento refleja la Regla de Pico-Final humana, un heurístico cognitivo donde las evaluaciones retrospectivas están dominadas por los momentos más intensos de una experiencia en lugar de su utilidad integrada. El problema central es que los métodos de optimización estándar no logran normalizar los "choques de gradiente" causados por recompensas distales de alta saliencia, lo que conduce a una sobreestimación global del valor y a la selección de políticas subóptimas.

Metodología
Para caracterizar esta interacción, los autores diseñaron un proceso de decisión de Markov (MDP) episódico estilizado llamado el Entorno de las Dos Puertas. El entorno presenta dos caminos distintos de longitud $T=10$ que se originan desde un estado común $S_0$:

1. $\tau_{steady}$: Proporciona una recompensa constante de $r_t = 2$ en cada paso.
2. $\tau_{peak}$: Proporciona un perfil de recompensa disperso con un "pico" de gran magnitud ($r_3 = 10$), una recompensa final ($r_{10} = 6$) y cero en el resto de los pasos.

Dado un factor de descuento $\gamma = 0.95$, los valores óptimos racionales son $V^*(S_0|\tau_{steady}) \approx 16.05$ y $V^*(S_0|\tau_{peak}) \approx 12.81$. Los autores evaluaron las estimaciones de valor utilizando una red neuronal con una capa oculta de 16 unidades ReLU. El entrenamiento se llevó a cabo durante 1,000 episodios utilizando una política de comportamiento uniforme y un descenso de gradiente estocástico (SGD) con una tasa de aprendizaje fija. La función de pérdida utilizó la vista hacia adelante equivalente a la traza de elegibilidad basada en gradientes:
$$\mathcal{L}(\theta) = \sum_{t=0}^{T-1} \lambda^t (V_\theta(s_t) - [r_t + \gamma V_\theta(s_{t+1})])^2$$
El estudio comparó el rendimiento del SGD de tamaño de paso fijo frente a optimizadores adaptativos (específicamente RMSprop) a través de diversas profundidades de traza ($\lambda$).

Resultos Clave
Los experimentos revelaron una sobreestimación sistemática del valor de la trayectoria "Peak" ($V(S_0|\tau_{peak})$) cuando se utiliza SGD con profundidades de traza intermedias ($0.15 < \lambda < 0.50$). En esta "Zona de Irracionalidad", la estimación de valor del camino inferior superó erróneamente al del camino "Steady" superior, causando que el agente prefiera la trayectoria subóptima.

Por el contrario, cuando el mismo entorno fue entrenado utilizando el optimizador adaptativo RMSprop, este sesgo fue mitigado y el agente identificó correctamente el camino "Steady" como el óptimo. Los resultados demuestran que el sesgo no es inherente al mecanismo de la traza en sí, sino que es un artefacto específico de cómo los optimizadores de tamaño de paso fijo manejan la varianza introducida por las recompensas de gran magnitud en un sistema neuronal distribuido.

Explicación Mecanicista
El artículo proporciona una explicación mecanicista para el TMPB:

• Choques de Gradiente: Las recompensas de gran magnitud generan errores de Diferencia Temporal (TD) elevados ($\delta_t$). En presencia de trazas de elegibilidad, estos errores se propagan hacia atrás en el tiempo, creando "choques de gradiente" ($\Delta\theta_t = \alpha \delta_t z_t$).
• Falta de Normalización: En el SGD de tamaño de paso fijo, el desplazamiento de los parámetros es directamente proporcional a la magnitud de la recompensa. Consecuentemente, una única actualización de pico puede reconfigurar desproporcionadamente los pesos compartidos, efectivamente "secuestrando" el manifold neuronal y excediendo la suma integrada de las actualizaciones constantes de menor magnitud.
• Mitigación Adaptativa: Los optimizadores adaptativos como RMSprop escalan las actualizaciones mediante el inverso del segundo momento de los gradientes. Esta normalización amortigua el impacto de los valores atípicos de alta varianza (las recompensas de pico), evitando que los choques de gradiente distorsionen la estimación global del valor.

Significancia y Contribuciones
El artículo realiza tres contribuciones principales:

1. Identificación del TMPB: Identifica y define formalmente el Sesgo de Pico Mediado por Trazas como un modo de fallo sistemático en el RL profundo, donde los agentes exhiben preferencias "irracionales" por trayectorias de alta saliencia y baja recompensa acumulada.
2. Paralelo Computacional al Sesgo Cognitivo: Demuestra que el TMPB sirve como un paralelo computacional directo a la Regla de Pico-Final. Esto sugiere que ciertas "irracionalidades" humanas pueden ser propiedades emergentes de las restricciones matemáticas de la asignación de crédito en sistemas distribuidos, en lugar de ser puramente heurísticos biológicos.
3. Necesidad Teórica de la Optimización Adaptativa: Los autores argumentan que la optimización adaptativa es una necesidad teórica para la estimación racional del valor en sistemas no lineales. Sin la normalización basada en la varianza, los sistemas que utilizan representaciones distribuidas y asignación de crédito tipo traza son estructuralmente propensos a las distorsiones de saliencia.

Conclusión
El trabajo reencuadra la relación entre la psicología cognitiva y el aprendizaje por refuerzo. Mientras que el RL históricamente se inspiró en la psicología, este artículo postula que las patologías matemáticas del RL profundo moderno ofrecen ahora un lenguaje riguroso para explicar las "irracionalidades" humanas. Los hallazgos sugieren que las distorsiones de saliencia humanas pueden reflejar una dependencia biológica de actualizaciones simples basadas en gradientes que carecen de la sofisticada normalización encontrada en los sistemas artificiales adaptativos. Para el desarrollo de la IA, esto resalta que las arquitecturas neuronales "similares a las humanas" heredan naturalmente las vulnerabilidades humanas, haciendo que la elección del optimizador sea una preocupación teórica fundamental en lugar de una mera tarea de ajuste de hiperparámetros.