🤖 machine learning

Adaptive Multi-Horizon Reinforcement Learning

Este artículo propone un método de aprendizaje por refuerzo de horizonte múltiple adaptativo que selecciona y combina dinámicamente horizontes temporales para superar las limitaciones de los factores de descuento fijos, mejorando así la eficiencia de los parámetros y la adaptabilidad en entornos complejos y cambiantes y en escenarios de aprendizaje continuo.

Autores originales: Manoosh Samiei, Doina Precup, Paul Masset

Publicado 2026-07-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Manoosh Samiei, Doina Precup, Paul Masset

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo navegar por un mundo. Para tomar buenas decisiones, el robot necesita saber cuánto debe preocuparse por el futuro en comparación con el ahora. En el mundo de la informática, específicamente en un campo llamado Aprendizaje por Refuerzo (donde los agentes aprenden mediante ensayo y error), este equilibrio suele controlarse mediante un único ajuste inalterable llamado "factor de descuento". Piensa en esto como un par de gafas con un tinte fijo: si el tinte es demasiado oscuro, el robot solo ve lo que tiene justo delante de su nariz e ignora cualquier cosa que esté sucediendo a unos pocos pasos de distancia. Si el tinte es demasiado claro, el robot se distrae tanto con las posibilidades lejanas que olvida esquivar el obstáculo inmediato que tiene enfrente. Durante mucho tiempo, los científicos asumieron que un único ajuste fijo era suficiente para todo el proceso de aprendizaje. Pero si observas cómo piensan los humanos y los animales, parecen mucho más inteligentes. Pueden hacer zoom para enfocarse en peligros inmediatos o hacer zoom hacia afuera para planificar un viaje largo, cambiando sus "gafas" mentales según la situación. Este artículo plantea una pregunta simple pero poderosa: ¿Podemos construir un robot que pueda cambiar sus propias gafas sobre la marcha, en lugar de estar atrapado con un solo par?

Los investigadores, Manoosh Samiei, Doina Precup y Paul Masset, proponen un nuevo método llamado "Aprendizaje por Refuerzo Adaptativo de Multi-Horizonte". En lugar de obligar al robot a elegir solo una forma de ver el futuro, le dan toda una caja de herramientas de diferentes "ajustes de visión" (o horizontes de planificación) a la vez. Imagina un equipo de asesores expertos, donde un asesor está obsesionado con los próximos cinco minutos, otro está pensando en la próxima hora y un tercero está planificando para el día siguiente. El cerebro del robot actúa entonces como un gerente inteligente, escuchando a todos estos asesores pero prestando más atención al cuyo consejo tenga más sentido para la situación actual. Si el robot está en un laberinto donde las recompensas están dispersas por doquier, escucha más al planificador a largo plazo. Si está en una trampa donde necesita actuar rápido, escucha al planificador a corto plazo.

El artículo pone a prueba esta idea en algunos entornos similares a videojuegos. Primero, demostraron que en rompecabezas simples, la "mejor" forma de ver el futuro cambia dependiendo del diseño. A veces una visión corta es mejor; otras veces una visión larga es mejor. Luego, analizaron qué tan "dispersas" estaban las recompensas —es decir, qué tan difícil era encontrar las cosas buenas—. Descubrieron que cuando las recompensas estaban repartidas por todas partes y muy separadas, el robot necesitaba una visión más larga para tener éxito. Cuando las recompensas eran frecuentes y cercanas, una visión más corta funcionaba mejor. Esto demostró que un ajuste único y fijo no podía ser perfecto para cada tarea.

Finalmente, pusieron el nuevo sistema de "multi-asesores" a prueba en un escenario de aprendizaje continuo, donde el robot tenía que cambiar entre tres tareas diferentes una tras otra. Los resultados fueron prometedores. El sistema no solo aprendió cada tarea, sino que descubrió automáticamente qué "ajuste de visión" confiar para cada nuevo desafío. Cuando la tarea cambió de recolectar artículos dispersos a alcanzar un objetivo específico, el gerente interno del robot desplazó su atención hacia los asesores correctos. En la última tarea, la más compleja, el robot aprendió con éxito a agarrar un gran premio limitado en el tiempo y luego recolectar recompensas más pequeñas, una hazaña en la que los robots con un ajuste único y fijo suelen fallar. Los autores sugieren que este enfoque hace que el aprendizaje sea más eficiente y adaptable, de forma muy similar a cómo los cerebros biológicos parecen manejar el mundo real desordenado y cambiante. Aunque el artículo señala que los resultados se midieron en simulaciones y mostraron cierta variación dependiendo de las condiciones iniciales aleatorias, la idea central se mantiene: darle a un agente la capacidad de combinar flexiblemente diferentes perspectivas temporales es una forma poderosa de mejorar la toma de decisiones.

Resumen Técnico: Aprendizaje por Refuerzo Multi-Horizonte Adaptativo

Planteamiento del Problema

La toma de decisiones eficaz en entornos complejos requiere equilibrar los resultados a corto y largo plazo. En el Aprendizaje por Refuerzo (RL) estándar, este equilibrio está gobernado por un factor de descuento fijo ( $\gamma$ ), que impone un único horizonte de planificación con un descuento exponencial. Esta suposición estática suele fallar en escenarios de aprendizaje continuo donde las tareas y los entornos evolucionan, requiriendo que los agentes alternen entre estrategias de toma de decisiones de horizonte corto (resultado inmediato) y de horizonte largo (recompensa retardada).

Los sistemas biológicos, por el contrario, parecen integrar predicciones a través de múltiples horizontes temporales y ajustar su dependencia de ellos de manera flexible. Estudios recientes en neurociencia sugieren que distintas neuronas dopaminérgicas y circuitos estriatales codifican el valor sobre diferentes escalas de tiempo de descuento. El desafío central abordado en este artículo es: ¿Cómo puede un agente adaptar dinámicamente su horizonte de planificación a diferentes demandas de la tarea, de forma similar a la toma de decisiones flexible observada en los sistemas biológicos?

Metodología

Los autores proponen un enfoque de Aprendizaje por Refuerzo Multi-Horizonte que combina adaptativamente horizontes temporales, eliminando la necesidad de ajustar manualmente el factor de descuento. La metodología central involucra un marco de Mezcla de Valores-Q (Mixture-of-Q-Values):

Múltiples Críticos (Expertos): El agente mantiene múltiples funciones de valor de acción, $Q_i(s, a)$ , cada una aprendida de forma independiente mediante Expected SARSA( $\lambda$ ) tabular con un factor de descuento fijo y distinto $\gamma_i$ . Estos expertos cubren un rango de horizontes temporales.
Red de Puerta Dependiente del Estado: Una red de puerta (gating network) aprendible toma la representación del estado $x = \phi(s)$ y calcula los logits $z = Wx + b$. Estos se normalizan mediante una función softmax para producir pesos de mezcla $w_i(s)$ para cada experto.
Función de Valor Mixta: La función de valor de acción final es una suma ponderada:
$Q_{mix}(s, a) = \sum_{i=1}^{K} w_i(s) Q_i(s, a)$
Dinámica de Aprendizaje:
- Los expertos individuales se actualizan utilizando su $\gamma_i$ específico.
- La política mixta $\pi(a|s)$ se deriva de $Q_{mix}$ utilizando una estrategia $\epsilon$ -greedy.
- Los parámetros de la red de puerta ( $W, b$ ) se optimizan para minimizar el error de diferencia temporal (TD) al cuadrado de la función de valor mixta (donde la actualización utiliza $\gamma=1$ para la mezcla). Esto permite que la red aprenda qué horizonte temporal es más efectivo para un estado dado.

Contribuciones Clave

Selección de Horizonte Adaptativo: El artículo introduce un mecanismo que selecciona y pondera dinámicamente múltiples horizontes de planificación basados en el estado actual, en lugar de depender de un único $\gamma$ fijo.
Adaptabilidad al Aprendizaje Continuo: El método está diseñado específicamente para entornos de aprendizaje continuo donde las tareas cambian secuencialmente, requiriendo que el agente reevalúe la escala temporal óptima sin intervención manual.
Validación Empírica de Principios Biológicos: El trabajo proporciona evidencia empírica que respalda la hipótesis de que el aprendizaje de múltiples escalas de tiempo adaptativo mejora la eficiencia de los parámetros y la adaptabilidad, reflejando principios observados en la toma de decisiones biológica.

Resultados Experimentales

Los autores evaluaron el enfoque en entornos MiniGrid, centrándose en tres tareas secuenciales en un entorno de aprendizaje continuo:

Forrajeo (Foraging): Recolección de 40 recompensas distribuidas en una cuadrícula.
Llegar al Objetivo (Goal Reaching): Alcanzar un objetivo de alto valor evitando penalizaciones por lava.
Cuatro Habitaciones (Four Rooms): Una tarea compuesta que involucra un "jackpot" limitado en el tiempo y recompensas locales.

Hallazgos Clave:

Horizontes Óptimos Dependientes de la Tarea: Los experimentos demostraron que el factor de descuento óptimo varía significativamente según la tarea y la estructura de recompensa.
- Forrajeo: Los horizontes efectivos óptimos se encontraron entre 16 y 32 pasos.
- Llegar al Objetivo: Los horizontes óptimos oscilaron entre 32 y 512 pasos.
- Cuatro Habitaciones: El rendimiento óptimo requirió un horizonte efectivo de 128 pasos.
Dispersión de Recompensa y Alcanzabilidad: El estudio mostró que a medida que aumenta la dispersión de la recompensa (mayor varianza espacial) o disminuye la frecuencia de la recompensa, el factor de descuento óptimo se desplaza hacia valores más grandes (horizontes más largos) para mitigar la escasez.
Rendimiento en Aprendizaje Continuo: En el experimento de cambio de tareas secuenciales, el enfoque de mezcla adaptativa mantuvo consistentemente un rendimiento cercano al óptimo (retornos por episodio entre 36 y 40) a través de las tres tareas.
Comportamiento de la Red de Puerta: La red de puerta aprendió con éxito a asignar pesos más altos a los factores de descuento específicos que eran óptimos para la tarea actual. Por ejemplo, priorizó horizontes más cortos para el forrajeo y horizontes más largos para la tarea del jackpot con restricción de tiempo.
Robustez: Aunque el agente aprendió consistentemente a recolectar el jackpot limitado en el tiempo (un subobjetivo difícil), la recolección de las recompensas locales restantes mostró cierta variabilidad dependiendo de la semilla aleatoria y la longitud restante del episodio.

Significación y Reivindicaciones

El artículo afirma que su enfoque de multi-horizonte adaptativo ofrece un marco novedoso para combinar múltiples críticos con capacidades distintas. La principal significación radica en:

Eliminación del Ajuste Manual: El método elimina la necesidad de ajustar manualmente el factor de descuento, lo cual es particularmente beneficioso en entornos donde las estructuras de recompensa cambian con el tiempo.
Plausibilidad Biológica: Los resultados sugieren que el descuento temporal adaptativo es un principio viable para mejorar tanto los sistemas de aprendizaje artificial como los biológicos, alineándose con los hallazgos neurocientíficos sobre la codificación de valor en múltiples escalas de tiempo.
Eficiencia en el Aprendizaje Continuo: El enfoque demuestra una mejor adaptabilidad al cambiar entre tareas con requisitos temporales divergentes, sugiriendo que aprender una mezcla de horizontes es más robusto que aprender un único horizonte fijo.

Los autores se mantienen modestos respecto al trabajo futuro, señalando que se necesita una mayor evaluación a través de un mayor número de semillas para caracterizar la variabilidad, y que extender el marco a aproximadores de funciones de redes neuronales y la adaptación conjunta de trazas de elegibilidad son direcciones prometedoras para futuras investigaciones.