A Reinforcement Learning Supervisor with Dynamic Performance-Metric Weighting for Cryptocurrency Portfolio Management

Invertir en los mercados financieros es un juego constante de adaptación. Las reglas del juego cambian a medida que la economía pasa de un periodo de crecimiento explosivo a un movimiento lateral lento o a una caída repentina y pronunciada. En estos entornos, una estrategia única que funciona perfectamente durante un auge suele fracasar estrepitosamente cuando el mercado cambia. Este es el desafío central de la gestión de carteras: decidir cómo dividir el dinero entre diferentes activos cuando el futuro es incierto y el pasado no es un mapa fiable. Durante décadas, los inversores han dependido de fórmulas matemáticas para equilibrar el riesgo y la recompensa, pero estos modelos estáticos suelen tener dificultades cuando las condiciones del mercado cambian rápidamente. Más recientemente, los científicos de la computación se han vuelto hacia un tipo de inteligencia artificial llamada aprendizaje por refuerzo. En lugar de ser instruidos con reglas específicas, estos programas informáticos aprenden mediante ensayo y error, interactuando con un mercado simulado para descubrir qué acciones conducen a los mejores resultados a largo plazo. Aunque estos programas pueden aprender a operar, a menudo se quedan estancados en una única forma de pensar, incapaces de pivotar cuando cambia el régimen del mercado.

Un equipo de investigadores de la Universidad Nacional de Transporte de Corea ha propuesto una nueva forma de resolver este problema. En lugar de intentar construir un único robot de trading perfecto, crearon un sistema que actúa como un supervisor, gestionando un equipo de cinco robots de trading diferentes, cada uno entrenado con un método de aprendizaje ligeramente distinto. El supervisor no realiza las operaciones en sí. En su lugar, observa cómo ha rendido cada robot recientemente y decide cuál debe estar al mando en cada momento. Los investigadores probaron este sistema utilizando datos reales de alta frecuencia del mercado de criptomonedas, un lugar conocido por su extrema volatilidad y cambios rápidos. Descubrieron que este sistema de supervisión superó consistentemente a cualquier robot individual, así como a las estrategias de inversión tradicionales, al cambiar dinámicamente al agente más adecuado para las condiciones actuales del mercado.

Los investigadores comenzaron construyendo un equipo de cinco agentes distintos. Cada agente es un programa informático diseñado para tomar decisiones de inversión, pero fueron entrenados utilizando diferentes enfoques matemáticos. Aunque todos los agentes fueron entrenados en el mismo entorno de cartera con la misma función de recompensa, sus distintos mecanismos de aprendizaje hicieron que cada agente desarrollara una personalidad única. Uno podría ser muy agresivo, buscando altas ganancias pero asumiendo grandes riesgos, mientras que otro podría ser más cauteloso, priorizando la estabilidad sobre las ganancias rápidas. En un mercado estable, el agente agresivo podría brillar. En un mercado turbulento, el cauteloso podría ser el único que sobreviva. El problema es que ningún agente individual es el mejor en todo, todo el tiempo. Si un inversor elige solo un agente y se mantiene con él, es probable que sufra cuando el mercado cambie de una manera que ese agente no favorezca.

Para resolver esto, los investigadores introdujeron un agente supervisor. Este supervisor no conoce el código interno de los cinco agentes que gestiona. En su lugar, actúa como un entrenador que observa un partido, mirando únicamente el marcador. Rastrea siete métricas de rendimiento diferentes para cada agente, tales como cuánto beneficio obtuvieron, cuánto riesgo asumieron para obtener ese beneficio y la proporción de periodos con retornos positivos. Observa estos números sobre diferentes periodos de tiempo, desde las últimas horas hasta los últimos días. El trabajo del supervisor es determinar qué métrica es más importante en este momento. En un mercado tranquilo, el supervisor podría decidir que las ganancias constantes y estables son la señal más importante de un buen agente. En un mercado caótico, podría decidir que evitar grandes pérdidas es lo único que cuenta.

El supervisor aprende este sistema de ponderación a través de su propio proceso de entrenamiento. Observa el mercado y los historiales recientes de los agentes, y luego aprende a asignar puntuaciones de importancia a las diferentes métricas de rendimiento. No simplemente elige al agente con el mayor beneficio reciente. En su lugar, calcula una puntuación para cada agente combinando sus datos de rendimiento con los pesos de importancia que el supervisor ha aprendido para ese momento específico. El agente con la puntuación total más alta es seleccionado para gestionar la cartera para el siguiente periodo de negociación. Esto crea un sistema que está reevaluando constantemente sus elecciones, cambiando su confianza de un agente a otro a medida que el entorno del mercado cambia.

Los investigadores probaron este sistema utilizando datos de precios de treinta minutos del intercambio de criptomonedas Binance, cubriendo un periodo desde el 1 de enero de 2021 hasta el 31 de diciembre de 2025. Establecieron dos escenarios diferentes: uno con cuatro criptomonedas populares y otro con cinco, añadiendo un quinto activo para ver si el sistema podía manejar un grupo de inversiones ligeramente mayor. Compararon su sistema de supervisión contra los cinco agentes individuales, una estrategia simple de comprar y mantener todos los activos por igual, y varias fórmulas de inversión tradicionales. Los resultados fueron claros. El sistema de supervisión generó valores de cartera finales significativamente más altos que cualquier uno de los agentes individuales o las estrategias tradicionales. En el escenario de cuatro activos, el supervisor aumentó el valor de la cartera a 2.349 veces la cantidad inicial, mientras que el mejor agente individual solo alcanzó 1.652. En el escenario de cinco activos, el supervisor alcanzó 3.044 veces el valor inicial, comparado con 2.554 para el mejor agente individual.

Crucialmente, este crecimiento adicional no llegó a costa de un mayor riesgo. El sistema de supervisión también experimentó pérdidas máximas menores, conocidas como drawdowns, que los agentes individuales. Esto sugiere que el sistema no estaba simplemente tomando mayores apuestas para obtener mayores retornos; en realidad, estaba gestionando mejor el riesgo al saber cuándo cambiar a un agente más seguro. Los investigadores también compararon su sistema con una versión más simple que utilizaba una única regla fija para cambiar de agente, como elegir siempre al agente con el mayor beneficio reciente. El sistema de supervisión superó ampliamente a estas estrategias de regla única. Esto demostró que el éxito del sistema provino de su capacidad para ponderar múltiples factores simultáneamente, en lugar de depender de un criterio único y rígido.

Para entender exactamente qué hizo que el sistema funcionara, los investigadores realizaron una serie de pruebas donde eliminaron partes del sistema para ver qué sucedía. Descubrieron que el sistema necesitaba las siete métricas de rendimiento y las cuatro ventanas temporales para funcionar de la mejor manera. Eliminar las métricas relacionadas con beneficios perjudicó la capacidad del sistema para aumentar la riqueza, mientras que eliminar las métricas relacionadas con el riesgo perjudicó su capacidad para protegerse contra las pérdidas. Del mismo modo, el sistema necesitaba observar tanto el historial de rendimiento a corto como a largo plazo. En la prueba de cuatro activos, el historial a largo plazo fue el más importante, mientras que en la de cinco activos, el historial a corto plazo fue el que más importó. Esta variación mostró que el sistema no estaba utilizando una regla fija, sino que se estaba adaptando genuinamente a las necesidades específicas de la cartera y las condiciones actuales del mercado.

El estudio concluye que gestionar una cartera no consiste solo en encontrar el mejor algoritmo de trading único. Se trata de crear una estructura que pueda elegir la herramienta adecuada para el trabajo a medida que el trabajo cambia. Al utilizar un supervisor para ponderar dinámicamente diferentes señales de rendimiento, el sistema puede navegar la naturaleza impredecible de los mercados de criptomonedas de manera más efectiva que cualquier agente individual o estrategia estática. Los investigadores señalan que su sistema actual utiliza un conjunto específico de cinco agentes y un conjunto específico de datos de mercado. El trabajo futuro podría expandir esto incluyendo agentes con diferentes perfiles de riesgo o probando el sistema en otros tipos de activos. Sin embargo, el hallazgo central sigue siendo sólido: un enfoque jerárquico que aprende a seleccionar políticas basadas en una visión flexible y multifacética del rendimiento ofrece una forma poderosa de manejar la incertidumbre de los mercados financieros.