Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading

El mundo de la negociación de acciones ha sido durante mucho tiempo un reino donde la intuición humana lucha contra mercados caóticos y cambiantes. Durante décadas, los operadores han dependido de algoritmos para filtrar montañas de datos, con la esperanza de encontrar patrones que predigan si un precio subirá o bajará. En años recientes, un tipo poderoso de inteligencia artificial conocido como aprendizaje por refuerzo ha emergido como una herramienta líder para esta tarea. Imagine un agente digital aprendiendo a negociar no porque se le diga la respuesta correcta, sino probando acciones, cometiendo errores y aprendiendo lentamente de las ganancias y pérdidas que experimenta. Este enfoque es prometedor porque puede adaptarse a las condiciones cambiantes, a diferencia de los métodos antiguos que asumen que el mercado se comporta de la misma manera hoy que ayer. Sin embargo, enseñar a estos agentes a ser tanto rentables como estables es increíblemente difícil. El mercado financiero es ruidoso e impredecible, y a menudo ofrece al agente muy poca retroalimentación sobre si una decisión específica fue buena o mala hasta mucho después. Sin una guía clara, el agente puede tener dificultades para aprender, volviéndose errático o fallando al generalizar sus habilidades a nuevas condiciones de mercado.

Para ayudar a estos agentes a aprender de forma más rápida y fiable, los investigadores suelen darles tareas adicionales más pequeñas para resolver junto con el objetivo principal de ganar dinero. Estas se denominan tareas auxiliares. Tradicionalmente, los expertos tienen que diseñar manualmente estas tareas adicionales, adivinando qué podría ayudar al agente a entender mejor el mercado, como predecir el siguiente cambio de precio o estimar qué tan volátil podría ser el mercado. Pero el problema con este enfoque manual es que el mercado cambia constantemente. Una tarea que funciona bien durante un periodo de calma puede ser inútil o incluso perjudicial durante uno turbulento. Si las tareas de ayuda están grabadas en piedra, no pueden adaptarse al paisaje cambiante del mercado de valores, dejando al agente de negociación con información desactualizada o irrelevante.

Un equipo de investigadores del Instituto Indio de Tecnología de Mandi ha desarrollado una nueva forma de resolver este problema. En lugar de pedir a un humano que adivine qué tareas adicionales podrían ayudar, crearon un sistema que descubre estas tareas automáticamente. Llaman a su nuevo marco de trabajo QUESTrader. La idea central es dejar que la inteligencia artificial descubra por sí misma qué necesita aprender. El sistema utiliza un diseño de doble red. Una red, el negociante principal, aprende cómo comprar y vender acciones para maximizar las ganancias. La segunda red actúa como un generador de preguntas. Propone constantemente nuevas y simples preguntas para que el negociante principal las responda, tales como "¿qué pasará con el precio en los próximos días?" o "¿cuánto se moverá el mercado?", basándose en los datos de cierre diario e indicadores técnicos utilizados en el estudio. Estas preguntas no son fijas; se generan dinámicamente basadas en lo que el sistema está experimentando actualmente. El sistema luego entrena al negociante principal para responder estas preguntas mientras negocia.

La brillantez de este enfoque radica en cómo el sistema decide qué preguntas valen la pena hacer. Los investigadores utilizan un mecanismo de aprendizaje sofisticado que observa los resultados a largo plazo. Se pregunta: "¿Responder esta pregunta específica ayudó al negociante a tomar mejores decisiones después?". Si una pregunta conduce a un mejor desempeño de negociación, el sistema ajusta sus parámetros para seguir haciéndola. Si una pregunta resulta ser una distracción, el sistema refina sus parámetros para dejar de generarla. Este proceso asegura que las tareas auxiliares sean siempre relevantes para las condiciones actuales del mercado. Los investigadores probaron este método en cuatro de los principales mercados globales: el Dow Jones Industrial Average en los Estados Unidos, el FTSE 100 en el Reino Unido, el Sensex en la India y el TAIEX en Taiwán. Compararon su nuevo sistema contra una amplia gama de estrategias existentes, incluyendo métodos de inversión tradicionales, modelos estándar de inteligencia artificial y otros sistemas que utilizan tareas de ayuda diseñadas manualmente.

Los resultados fueron impactantes. En los cuatro mercados, el sistema QUESTrader superó consistentemente a los otros métodos. En el mercado de EE. UU., logró un retorno anual del 21.785 por ciento, significativamente mayor que el segundo mejor método, que logró un 18.176 por ciento. Más importante aún, el sistema no solo estaba ganando más dinero; lo hacía con mayor estabilidad. Logró las puntuaciones de riesgo ajustado más altas, lo que significa que generó más beneficio por cada unidad de riesgo que asumió. Cuando el mercado cayó, el agente QUESTrader perdió menos dinero que sus competidores. En el mercado indio, por ejemplo, mantuvo una pérdida máxima del 10.584 por ciento, que fue mucho menor que la pérdida del 17.783 por ciento vista en otros modelos avanzados. El sistema también demostró ser efectivo en el altamente volátil mercado taiwanés, donde entregó un retorno anual del 30.279 por ciento, superando con creces todos los demás enfoques.

Los investigadores encontraron que la clave de este éxito fue la capacidad del sistema para adaptar sus tareas de ayuda en tiempo real. Al descubrir automáticamente las preguntas correctas que debe hacer, el agente de negociación construyó una comprensión más rica y precisa del mercado. Aprendió a reconocer patrones que las tareas diseñadas por humanos podrían haber pasado por alto. El estudio también exploró cuántas preguntas debería hacer el sistema a la vez y qué tan lejos hacia el futuro debería mirar para juzgar el valor de una pregunta. Encontraron que un número moderado de preguntas, alrededor de dieciséis a sesenta y cuatro, funcionaba mejor, y que mirar hacia adelante unos diez pasos en el proceso de aprendizaje permitía al sistema atribuir correctamente las preguntas al éxito futuro. Este equilibrio evitó que el sistema se viera abrumado por demasiada información o confundido por mirar demasiado hacia el futuro.

Este trabajo sugiere que el futuro de la negociación automatizada puede no residir en humanos más inteligentes diseñando mejores reglas, sino en máquinas más inteligentes que pueden enseñarse a sí mismas a qué prestar atención. Al dejar que el sistema descubra sus propios objetivos de aprendizaje, los investigadores crearon un agente de negociación que es más robusto, más adaptable y, en última instancia, más rentable que aquellos que dependen de instrucciones estáticas creadas por humanos. Los hallazgos indican que, en el complejo y cambiante mundo de las finanzas, la capacidad de aprender qué aprender es tan importante como la capacidad de aprender cómo negociar.