Resumen Técnico: Moira – Aprendizaje por Refuerzo Jerárquico Impulsado por Lenguaje para el Trading de Pares

1. Formulación del Problema

El artículo aborda el desafío de la toma de decisiones secuencial en entornos caracterizados por una estructura jerárquica, retroalimentación diferida y asignación de crédito ambigua. Específicamente, los autores se centran en el trading de pares, un dominio financiero que combina naturalmente dos escalas temporales y semánticas distintas:

1. Abstracción de Alto Nivel (Selección de Pares): Requiere razonamiento semántico de largo horizonte para identificar pares de activos con relaciones económicas o estadísticas estables.
2. Ejecución de Bajo Nivel (Trading): Requiere toma de decisiones reactiva de corto horizonte bajo observabilidad parcial (ruido del mercado) para ejecutar operaciones neutrales al mercado.

La dificultad central reside en la asignación de crédito: cuando una estrategia de trading falla, no está claro si el error proviene de una abstracción de alto nivel defectuosa (elegir el par incorrecto), una ejecución de bajo nivel subóptima (mala sincronización) o la interacción entre ambas. El aprendizaje por refuerzo (RL) tradicional de extremo a extremo entrelaza estos componentes, dificultando el aislamiento de la fuente del fallo. Además, el RL Jerárquico (HRL) estándar a menudo depende de abstracciones temporales rígidas o asume distribuciones de ruido fijas, lo que limita la adaptabilidad cuando las relaciones semánticas se desvían.

2. Metodología: Marco Moira

Los autores proponen Moira, un marco de aprendizaje por refuerzo jerárquico impulsado por lenguaje. En lugar de utilizar ajuste fino basado en gradientes o datos etiquetados por expertos, Moira parametriza tanto al selector de alto nivel como al trader de bajo nivel como Modelos de Lenguaje Grande (LLM) condicionados por prompts. Las políticas se optimizan exclusivamente mediante actualizaciones de prompts impulsadas por retroalimentación textual.

2.1 Diseño de Política Jerárquica

El marco separa explícitamente la selección de abstracción de la ejecución, alineando sus calendarios de adaptación con la disponibilidad de retroalimentación:

• Selector de Alto Nivel ($\pi_{sel}$): Opera a nivel de episodio (por ejemplo, mensual). Observa estadísticas de precios agregadas y resúmenes semánticos (noticias, sentimiento) para seleccionar un par de activos $z$. Esta selección permanece fija durante la duración del episodio.
• Trader de Bajo Nivel ($\pi_{tr}$): Opera a nivel intra-episodio (por ejemplo, diario/semanal). Condicionado al par fijo $z$, ejecuta acciones de trading basadas en la dinámica del spread en tiempo real y características locales de precios.

2.2 Optimización mediante Adaptación de Prompts

El sistema utiliza un proceso de optimización textual de dos etapas para ambos niveles, evitando el descenso de gradiente en los pesos del modelo:

1. Crítica a Nivel de Trayectoria (Etapa 1): Un LLM "Crítico" analiza la trayectoria ejecutada (observaciones, acciones, recompensas) y genera una señal de retroalimentación en lenguaje natural ($g_{text}$). Esta señal identifica fallos en las reglas de decisión (por ejemplo, "salidas prematuras" o "ignorar catalizadores de noticias").
2. Actualización del Prompt (Etapa 2): Un LLM de "Actualización" incorpora la retroalimentación textual en el prompt de la política actual, generando un prompt actualizado ($\theta^{(k)}$) para el siguiente sub-episodio o episodio.

Distinción Clave en los Calendarios de Adaptación:

• Trader: Sufre actualizaciones de prompts intra-episodio. Adapta sus reglas de ejecución basándose en la retroalimentación a nivel de trayectoria mientras el contexto del par permanece fijo.
• Selector: Sufre actualizaciones de prompts episódicas. Recibe retroalimentación diferida y agregada (retorno acumulado) después de que el Trader ha terminado su adaptación y ejecución para el episodio.

3. Contribuciones Clave

1. Lenguaje como Interfaz Semántica Compartida: El artículo introduce un enfoque novedoso donde el lenguaje sirve como interfaz entre niveles jerárquicos. A diferencia de las recompensas escalares, la retroalimentación textual permite una atribución semántica explícita, distinguiendo entre errores de abstracción (mala elección de par) y errores de ejecución (mala sincronización).
2. Optimización Jerárquica Impulsada por Prompts: Los autores demuestran que los LLM pueden funcionar como políticas jerárquicas optimizadas únicamente mediante actualizaciones de prompts. Esto induce una separación natural de escalas temporales sin requerir restricciones algorítmicas complejas ni ajuste fino basado en gradientes.
3. Desacoplamiento de Abstracción y Ejecución: Al fijar la selección de pares para un episodio mientras se permite que el trader se adapte intra-episodio, el marco reduce la no estacionariedad entre niveles y permite una adaptación dirigida bajo retroalimentación diferida.

4. Resultados Experimentales

El marco se evaluó sobre datos históricos del mercado de acciones de EE. UU. (10 acciones líquidas) de enero a junio de 2025.

4.1 Comparación de Rendimiento

Moira superó significativamente a varias líneas base:

• Líneas Base Estadísticas: GGR (minimización de distancia), Correlación y Cointegración.
• Línea Base de RL: TRIALS (un marco de RL estándar).
• Línea Base LLM Plana: Un LLM no jerárquico que intenta seleccionar pares y ejecutar operaciones simultáneamente.

Métricas Clave (Moira vs. Mejor Línea Base):

• Retorno Anualizado (AR): Moira logró un 59.11%, en comparación con el 21.38% de la mejor línea base estadística (Correlación/Cointegración) y retornos negativos para las demás.
• Ratio de Sharpe (SR): Moira logró un 3.791, significativamente superior a la línea base estadística (1.218) y al LLM plano (-0.403).
• Drawdown Máximo (MDD): Moira mantuvo un bajo 1.70%, en comparación con el 5.11% de la línea base estadística y el 8.69% del LLM plano.

4.2 Estudios de Ablación

Los autores realizaron estudios de ablación para validar la necesidad tanto de la descomposición jerárquica como de la adaptación de prompts:

• Moira-Selección (Selector LLM + Trader Estadístico): Reemplazar el trader LLM por uno estadístico resultó en retornos fuertemente negativos (-17.10% AR), lo que indica que la selección semántica de pares por sí sola es insuficiente sin una ejecución adaptativa.
• Moira-Ajuste (Selector Estadístico + Trader LLM): Utilizar un selector basado en correlación con el trader LLM ajustado arrojó retornos positivos (17.63% AR), pero rindió significativamente peor que el modelo Moira completo. Esto destaca que el comportamiento de trading estático no puede explotar completamente las oportunidades identificadas por la selección semántica.
• LLM-Plano: El enfoque no jerárquico falló en aprender, arrojando retornos negativos y alta volatilidad, confirmando que la optimización conjunta de la selección de pares y la ejecución es demasiado compleja para un único proceso de decisión.

4.3 Dinámicas de Aprendizaje

El análisis de las curvas de aprendizaje mostró que el rendimiento mejoró progresivamente con las actualizaciones de prompts. Las primeras actualizaciones establecieron disciplina básica (reglas de entrada/salida), mientras que las actualizaciones posteriores introdujeron gestión de riesgos sofisticada (stops arrastrados, toma parcial de beneficios), lo que llevó a curvas de capital más suaves y drawdowns reducidos.

5. Significado y Afirmaciones

El artículo afirma que la optimización de políticas jerárquicas impulsada por lenguaje ofrece un enfoque principiado para problemas de toma de decisiones secuenciales donde:

• Las abstracciones evolucionan con el tiempo.
• La retroalimentación es diferida y agregada.
• No hay señales explícitas de asignación de crédito disponibles.

Los autores argumentan que, al utilizar el lenguaje como representación de la política, el sistema puede lograr una adaptación dirigida en diferentes escalas temporales sin la inestabilidad asociada al ajuste fino basado en gradientes ni la rigidez del HRL tradicional. Los resultados sugieren que los LLM, cuando se estructuran jerárquicamente y se optimizan mediante adaptación de prompts, pueden desacoplar eficazmente el razonamiento semántico de la ejecución táctica, conduciendo a una toma de decisiones financieras robusta.

Limitaciones Reconocidas:
Los autores señalan que el estudio se limita a un pequeño universo de activos (10 acciones) y un régimen de mercado específico. No afirman robustez bajo cambios extremos de régimen o condiciones adversas, y las propiedades teóricas de la retroalimentación textual como señal de optimización siguen siendo una pregunta abierta.