Onflow: a model free, online portfolio allocation algorithm robust to transaction fees

El artículo presenta Onflow, un algoritmo de asignación de carteras basado en aprendizaje por refuerzo y flujos de gradiente que optimiza los retornos logarítmicos sin asumir distribuciones de rentabilidad y demuestra ser robusto y superior a métodos existentes en escenarios con altos costos de transacción.

Lo esencial

¡Hola! Imagina que tienes un huerto con diferentes tipos de árboles frutales (manzanas, peras, naranjas) y tu objetivo es tener la mayor cosecha posible al final del año. El problema es que no sabes qué árbol dará más fruta el próximo mes, y además, cada vez que cambias una rama de un árbol a otro (vendes una fruta para comprar otra), te cobran una pequeña comisión por el trabajo de poda.

Este paper presenta "Onflow", un nuevo "jardinero inteligente" (un algoritmo) que ayuda a decidir cómo repartir tu dinero entre diferentes inversiones, sin necesidad de ser un experto en meteorología financiera.

Aquí te lo explico con analogías sencillas:

1. El Problema: El Jardín Inestable y el Cobrador de Peaje

En el mundo de las inversiones, hay dos grandes enemigos:

• La incertidumbre: Nadie sabe con certeza qué acción subirá mañana. Los métodos antiguos (como el de Markowitz) intentaban predecir el futuro basándose en promedios, pero a menudo fallaban porque el futuro es caótico.
• Las comisiones (Peajes): Si mueves tu dinero de una acción a otra muy a menudo, los bancos te cobran comisiones. Si mueves demasiado, las comisiones se comen tus ganancias.

2. La Solución: Onflow, el Jardinero que "Siente" el Terreno

Onflow es un método de aprendizaje por refuerzo. Imagina que es un jardinero que no tiene un mapa del futuro, pero sí un sentido muy agudo para ajustar sus herramientas en tiempo real.

• Sin suposiciones: A diferencia de otros jardineros que dicen "según la estadística, las manzanas siempre ganan", Onflow dice: "No sé qué pasará, pero voy a observar lo que sucede ahora mismo y ajustaré mi estrategia paso a paso".
• El flujo continuo (La analogía del río): La mayoría de los algoritmos antiguos dan "pasos" discretos (como subir escalones). Onflow, en cambio, se mueve como un río. Usa una ecuación matemática (un "flujo de gradiente") que ajusta la posición de tu dinero de forma suave y continua, no a saltos bruscos. Esto es como ajustar el grifo del agua poco a poco en lugar de abrirlo y cerrarlo de golpe.

3. El Truco Maestro: El "Softmax" y la Suavidad

Para decidir cuánto dinero poner en cada acción, Onflow usa una función llamada Softmax.

• La analogía de la torta: Imagina que tienes una torta (tu dinero total) y quieres repartirla. Onflow no te dice "pon el 50% aquí y el 0% allá". En su lugar, te da una distribución suave, como si estuvieras untando mantequilla. Esto evita que te quedes sin opciones si una acción falla.
• El filtro de comisiones: Aquí está la magia. Onflow tiene un "sentido del dolor". Si mover dinero de la acción A a la B cuesta mucho en comisiones, el algoritmo siente ese "dolor" y decide que no vale la pena hacer el movimiento, a menos que la ganancia esperada sea enorme.
  • Resultado: Onflow se vuelve "perezoso" cuando las comisiones son altas, evitando cambios innecesarios que otros algoritmos harían y que terminarían costándote dinero.

4. ¿Cómo funciona en la vida real? (Los Experimentos)

Los autores probaron su algoritmo con datos reales de la bolsa de Nueva York (desde 1965 hasta hoy) y con acciones modernas como Tesla y Nvidia.

• Cuando las comisiones son cero: Onflow compite de igual a igual con los mejores jardineros del mundo (como el "Portafolio Universal" de Cover). Todos ganan mucho dinero.
• Cuando las comisiones son altas (el verdadero test): Imagina que te cobran un 2% cada vez que mueves dinero.
  • Los otros algoritmos (como EG o UP) entran en pánico, mueven el dinero demasiado y las comisiones se comen sus ganancias. Terminan perdiendo dinero o rindiendo menos que si simplemente hubieran dejado las acciones quietas.
  • Onflow brilla: Como su "flujo de río" es suave y siente el costo de moverse, se queda quieto cuando no es necesario y se mueve solo cuando es muy rentable. En pruebas con comisiones del 2%, Onflow siguió ganando dinero, mientras que los otros algoritmos colapsaron.

5. La Conclusión: ¿Por qué es importante?

Onflow es como un piloto automático robusto para tu dinero.

• No necesita adivinar el futuro (es "libre de modelos").
• Es inteligente con las comisiones (no gasta dinero en movimientos inútiles).
• Funciona incluso cuando el mercado es muy volátil (como con criptomonedas o acciones tecnológicas).

En resumen: Mientras que otros métodos intentan predecir el clima para decidir qué plantar, Onflow simplemente observa el suelo, siente el costo de moverse y ajusta sus plantas suavemente, asegurándose de que las comisiones no se coman su cosecha. Es una herramienta práctica para el inversor real que quiere crecer sin quemarse en el intento.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Onflow: a model free, online portfolio allocation algorithm robust to transaction fees" (Onflow: un algoritmo de asignación de cartera en línea sin modelo, robusto a las comisiones de transacción), escrito por Gabriel Turinici y Pierre Brugiere.

1. El Problema

El artículo aborda el desafío de la asignación óptima de carteras en entornos financieros dinámicos. Los problemas centrales identificados son:

• Incertidumbre del modelo: Los métodos tradicionales (como el de Markowitz) dependen de estimaciones precisas de los momentos de primer y segundo orden (media y varianza) de los retornos, lo cual es difícil de lograr en la práctica debido a la incertidumbre estadística.
• Costos de transacción: La mayoría de los algoritmos de aprendizaje en línea y optimización de carteras (como el Portafolio Universal de Cover o el algoritmo EG de Helmbold et al.) sufren un deterioro severo en su rendimiento cuando se introducen comisiones de transacción significativas (ej. 2%), ya que las estrategias de rebalanceo dinámico generan un alto volumen de operaciones (turnover) que consume el capital.
• Limitaciones de los enfoques existentes: Los métodos actuales a menudo requieren actualizaciones discretas que pueden ser inestables o no manejar intrínsecamente los costos de transacción de manera suave.

2. Metodología: El Algoritmo Onflow

Los autores proponen Onflow, un método de aprendizaje por refuerzo (RL) sin modelo que utiliza flujos de gradiente (gradient flows) para ajustar dinámicamente la asignación de la cartera.

Características Clave:

• Enfoque sin modelo: No asume ninguna distribución específica para los retornos de los activos (funciona incluso con distribuciones de "colas pesadas" o no log-normales). Utiliza únicamente los precios observados.
• Parametrización Softmax: La asignación de la cartera $\pi$ se parametriza mediante una función softmax de un vector de variables $H \in \mathbb{R}^K$. Esto garantiza que los pesos sean positivos y sumen 1 (simplex unitario), evitando la venta en corto (aunque se menciona una extensión para permitirlo).
• Dinámica Continua (ODE): A diferencia de las actualizaciones discretas tradicionales, Onflow modela la evolución de los parámetros $H$ mediante una Ecuación Diferencial Ordinaria (ODE) derivada del flujo de gradiente.
  • La ecuación busca maximizar el retorno logarítmico esperado mientras penaliza los costos de transacción.
  • La función de recompensa incluye un término de costo de transacción proporcional, regularizado mediante una función de pérdida pseudo-Huber (suavizando la función valor absoluto para garantizar diferenciabilidad y estabilidad numérica).
• Actualización: En cada paso de tiempo, se resuelve la ODE durante un intervalo $\tau$ para obtener la nueva asignación óptima $H_{t+1}$, minimizando la función de pérdida que combina el retorno logarítmico y los costos de transacción.

3. Contribuciones Clave

1. Robustez ante Costos de Transacción: La principal innovación es la capacidad del algoritmo para mantener un rendimiento superior incluso con comisiones altas (hasta el 2%), donde otros algoritmos de rebalanceo dinámico fallan. Esto se logra reduciendo significativamente el turnover (rotación de la cartera) sin sacrificar excesivamente la captación de oportunidades.
2. Convergencia Teórica: Bajo supuestos de activos con dinámica log-normal y costos de transacción nulos, los autores demuestran teóricamente que el algoritmo converge exponencialmente hacia la cartera óptima de Markowitz (la cartera de crecimiento logarítmico óptimo).
3. Estabilidad Numérica: El uso de flujos de gradiente continuos y la regularización pseudo-Huber evitan inestabilidades numéricas y "sobrepasos" (overshooting) comunes en los métodos de actualización discreta.
4. Validación Empírica: Se prueba el algoritmo en el conjunto de datos clásico "Old NYSE" (1965-1987) y en activos modernos de alta volatilidad (criptomonedas y acciones tecnológicas), demostrando su versatilidad.

4. Resultados Experimentales

Los experimentos compararon Onflow con estrategias de referencia como el Portafolio Universal de Cover (UP) y el algoritmo de actualizaciones multiplicativas (EG) de Helmbold et al.

• Sin costos de transacción ($\xi = 0$): Onflow logra un rendimiento comparable o ligeramente superior a las estrategias de referencia (UP y EG), replicando en muchos casos el comportamiento de la cartera óptima de Markowitz.
• Con costos de transacción altos ($\xi = 2\%$):
  • Las estrategias UP y EG colapsan, rindiendo peor que simplemente mantener los activos individuales (buy-and-hold) debido a los altos costos de rebalanceo.
  • Onflow mantiene su superioridad: Logra rendimientos significativamente mejores que las estrategias de referencia y que los activos individuales.
  • Reducción de Turnover: En escenarios de alta comisión, Onflow reduce drásticamente la rotación diaria (de ~2% a ~0.5% en pruebas con el par Iroquois-Kin Ark), lo que explica su eficiencia.
• Activos de Alta Volatilidad: En pruebas con criptomonedas (BTC, ETH) y acciones tecnológicas (NVDA, TSLA), Onflow demostró una capacidad superior para adaptarse a cambios de tendencia y gestionar el riesgo, manteniendo ratios de Sharpe competitivos.
• Escalabilidad: El análisis computacional muestra que el tiempo de ejecución se estabiliza para carteras con más de 10 activos, indicando buena escalabilidad.

5. Significado e Impacto

El artículo presenta una solución práctica y teóricamente fundamentada para la gestión de carteras en el mundo real, donde los costos de transacción son una realidad ineludible.

• Superación de la "Maldición de la Rotación": Onflow demuestra que es posible tener estrategias dinámicas de aprendizaje en línea que no sean víctimas de sus propios costos de transacción, algo que los métodos anteriores no lograban eficazmente con comisiones altas.
• Resiliencia del Modelo: Al no depender de supuestos distribucionales (como la normalidad), el algoritmo es robusto frente al riesgo de modelo, una ventaja crítica en mercados financieros reales que a menudo exhiben "colas pesadas".
• Marco de Aprendizaje por Refuerzo: El trabajo conecta exitosamente la teoría de flujos de gradiente con el aprendizaje por refuerzo en finanzas, ofreciendo un marco continuo y suave que mejora la estabilidad de la optimización en comparación con los métodos discretos tradicionales.

En conclusión, Onflow se posiciona como una estrategia de gestión de carteras prometedora que equilibra la exploración de oportunidades de mercado con la conservación de capital frente a fricciones de mercado, siendo particularmente eficaz en regímenes de alta fricción (costos de transacción) donde otras técnicas dinámicas fallan.