Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

En el mundo de las inversiones, la habilidad más valiosa es saber cuándo comprar y cuándo vender. Esto se llama sincronización de mercado (market timing). Durante décadas, los inversores han intentado construir máquinas que puedan predecir estos momentos mejor que un humano, con la esperanza de convertir pequeñas ventajas en grandes beneficios. La última herramienta en esta búsqueda es el modelo de lenguaje extenso, un tipo de inteligencia artificial capaz de escribir código informático complejo y explicar su lógica en frases fluidas. Se puede pedir a estos modelos que diseñen una estrategia de trading, escriban el código para ejecutarla e incluso produzcan un informe que muestre cuánto dinero habría ganado en el pasado. La promesa es que cualquiera, desde un gestor de fondos profesional hasta un individuo curioso, podría pedirle a una computadora un plan ganador y recibir una solución completa y lista para usar. Pero existe un problema profundo y bien conocido al mirar el pasado para predecir el futuro. Una estrategia puede parecer brillante sobre el papel simplemente porque coincidió con patrones aleatorios en los datos, un error conocido como sobreajuste (overfitting). Cuando una estrategia es construida por una máquina que nunca ha visto el mundo real, el riesgo es que no esté encontrando un patrón oculto, sino simplemente imitando la forma del ruido.

Un equipo de investigadores se propuso probar si estos modelos de inteligencia artificial poseen realmente alguna habilidad para sincronizar el mercado, o si sus impresionantes informes son solo una ilusión convincente. No se limitaron a pedir a los modelos que escribieran código; construyeron un campo de pruebas riguroso para ver qué sucedía cuando ese código se encontraba con datos de mercado reales. Los investigadores pidieron a cinco modelos de IA diferentes que crearan estrategias de trading para tres activos principales: el índice de acciones S&P 500, los futuros del oro y el par de divisas entre el euro y el dólar estadounidense. Los modelos generaron casi doscientas estrategias distintas, cada una con su propio conjunto de reglas para cuándo comprar y cuándo vender. Para asegurar que la prueba fuera justa, los investigadores ejecutaron cada una de las estrategias en un entorno digital controlado que cobraba una pequeña comisión por cada operación, imitando los costos reales de hacer negocios. Luego compararon los resultados de estos planes generados por IA contra un punto de referencia simple: comprar un activo y mantenerlo sin venderlo nunca. También compararon las estrategias de IA contra un grupo de control ingenioso. Para cada estrategia de IA, crearon una versión "nula" tomando exactamente los mismos períodos de tiempo en los que la IA decidió mantener una posición, pero barajando esos períodos de forma aleatoria. Esta prueba eliminó la supuesta capacidad de la IA para elegir el momento adecuado, dejando solo el hecho de que estaba manteniendo el activo durante un cierto tiempo. Si la IA fuera realmente hábil, debería haber superado a esta versión barajada.

Los resultados fueron contundentes y consistentes. En todos los ámbitos, las estrategias generadas por la inteligencia artificial no lograron superar el simple acto de mantener el activo. En promedio, las estrategias de IA perdieron dinero, entregando una métrica de rendimiento conocida como el ratio de Sharpe negativa. Esto significa que, tras contabilizar el riesgo asumido y los costos de transacción, el inversor promedio habría estado mejor sin hacer nada que siguiendo el consejo de la IA. Solo una pequeña fracción de las estrategias, menos de un ocho por ciento, logró superar el enfoque de compra y mantenimiento (buy-and-hold). Cuando los investigadores profundizaron, descubrieron que los modelos de IA no estaban encontrando ninguna habilidad de sincronización oculta. Las estrategias no funcionaron mejor que las versiones de ellas mismas barajadas de forma aleatoria. De hecho, las estrategias de la IA eran estadísticamente indistinguibles del azar. Las pocas veces que una estrategia pareció funcionar bien, no fue porque el modelo hubiera aprendido a predecir el mercado, sino porque la estrategia resultó mantener el activo con más frecuencia cuando el mercado subía. Esto es un sesgo hacia estar "largo", o mantener el activo, en lugar de una habilidad para elegir el momento adecuado. Cuando los investigadores eliminaron este sesgo comparando las estrategias con sus contrapartes barajadas, la ilusión de la habilidad desapareció por completo.

Quizás la parte más reveladora del estudio ocurrió cuando los investigadores pidieron a los modelos hacer algo que no pueden hacer realmente: ejecutar una prueba retrospectiva (backtest) e informar los resultados sin haber recibido los datos. Se pidió a los modelos que escribieran una estrategia, calcularan su rendimiento y le dieran al usuario las cifras finales. Ninguno de los modelos pudo hacer esto, porque no tienen la capacidad de ejecutar código y procesar números en tiempo real. En su lugar, produjeron una simulación de un informe. Algunos modelos imprimieron un guion que parecía que calcularía los números si alguien más lo ejecutara. Otros simplemente enunciaron reglas generales sobre cómo se ve un buen resultado. Algunos modelos fueron más allá y fabricaron números específicos, presentando un bloque de texto que parecía un informe completado pero que era totalmente inventado. Este comportamiento resalta una brecha peligosa entre la apariencia de competencia y la realidad de la capacidad. Los modelos son fluidos en el lenguaje de las finanzas y pueden imitar la estructura de un análisis profesional, pero no pueden generar la evidencia que ese análisis requiere.

El estudio también examinó si el uso de un modelo más grande y potente o el pedir una estrategia más robusta cambiaría el resultado. No fue así. Aunque los modelos más grandes escribieron código que tenía más probabilidades de ejecutarse sin errores, y los prompts específicos cambiaron con qué frecuencia una estrategia mantenía un activo, ninguno de los factores mejoró la capacidad de sincronizar el mercado. Las mejoras fueron puramente en la exposición, o cuánto tiempo pasaba la estrategia en el mercado, no en la calidad de las decisiones tomadas. Los investigadores también descubrieron que su propio proceso de prueba tuvo que ser revisado constantemente para detectar errores. En un caso, un error de datos en su propio sistema había hecho que una estrategia aleatoria pareciera una ganadora, un error que solo se detectó porque construyeron controles para verificar su propio trabajo. Esta autoauditoría reforzó la lección central: un resultado que parece plausible no es uno correcto hasta que se ha verificado contra un estándar que demuestre que la prueba puede realmente encontrar un ganador si este existe.

Para el inversor, la conclusión es clara. Los modelos de inteligencia artificial no son actualmente capaces de generar estrategias de trading que contengan una habilidad genuina. Producen estrategias que parecen completas y seguras, pero cuando se prueban contra datos reales, no funcionan mejor que el azar y, a menudo, funcionan peor que simplemente mantener un activo. Los informes que generan, llenos de números específicos y gráficos de rendimiento, son hipótesis, no evidencia. Hasta que una estrategia no sea ejecutada nuevamente sobre datos documentados y comparada contra un punto de referencia justo que contabilice cuánto tiempo pasa en el mercado, debe tratarse como no probada. El costo de confiar en estas herramientas no es solo una oportunidad perdida de superar al mercado, sino la pérdida potencial de los rendimientos constantes que provienen de la inversión pasiva. Los modelos han dominado el arte de sonar como un experto, pero aún no han aprendido cómo ser uno.