Do LLMs Understand Limit Order Book Dynamics?

En el bullicioso mundo de las finanzas modernas, los mercados no son impulsados únicamente por la intuición humana o las tendencias económicas generales, sino por un flujo constante y de alta velocidad de instrucciones digitales. En el corazón de muchos de estos mercados se encuentra un mecanismo llamado libro de órdenes de límite. Imagine un libro de contabilidad digital donde compradores y vendedores se alinean, cada uno indicando el precio específico que está dispuesto a pagar o aceptar y la cantidad de acciones que desea negociar. Este libro no es estático; es un registro vivo y palpitante que cambia cada vez que llega una nueva orden, se completa una orden existente o un participante decide cancelar su oferta. Las reglas que rigen este libro son estrictas y lógicas: un comprador no puede comprar una acción por menos del precio más bajo que un vendedor está pidiendo actualmente, y un vendedor no puede vender por más del precio más alto que un comprador está ofreciendo. Durante décadas, los operadores y matemáticos han construido modelos complejos para predecir cómo evolucionará este libro, intentando anticipar el siguiente movimiento en esta intrincada danza de oferta y demanda.

Recientemente, un nuevo tipo de inteligencia artificial, conocido como modelo de lenguaje de gran tamaño, ha comenzado a aplicarse a estos acertijos financieros. Estos modelos suelen entrenarse con vastas cantidades de texto para aprender patrones en el lenguaje, pero los investigadores han comenzado a entrenarlos con secuencias de eventos de mercado. La esperanza es que, si un modelo puede aprender a generar secuencias válidas de órdenes de mercado —simulando correctamente cómo un mercado se mueve de un estado a otro—, realmente ha comprendido la mecánica subyacente del mercado. Esto plantea una pregunta profunda: si una máquina puede escribir una historia perfecta sobre cómo se mueve un mercado, ¿realmente entiende la historia o solo está imitando la sintaxis? Un equipo de investigadores de la Escuela de Negocios de Columbia se propuso responder a esto probando si estas inteligencias artificiales poseen un verdadero "modelo de mundo" de los mercados financieros o si son simplemente loros sofisticados.

Los investigadores comenzaron creando una versión simplificada y simulada de un libro de órdenes de límite. En este banco de pruebas digital, definieron un conjunto fijo de niveles de precios y reglas sobre cómo se podían colocar, ejecutar o cancelar las órdenes. Luego entrenaron un modelo de lenguaje de gran tamaño desde cero utilizando datos generados por esta simulación. El proceso de entrenamiento fue riguroso: al modelo se le entregaba un estado inicial del mercado y un estado objetivo, y se le encargaba generar una secuencia de eventos que moviera el mercado del inicio al final sin romper ninguna de las reglas. El modelo destacó en esta tarea. Cuando se le pedía producir una secuencia de operaciones, casi siempre tenía éxito en la creación de una ruta válida, evitando movimientos imposibles como vender una acción que no existe o ejecutar una operación a un precio que viole las reglas del mercado. Para un observador casual, el modelo parecía haber dominado la lógica del mercado.

Sin embargo, los investigadores sospechaban que el éxito del modelo era superficial. Querían saber si el modelo realmente entendía el estado actual del mercado o si simplemente estaba dependiendo del historial de cómo llegó allí. En un mercado real, la evolución futura del libro de órdenes depende enteramente de su estado actual; el camino tomado para alcanzar ese estado no debería importar. Este es un principio fundamental conocido como la propiedad de Markov. Para probar si el modelo respetaba este principio, los investigadores diseñaron una serie de experimentos que iban más allá del simple seguimiento de reglas. Pidieron al modelo que predijera qué sucedería después, no solo para generar una secuencia válida, sino para pronosticar las probabilidades de eventos futuros.

Los resultados revelaron una falla significativa en la comprensión del modelo. Si bien el modelo podía generar secuencias válidas, su visión interna del mercado era sesgada e incompleta. Cuando los investigadores examinaron las predicciones del modelo, encontraron que este asignaba consistentemente probabilidades incorrectas a eventos futuros. Por ejemplo, el modelo sobreestimaba la probabilidad de una orden de cancelación en un precio específico, incluso cuando la verdadera probabilidad matemática era mucho menor. Más preocupante aún, los pronósticos del modelo estaban influenciados por el historial de eventos que llevaron al estado actual, a pesar de que esa historia debería haber sido irrelevante. Si el mercado llegaba a un estado específico a través de dos caminos diferentes, un modelo con un entendimiento correcto predeciría exactamente el mismo futuro para ambos. La inteligencia artificial, sin embargo, daba predicciones diferentes dependiendo del camino tomado, lo que sugería que se aferraba a detalles del pasado que no tenían poder predictivo.

Para cuantificar este error, los investigadores desarrollaron nuevas pruebas que medían la distancia entre las predicciones del modelo y la realidad matemática del mercado simulado. Encontraron que, a medida que el modelo miraba más hacia el futuro, sus errores crecían. El modelo parecía creer que podía encontrar patrones en el pasado que no existían, un fenómeno conocido como predictibilidad espuria. Era como si el modelo estuviera convencido de que una serie de órdenes de compra pasadas hacía que una futura orden de venta fuera más probable, incluso cuando el estado actual del mercado no ofrecía ninguna razón para tal cambio. Este sesgo no era un error menor; era una falla sistemática en la comprensión de la dinámica central del sistema. El modelo había aprendido la gramática del mercado, pero había fallado en aprender su física.

Los investigadores también probaron si estos problemas eran específicos de su pequeña y simple simulación o si persistirían en entornos más complejos. Repitieron los experimentos con libros de órdenes más grandes que tenían más niveles de precios y mayor liquidez. Los resultados fueron consistentes: a medida que aumentaba la complejidad del mercado, la capacidad del modelo para mantener una representación correcta del estado en realidad empeoraba. El modelo continuaba generando secuencias válidas, pero sus pronósticos se volvían aún más poco fiables. Esto sugiere que el simple hecho de entrenar un modelo con más datos o hacer la simulación del mercado más grande no solucionará el problema fundamental. La arquitectura del modelo, tal como está, lucha por abstraer el estado actual del sistema del ruido de su historia.

Estos hallazgos tienen implicaciones importantes para el uso de la inteligencia artificial en las finanzas. El estudio demuestra que la capacidad de un modelo para generar salidas válidas no es una prueba suficiente de que entiende el sistema que está simulando. En el contexto de los mercados financieros, donde el pronóstico preciso es crítico, un modelo que encuentra patrones donde no existen podría conducir a errores costosos. Los investigadores concluyen que, si bien los modelos de lenguaje de gran tamaño muestran promesa en la comprensión de las reglas de un sistema, actualmente carecen del entendimiento profundo e implícito de la dinámica estocástica requerido para una predicción fiable. Hasta que estos modelos puedan ser entrenados para interiorizar verdaderamente el estado del mundo que están simulando, en lugar de solo la secuencia de eventos que lo llevó a él, sus pronósticos en mercados complejos del mundo real seguirán siendo sospechosos. El camino a seguir requiere nuevos métodos de entrenamiento y conjuntos de datos más grandes, pero el desafío central permanece: enseñar a una máquina a ver el mundo tal como es, no solo como lo recuerda.