Resumen Técnico: MARKET-BENCH

Planteamiento del Problema

El campo del trading cuantitativo opera en un entorno de alto riesgo donde las alucinaciones de los modelos o las entradas incompletas pueden resultar en pérdidas financieras significativas. Mientras que las evaluaciones existentes de los Modelos de Lenguaje Extensos (LLMs) en finanzas se centran en tareas de alto nivel —como el resumen de llamadas de ganancias, el análisis de sentimiento o el modelado fundamental—, existe una brecha crítica en la evaluación de la capacidad de los modelos para asistir a los traders en sus tareas operativas diarias. Específicamente, los benchmarks actuales no evalúan si un LLM puede comprender y aplicar conceptos fundamentales de trading (por ejemplo, ejecución de órdenes, seguimiento de inventario, gestión de riesgos) para construir un backtester funcional y ejecutable a partir de una descripción en lenguaje natural. El problema central abordado es la incapacidad de los LLMs actuales para traducir de manera confiable descripciones de estrategias en código que produzca simulaciones de trading numéricamente precisas y estructuralmente sólidas.

Metodología

Los autores introducen MARKET-BENCH, un benchmark diseñado para evaluar LLMs en tareas introductorias de trading cuantitativo. El marco de evaluación requiere que los modelos generen código Python ejecutable que simule estrategias de trading basadas en descripciones de lenguaje natural y datos de mercado proporcionados.

Diseño del Benchmark

El benchmark consta de tres estrategias canónicas, cada una de las cuales captura distintos aspectos de la dinámica del mercado:

1. Trading Programado (Estrategia 1): Una estrategia de un solo activo en Microsoft (MSFT) que involucra órdenes de mercado en marcas de tiempo preespecificadas. Evalúa la interacción con el libro de órdenes, el seguimiento de posiciones, la contabilidad FIFO para el P&L realizado y el P&L no realizado basado en precios medios (mid-prices).
2. Pairs Trading (Estrategia 2): Una estrategia de reversión a la media entre Coca-Cola (KO) y Pepsi (PEP). Requiere calcular z-scores de spread, gestionar el capital conjunto entre dos símbolos y ejecutar la lógica de entrada/salida basada en cruces de umbrales.
3. Delta Hedging (Estrategia 3): Una estrategia de opciones sobre MSFT donde el modelo debe cubrir una serie temporal de delta de opciones predefinida utilizando la acción subyacente. Esto evalúa el manejo de órdenes fill-or-kill, retrasos de la bolsa y la agregación de delta neto.

Datos y Simulación

• Fuentes de Datos: Los datos de mercado se derivan de Databento (datos de libro de órdenes L10) o se generan sintéticamente (random walk para el delta de opciones).
• Libro Sintético: Un componente crítico del benchmark es el requisito de que los modelos rastreen la liquidez retirada del libro. Los modelos deben mantener un "libro sintético" que netee los datos brutos del libro de órdenes contra la liquidez consumida para asegurar un seguimiento preciso de precios y volumen.
• Protocolo de Evaluación:
  • Cada estrategia se prueba a través de 5 rondas distintas (diferentes configuraciones de parámetros y semillas de datos), sumando un total de 15 combinaciones por modelo.
  • Se permite a los modelos hasta 3 intentos independientes de un solo paso (one-shot) por ronda.
  • Temperatura: Establecida en 0.0 para asegurar el determinismo.
  • Restricciones: Un límite de tiempo de 10 minutos y un conjunto restringido de paquetes Python permitidos (por ejemplo, pandas, numpy, datetime).

Métricas

La evaluación separa la fiabilidad estructural de la precisión numérica:

• Pasos Ejecutables (Executable Passes): Cuenta el número de rondas donde el modelo genera con éxito código que se ejecuta sin errores de sintaxis o aserciones de tiempo de ejecución.
• Error Absoluto Medio (MAE): Mide la desviación entre las métricas de salida del modelo (P&L total, drawdown máximo, rutas de posición) y una implementación de referencia verificable.
  • Manejo de Fallos: Si un modelo falla en la ejecución, se le asigna un "MAE de línea base de métricas duplicadas", calculado repitiendo las métricas del estado inicial para todos los timestamps. Esto penaliza severamente las salidas no ejecutables.
• Agregación: Los modelos se clasifican por el MAE Medio (promediado en todas las rondas, incluyendo fallos), el Mejor MA con MAE (el error más bajo logrado en cualquier ronda única) y el total de Pasos Ejecutables.

Resultados Clave

El estudio evaluó 13 modelos de última generación, incluyendo variantes de GPT-5, Claude 4.5, Gemini 3 Pro y modelos de código abierto como Qwen3 y Llama 4.

Tendencias de Rendimiento

1. Fiabilidad vs. Precisión: Existe una divergencia significativa entre la capacidad de un modelo para producir código que se ejecute y su capacidad para producir código correcto.
   • GPT-5.2 demostró un sólido rendimiento general, logrando una ejecutabilidad perfecta (15/15 rondas) con un MAE medio bajo (969.39).
   • Qwen3 Max logró una ejecutabilidad perfecta (15/15) pero sufrió una divergencia numérica catastrófica, particularmente en la Estrategia 2, resultando en un MAE medio general de ~1.59 × 10⁸.
   • GPT-5.1 Codex-Max logró el error de ejecución única más bajo (0.002 MAE) en la Estrategia 1, pero mostró una alta varianza entre rondas.
2. Dificultad de la Estrategia:
   • Estrategia 1 (Acción Única): La tarea más fácil. La mayoría de los modelos (promedio 4.08/5 rondas) pudieron ejecutarla, aunque los errores numéricos variaron por órdenes de magnitud.
   • Estrategia 2 (Pairs): Estructuralmente más desafiante. Los Pasos Ejecutables promedio bajaron a 3.46. Los modelos tuvieron dificultades con el cálculo de z-score y la gestión de capital multi-activo.
   • Estrategia 3 (Delta Hedging): La más compleja. Los Pasos Ejecutables promedio cayeron a 3.38. Los errores en la agregación de delta y el timing provocaron discrepancias masivas en el P&L.
3. Modos de Fallo:
   • Fallos Estructurales: Errores de sintaxis, columnas faltantes o desajustes de tipos que impiden la ejecución.
   • Fallos Semánticos: El código se ejecuta pero implementa la lógica incorrectamente (por ejemplo, ratios de cobertura erróneos, contabilidad FIFO incorrecta, ignorar restricciones de capital). Estos resultan en un MAE alto a pesar de la ejecución exitosa.

Contribuciones Clave

• Benchmark MARKET-BENCH: Una novedosa suite de evaluación dirigida específicamente a la intersección de la generación de código y las finanzas cuantitativas, yendo más allá del análisis financiero basado en texto hacia la implementación de estrategias ejecutables.
• Evaluación Multi-Ronda y Multi-Métrica: Un protocolo riguroso que distingue entre código que corre y código que funciona, utilizando una penalización de línea base para las salidas no ejecutables para reflejar la gravedad del fallo en contextos de trading.
• Simulación de Libro Sintético: La introducción de un mecanismo que requiere que los modelos rastreen el consumo de liquidez y mantengan libros de órdenes sintéticos, una restricción del mundo real crítica que suele omitirse en los benchmarks de generación de código.

Significancia y Reivindicaciones

El artículo concluye que, si bien los LLMs actuales pueden construir la infraestructura básica de trading, tienen dificultades para razonar robustamente sobre precios, inventario y riesgo.

• Limitaciones Actuales: Los autores afirman que usar la salida de un modelo como un reemplazo directo de los analistas cuantitativos es "extremadamente riesgoso". Incluso para tareas introductorias, los modelos fallan consistentemente en implementar estrategias básicas con fidelidad numérica.
• Rol de los LLMs: El artículo sugiere que los modelos actuales son más adecuados como "suplementos de codificación" en lugar de agentes autónomos para la síntesis de ideas de trading.
• Perspectiva Futura: Los autores postulan que, con un mejor entrenamiento en datos de trading y capacidades de razonamiento mejoradas, los modelos podrían eventualmente cerrar la brecha entre describir estrategias e implementarlas con un entendimiento profundo de la dinámica del mercado. Sin embargo, al momento del estudio, la brecha sigue siendo sustancial.

Los autores lanzan el benchmark y una tabla de clasificación pública para facilitar la investigación futura en este dominio.