Online Market Making and the Value of Observing the Order Book

Resumen Técnico: Creación de Mercados en Línea y el Valor de Observar el Libro de Órdenes

Formulación del Problema
Este artículo aborda el problema de la creación de mercados en línea, donde un agente (el "creador") publica secuencialmente precios de oferta ($B_t$) y demanda ($A_t$) para un único activo para interactuar con comerciantes que poseen valoraciones privadas ($V_t$). El activo tiene un valor de mercado objetivo ($M_t$) que se realiza al final de cada ronda. El objetivo del agente es minimizar el arrepentimiento en relación con la mejor estrategia fija de oferta-demanda a posteriori.

El desafío central reside en la estructura de retroalimentación. En las formulaciones tradicionales (por ejemplo, Cesa-Bianchi et al., 2024), la retroalimentación está completamente censurada (retroalimentación de bandido): el agente solo observa si ocurrió una transacción. Este artículo introduce un novedoso modelo de retroalimentación dependiente de la acción inspirado en los Libros de Órdenes Limitados (LOB) reales. El mecanismo de retroalimentación se define de la siguiente manera:

• Ocurre una transacción: Si $V_t \le B_t$ (El creador compra) o $V_t \ge A_t$ (El creador vende), ocurre una transacción. El agente observa el precio de mercado $M_t$ pero no la valoración privada del comerciante $V_t$.
• No ocurre transacción: Si $B_t < V_t < A_t$, no se produce ninguna transacción. Crucialmente, el agente observa la valoración del comerciante $V_t$ (y $M_t$).

Esto crea un régimen donde se obtiene retroalimentación informativa precisamente cuando la recompensa instantánea es cero. El agente enfrenta una tensión entre estrechar el diferencial para maximizar el beneficio (lo que arriesga perder eventos informativos de "no transacción") y ampliar el diferencial para recopilar información sobre la distribución de las valoraciones.

Metodología y Algoritmos
Los autores proponen tres algoritmos distintos adaptados a diferentes suposiciones sobre el proceso de precios de mercado $M_t$:

1. Precios Estocásticos Independientes (Algoritmo 1: OPSR):

   • Suposición: $M_t$ es una secuencia i.i.d. con media desconocida $\mu$.
   • Enfoque: El algoritmo de Rechazo Sucesivo Optimista/Pesimista (OPSR). Mantiene un conjunto discreto de precios candidatos de oferta-demanda.
   • Mecanismo: Utiliza una estrategia de eliminación. En cada paso, construye intervalos de confianza optimistas y pesimistas para la función de distribución acumulada (CDF) de $V_t$ y la media de $M_t$.
   • Estimación: Aunque $V_t$ solo se observa cuando no ocurre una transacción, el algoritmo construye un estimador sustituto para la CDF utilizando observaciones "recortadas" ($V^{clip}_t$). Elimina acciones subóptimas solo cuando los intervalos de confianza certifican su suboptimalidad, asegurando que el par óptimo no se descarte prematuramente.
   • Complejidad: El algoritmo base tiene una complejidad por paso de $O(\sqrt{T})$. Una variante, LAZY-OPSR, actualiza las estimaciones solo en potencias de dos para lograr una complejidad amortizada de $O(\log T)$.

2. Precios de Reversión a la Media (Algoritmo: LAZY-OPSR):

   • Suposición: $M_t$ sigue una amplia clase de procesos de reversión a la media, formalizados mediante dos condiciones:
     • Local: Un proceso AR($k$) (Ornstein-Uhlenbeck discreto).
     • Global: Una condición tipo martingala donde la desviación futura esperada de la media, dada la historia de desviaciones acumuladas, tiene una correlación no positiva con la desviación acumulada actual.
   • Enfoque: Los autores demuestran una nueva desigualdad de concentración para la media muestral bajo estas condiciones globales de reversión a la media. Adaptan OPSR a LAZY-OPSR, que restringe las eliminaciones de acciones a pasos de tiempo específicos (truco de duplicación) para evitar que las elecciones del agente se correlacionen de manera impredecible con la secuencia de precios.

3. Precios Adversarios (Algoritmo 2: ETP):

   • Suposición: $M_t$ es una secuencia arbitraria, indiferente (sin suposiciones estocásticas).
   • Enfoque: El algoritmo Explorar-Luego-Perturbar (ETP).
   • Mecanismo:
     • Fase de Exploración: Durante las primeras $\kappa$ rondas, el agente establece $B_t=0$ y $A_t=1$ para garantizar una estimación uniforme de la CDF $F$ en todo el dominio.
     • Fase de Explotación: El agente cambia a una estrategia de "Seguir al Líder Perturbado" (FTPL). En lugar de perturbar la recompensa acumulada directamente, el algoritmo añade ruido aleatorio $\varepsilon$ a la estimación del precio medio $\hat{\mu}_t$. Esto estabiliza las decisiones del optimizador en el entorno no convexo, evitando la volatilidad en los pares de oferta-demanda elegidos.

Resultados Clave
El artículo establece límites de arrepentimiento de alta probabilidad que mejoran significativamente los límites estándar de retroalimentación de bandido:

• Entornos Estocásticos y de Reversión a la Media: Los algoritmos propuestos alcanzan un límite de arrepentimiento de $\tilde{O}(\sqrt{T})$ con alta probabilidad.
  • Este resultado se mantiene sin requerir suposiciones de suavidad (por ejemplo, continuidad de Lipschitz) sobre la distribución de las valoraciones de los comerciantes $F$.
  • En contraste, los modelos estándar de retroalimentación de bandido en el entorno estocástico generalmente requieren suposiciones de Lipschitz para lograr $\tilde{O}(\sqrt{T})$; sin ellas, o en entornos adversarios, los límites inferiores son $\Omega(T^{2/3})$ u $\Omega(T)$.
• Entorno Adversario: El algoritmo ETP garantiza un arrepentimiento esperado de $\tilde{O}(T^{2/3})$.
  • Esto es una mejora sobre el límite inferior de $\Omega(T)$ para la retroalimentación de bandido en entornos adversarios (a menos que se cumplan las condiciones de Lipschitz).
  • El límite se mantiene en expectativa, no con alta probabilidad, debido a la naturaleza de cola pesada del ruido de perturbación.

Significado y Contribuciones
El artículo afirma ser la primera formalización de esta estructura específica de retroalimentación dependiente de la acción en el aprendizaje en línea, donde la retroalimentación informativa se revela exactamente cuando la recompensa es cero. Las contribuciones principales son:

1. Modelo de Retroalimentación Novel: Cuantifica el valor de observar el libro de órdenes (específicamente, las órdenes limitadas pendientes cuando no ocurre una transacción). Los resultados demuestran que incluso una retroalimentación limitada y dependiente de la acción puede mejorar drásticamente las garantías teóricas de arrepentimiento en comparación con los modelos estándar de retroalimentación censurada.
2. Relajación de Suposiciones: El arrepentimiento $\tilde{O}(\sqrt{T})$ en entornos estocásticos y de reversión a la media se logra sin suposiciones de suavidad sobre la distribución de valoraciones, una desviación significativa de la literatura previa sobre bandidos continuos.
3. Nueva Desigualdad de Concentración: La derivación de una desigualdad de concentración para medias muestrales bajo una condición global de reversión a la media (basada en desviaciones acumuladas) se presenta como un resultado de interés independiente.
4. Diseño Algorítmico: La introducción de estrategias basadas en eliminación y de explorar-luego-perturbar adaptadas a la naturaleza híbrida de la retroalimentación (retroalimentación completa en recompensa cero, retroalimentación de bandido en recompensa no cero) proporciona un nuevo marco para manejar la observabilidad parcial en los mercados financieros.

Los autores concluyen que, aunque el modelo es estilizado, aísla el papel crítico de la estructura de información en la creación de mercados, sugiriendo que la capacidad de observar órdenes no ejecutadas es un requisito fundamental para estrategias de creación de mercados efectivas y de bajo arrepentimiento.