Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

Resumen Técnico: Aprendizaje por Refuerzo para la Ejecución bajo Tarifas Dinámicas en un Simulador de DEX de Bucle Cerrado

1. Planteamiento del Problema

El artículo aborda una limitación fundamental en la evaluación de las tarifas dinámicas orientadas al trader en los Automated Market Makers (AMM). Mientras que se proponen tarifas dinámicas para proteger a los Proveedores de Liquidez (LP), los datos históricos no pueden determinar cómo responde el flujo de órdenes ante tales tarifas debido a que:

1. Tarifas Estáticas: Las tarifas históricas no han variado significamente.
2. Tipos Latentes: Los tipos de traders y las decisiones de enrutamiento no son observados.
3. Naturaleza No Secuencial: La reproducción de cintas históricas no constituye un entorno de decisión secuencial donde las acciones influyan en los estados futuros.

Consecuentemente, las preguntas contrafácticas —como "¿qué haría el flujo de órdenes si las tarifas se movieran en su contra?"— no pueden responderse mediante estudios de eventos históricos. Los intentos previos de aplicar Aprendizaje por Refuerzo (RL) a cintas de trading históricas fallaron porque la cinta carece de un núcleo de transición dependiente de la acción; las acciones de un agente en una reproducción no pueden alterar el estado subsiguiente del mercado.

2. Metodología

Para superar la falta de señales contrafácticas en los datos históricos, los autores construyen un simulador de bucle cerrado mínimo donde la señal existe por construcción. La metodología se define por una disciplina de evaluación rigurosa en lugar de un algoritmo de aprendizaje específico.

El Simulador de Mercado:

• Estructura: Dos pools de producto constante (de linaje Uniswap) y un Exchange Centralizado (CEX) externo.
• Agentes:
  • Agente de Ejecución: Realiza el trading de una orden objetivo sobre un horizonte finito.
  • Traders de Ruido (Noise Traders): Dirigen el flujo basándose en costos de ejecución efectivos (softmax sobre el costo).
  • Arbitrajista: Cierra las brechas CEX-AMM de forma cerrada siempre que sea rentable (menos gas).
• Regla de Tarifa Dinámica: Las tarifas se reajustan en cada paso basándose en un cierre inspirado en el equilibrio (linealización de estructuras de tarifas de Nash). Las tarifas dependen de:
  • Desequilibrio de inventario del propio pool.
  • Estado del pool rival.
  • Brecha de precio del oráculo.
• Dinámicas de Transición: El entorno es un Proceso de Decisión de Markov (MDP) de horizonte finito. La función de transición compone la acción del agente con los operadores de mercado (actualización de tarifas, actualización de oráculo, arbitraje, flujo de ruido) en un orden fijo y declarado. Crucialmente, la posición intra-paso del agente (por ejemplo, actuar antes o después del arbitraje) es una variable de diseño explícita.

Protocolo de Evaluación:

• Objetivo: Minimizar el Desajuste de Implementación (Implementation Shortfall - IS) bajo una regla de finalización terminal forzada (todo el inventario debe ejecutarse, con el inventario residual liquidado inmediatamente en el paso final).
• Escalera de Referencia (Benchmark Ladder): En lugar de una única línea base, el estudio compara los aprendices contra una "escalera" de heurísticas ajustadas para descartar explicaciones alternativas de cualquier ventaja de rendimiento:
  • Líneas Base de Programación (Schedules): TWAP, liquidación más rápida, enrutamiento aleatorio.
  • Lookahead: Control de un paso ajustado con un término de urgencia de marcado a mercado (proxy para costos futuros).
  • Planificadores (Planners): Planificadores deterministas de K-pasos de equivalencia de certidumbre y planificadores de despliegue estocástico.
  • Aprendices Tabulares: Control de Monte Carlo on-policy con estados discretizados.
  • DQN: Deep Q-Network con aproximación de funciones.
• Congelación Rigurosa: Todos los hiperparámetros, el ajuste de líneas base y las decisiones de diseño se congelan en un bloque de validación. Los resultados principales finales se derivan exclusivamente de un bloque reservado de 1,000 semillas que nunca fueron vistas durante el desarrollo.

3. Contribuciones Clave

1. Construcción de un Simulador de Bucle Cerrado: El artículo proporciona un simulador mínimo y reproducible donde las acciones de ejecución influyen directamente en el inventario del pool, las cotizaciones y las tarifas dinámicas, creando un entorno de decisión secuencial válido para el RL.
2. Disciplina de Evaluación: Establece un protocolo para evaluar el control sin modelo en mercados de bucle cerrado, enfatizando las comparaciones pareadas contra heurísticas ajustadas, semánticas de finalización estrictas y la separación de los bloques de entrenamiento, validación y evaluación final.
3. Evidencia Contrafáctica: Genera evidencia condicionada al modelo respecto al control de ejecución en AMMs, aislando específicamente el impacto de las tarifas dinámicas en las estrategias de ejecución.

4. Resultados

El estudio evalúa un pequeño DQN contra la escalera de referencia en el bloque final reservado (1,000 semillas) bajo finalización forzada.

• Ventaja de Rendimiento: El DQN es el único policy evaluado cuya mejora pareada sobre un benchmark de lookahead de un paso excluye el cero.
  • Ordenamiento Agente-Primero (Agent-First): El DQN reduce el desajuste de implementación en 13.3 bps (puntos básicos) del nocional de la orden en comparación con el benchmark de lookahead.
  • Ordenamiento Agente-Último (Agent-Last): La ventaja es de 14.9 bps.
  • Ordenamiento Aleatorio: La ventaja es de 5.6 bps (la más pequeña pero aún significativa).
• Fallo de Alternativas:
  • Planificación: Los planificadores superficiales (deterministas y estocásticos) no logran cerrar la brecha con el benchmark de lookahead. Su rendimiento es estadísticamente indistinguible de o peor que el lookahead ajustado de un paso.
  • Aprendizaje Tabular: Un aprendiz tabular de 450 estados tiene un rendimiento inferior al lookahead. Un aprendiz tabular de 1,440 estados muestra una diferencia pareada de -0.42 bps, pero su intervalo de confianza del 95% contiene el cero.
• Atribución de la Ventaja:
  • La ventaja se concentra en entornos de tarifas dinámicas. Bajo tarifas constantes, la diferencia pareada entre el DQN y la heurística es indistinguible de cero.
  • El DQN aprende a cronometrar los trades hacia estados de tarifas bajas y a enrutar basándose en brechas de tarifas, explotando la correlación entre cotizaciones baratas y tarifas bajas.
• Robustez:
  • La ventaja persiste a través de variaciones en costos de gas, velocidad de arbitraje e intensidad de ruido.
  • Transferencia vs. Re-resolución: Una política congelada entrenada bajo un ordenamiento (ej. agente-primero) pierde su ventaja cuando se evalúa bajo un ordenamiento diferente (ej. agente-último). Sin embargo, el re-entrenamiento del DQN bajo el nuevo ordenamiento restaura la ventaja, indicando que la pérdida se debió a un desajuste entre la política y el entorno, más que a una falta de estructura explotable.

5. Significado y Reivindicaciones

El artículo es modesto en su alcance, definiendo explícitamente qué respaldan y qué no los resultados:

• Lo que Soporta:

  • En el entorno específico construido, el control de ejecución sin modelo (DQN) puede superar a las fuertes heurísticas de enrutamiento de un paso cuando se impone una finalización estricta.
  • La ventaja de rendimiento se aprende específicamente de la estructura de las tarifas dinámicas; no existe en entornos de tarifas constantes.
  • La planificación superficial (determinista o estocástica) es insuficiente para capturar el valor del cronometraje de tarifas dinámicas en este entorno.

• Lo que NO Soporta:

  • Comportamiento Histórico: Los resultados no son evidencia sobre cómo se comportarían los traders históricos, ya que los datos son sintéticos.
  • Rentabilidad Desplegable: Los resultados no prueban que una estrategia desplegada sería rentable en un mercado real, ya que el simulador es un modelo mínimo.
  • Juego de Equilibrio: La regla de tarifa dinámica se utiliza como un principio de cierre para hacer que el entorno "se defienda a sí mismo", no como una certificación de que la regla de tarifa es un equilibrio de Nash.
  • Bienestar de los LP: El artículo no afirma que las tarifas dinámicas sean óptimas para los Proveedores de Liquidez.

Conclusión:
El artículo demuestra que en un mercado de bucle cerrado con tarifas dinámicas, un agente sin modelo puede aprender estrategias de ejecución que superan a los lookaheads heurísticos al explotar las variaciones en el estado de las tarifas. Sin embargo, esta ventaja depende de la estructura de las dinámicas de mercado (tarifas dinámicas) y de la alineación entre el entorno de entrenamiento del agente y el ordenamiento de la ejecución. El trabajo sirve como una prueba de concepto para el uso de simulación de bucle cerrado para estudiar el control de ejecución en AMMs, más que como un plano para el despliegue inmediato.