Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

Sintesi Tecnica: Apprendimento per Rinforzo per l'Esecuzione sotto Commissioni Dinamiche in un Simulatore DEX a Ciclo Chiuso

1. Definizione del Problema

Il documento affronta un limite fondamentale nella valutazione delle commissioni dinamiche rivolte ai trader negli Automated Market Makers (AMM): mentre le commissioni dinamiche sono proposte per proteggere i Liquidity Provider (LP), i dati storici non possono determinare come il flusso degli ordini risponda a tali commissioni perché:

1. Commissioni Statiche: Le commissioni storiche non sono variate significativamente.
2. Tipi Latenti: I tipi di trader e le decisioni di routing sono non osservati.
3. Natura Non Sequenziale: La riproduzione di registri storici (tape) non costituisce un ambiente decisionale sequenziale in cui le azioni influenzano gli stati futuri.

Di conseguenza, le domande controfattuali — come ad esempio "cosa farebbe il flusso degli ordini se le commissioni si muovessero contro di esso?" — non possono essere soddisfatte da studi sugli eventi storici. I precedenti tentativi di applicare l'Apprendimento per Rinforzo (RL) ai registri commerciali storici sono falliti perché il registro manca di un kernel di transizione dipendente dall'azione; l'azione di un agente in una riproduzione non può alterare lo stato successivo del mercato.

2. Metodologia

Per superare la mancanza di segnali controfattuali nei dati storici, gli autori costruiscono un simulatore a ciclo chiuso minimale dove il segnale esiste per costruzione. La metodologia è definita da una rigorosa disciplina di valutazione piuttosto che da un algoritmo di apprendimento specifico.

Il Simulatore di Mercato:

• Struttura: Due pool a prodotto costante (lineage Uniswap) e un exchange centralizzato (CEX) esterno.
• Agenti:
  • Agente di Esecuzione: Esegue un ordine target su un orizzonte temporale finito.
  • Noise Traders: Instradano il flusso in base ai costi di esecuzione effettivi (softmax sul costo).
  • Arbitraggiatore: Chiude i gap CEX-AMM in forma chiusa ogni volta che è profittevole (meno le gas fees).
• Regola delle Commissioni Dinamiche: Le commissioni sono ricalcolate ad ogni step basandosi su una chiusura ispirata all'equilibrio (linearizzazione delle strutture di commissione di Nash). Le commissione dipendono da:
  • Squilibrio dell'inventario del proprio pool.
  • Stato del pool rivale.
  • Gap di prezzo dell'oracolo.
• Dinamiche di Transizione: L'ambiente è un processo decisionale di Markov (MDP) a orizzonte finito. La funzione di transizione compone l'azione dell'agente con gli operatori di mercato (aggiornamento commissioni, aggiornamento oracolo, arbitraggio, flusso di rumore) in un ordine fisso e dichiarato. Fondamentalmente, la posizione intra-step dell'agente (ad esempio, agire prima o dopo l'arbitraggio) è una variabile di design esplicita.

Protocollo di Valutazione:

• Obiettivo: Minimizzare l'Implementation Shortfall (IS) sotto una regola di completamento terminale forzata (tutto l'inventario deve essere eseguito, con l'inventario residuo liquidato immediatamente all'ultimo step).
• Scala di Benchmark: Invece di un singolo baseline, lo studio confronta gli apprendisti contro una "scala" di euristiche ottimizzate per escludere spiegazioni alternative per qualsiasi vantaggio di performance:
  • Baseline di Programmazione (Schedule): TWAP, liquidazione rapida, routing casuale.
  • Lookahead: Controllo ottimizzato a un passo con un termine di urgenza mark-to-market (proxy per i costi futuri).
  • Planner: Planner deterministici a K-passi a certezza equivalente e planner stocastici a rollout.
  • Learners Tabulari: Controllo Monte Carlo on-policy con stati discretizzati.
  • DQN: Deep Q-Network con approssimazione di funzione.
• Congelamento Rigoroso: Tutti gli iperparametri, l'ottimizzazione dei baseline e le scelte di design sono congelati su un blocco di validazione. I risultati finali principali derivano esclusivamente da un blocco riservato di 1.000 seed mai visti durante lo sviluppo.

3. Contributi Chiave

1. Costruzione di un Simulatore a Ciclo Chiuso: Il documento fornisce un simulatore minimale e riproducibile dove le azioni di esecuzione influenzano direttamente l'inventario del pool, le quotazioni e le commissioni dinamiche, creando un ambiente decisionale sequenziale valido per l'RL.
2. Disciplina di Valutazione: Stabilisce un protocollo per valutare il controllo model-free in mercati a ciclo chiuso, enfatizzando i confronti a coppie contro euristiche ottimizzate, semantiche di completamento rigorose e separazione tra i blocchi di training, validazione e valutazione finale.
3. Evidenza Controfattuale: Genera evidenza condizionata al modello riguardante il controllo dell'esecuzione negli AMM, isolando specificamente l'impatto delle commissioni dinamiche sulle strategie di esecuzione.

4. Risultati

Lo studio valuta un piccolo DQN rispetto alla scala di benchmark sul blocco finale riservato (1.000 seed) sotto completamento forzato.

• Vantaggio di Performance: Il DQN è l'unica policy valutata il cui miglioramento accoppiato rispetto a un benchmark di lookahead ottimizzato esclude lo zero.
  • Ordinamento Agent-First: Il DQN riduce l'implementation shortfall di 13,3 bps (punti base) del notevole dell'ordine rispetto al benchmark di lookahead.
  • Ordinamento Agent-Last: Il vantaggio è di 14,9 bps.
  • Ordinamento Casuale: Il vantaggio è di 5,6 bps (il più piccolo ma comunque significativo).
• Fallimento delle Alternative:
  • Planning: I planner superficiali (stocastici e deterministici) falliscono nel colmare il divario con il benchmark di lookahead. La loro performance è statisticamente indistinguibile o peggiore del lookahead ottimizzato a un passo.
  • Learning Tabulare: Un learner tabulare a 450 stati performa peggio del lookahead. Un learner tabulare a 1.440 stati mostra una differenza accoppiata di -0,42 bps, ma l'intervallo di confidenza al 95% contiene lo zero.
• Attribuzione del Vantaggio:
  • Il vantaggio è concentrato negli ambienti a commissioni dinamiche. Sotto commissioni costanti, la differenza accoppiata tra il DQN e l'euristica è indistinguibile dallo zero.
  • Il DQN impara a temporizzare i trade in stati di commissione bassa e a fare routing in base ai gap di commissione, sfruttando la correlazione tra quotazioni economiche e commissioni basse.
• Robustezza:
  • Il vantaggio persiste attraverso variazioni nei costi del gas, velocità di arbitraggio e intensità del rumore.
  • Trasferimento vs. Risoluzione: Una policy congelata addestrata sotto un ordinamento (es. agent-first) perde il suo vantaggio quando valutata sotto un altro ordinamento (es. agent-last). Tuttavia, riaddestrare il DQN sotto il nuovo ordinamento ripristina il vantaggio, indicando che la perdita era dovuta a un mismatch tra policy e ambiente piuttosto che a una mancanza di struttura sfruttabile.

5. Significato e Rivendicazioni

Il documento è modesto nel suo ambito, definendo esplicitamente ciò che i risultati supportano e ciò che non supportano:

• Ciò che Supporta:

  • In questo specifico ambiente costruito, il controllo dell'esecuzione model-free (DQN) può superare le forti euristiche di routing a un passo quando viene imposto un completamento rigoroso.
  • Il vantaggio di performance è appreso specificamente dalla struttura delle commissioni dinamiche; non esiste in ambienti a commissioni costanti.
  • Il planning superficiale (deterministico o stocastico) è insufficiente per catturare il valore della temporizzazione delle commissioni in questo contesto.

• Ciò che NON Supporta:

  • Comportamento Storico: I risultati non sono una prova di come si comporterebbero i trader storici, poiché i dati sono sintetici.
  • Profitto Deployable: I risultati non provano che una strategia implementata sarebbe profittevole in un mercato reale, poiché il simulatore è un modello minimale.
  • Equilibrio: La regola delle commissioni dinamiche è usata come principio di chiusura per far sì che l'ambiente "difenda se stesso", non come certificazione che la regola delle commissioni sia un equilibrio di Nash.
  • Welfare degli LP: Il documento non afferma che le commissioni dinamiche siano ottimali per i Liquidity Provider.

Conclusione:
Il documento dimosta che in un mercato a ciclo chiuso con commissioni dinamiche, un agente model-free può apprendere strategie di esecuzione che superano i lookahead euristici ottimizzati sfruttando le variazioni dello stato delle commissioni. Tuttavia, questo vantaggio è contingente alla specifica dinamica di mercato (commissioni dinamiche) e all'allineamento tra l'ambiente di addestramento dell'agente e l'ordine di esecuzione. Il lavoro serve come prova di concetto per l'uso della simulazione a ciclo chiuso per studiare il controllo dell'esecuzione negli AMM, piuttosto che come blueprint per un immediato deployment.