Technische Samenvatting: ACE-SQL

Probleemstelling

Text-to-SQL-systemen kampen met een kritieke flessenhals in schema-linking, vooral bij het werken met moderne databases die grote en complexe schema's bevatten. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën, die beide lijden aan een generator-geconditioneerde supervisie-mismatch:

1. Full-Schema Generatie: Deze methoden leren schema-selectie impliciet binnen end-to-end SQL-generatie. Dit laat schema-linking echter binnen een enorme zoekruimte, wat vaak resulteert in een lagere executie-accuratesse vergeleken met het gebruik van ground-truth (gold) kolommen.
2. Retriever-Generator Pipelines: Deze systemen gebruiken een aparte retriever die getraind is op statische gold-kolom annotaties om expliciet schema-componenten te selecteren vóór de generatie. De beperking hier is dat de retriever verankerd is aan vaste "gold" targets. Zoals in het paper wordt aangetoond, vertrouwt een aanzienlijk deel (19,1% tot 42,3%) van de executie-correcte SQL-voorspellingen op niet-gold kolomsets (alternatieve uitvoerbare routes). Een retriever die strikt getraind is op statische gold labels, straft deze geldige, door de generator geprefereerde routes af, wat leidt tot een suboptimale policy voor de huidige generator.

De kernuitdaging is dat schema-linking en SQL-generatie gekoppeld zijn: de retriever bepaalt de inputdistributie van de generator, terwijl de succesvolle outputs van de generator bepalen welke schema-configuraties geldig zijn. Het gezamenlijk optimaliseren hiervan introduceert een circulaire afhankelijkheid en gradiënt-interferentie, terwijl het ontkoppelen leidt tot de beschreven supervisie-mismatch.

Methodologie: ACE-SQL

De auteurs stellen ACE-SQL (Adaptive Co-Optimization via Empirical Credit Assignment) voor, een Reinforcement Learning (RL) framework dat schema-retrieval en SQL-generatie gezamenlijk optimaliseert onder een gedeelde policy ($\pi_\theta$). Het framework werkt in twee fasen:

1. Supervised Fine-Tuning (Cold Start)

Om ervoor te zorgen dat de retriever-generator pipeline functioneel is vóór de RL, voeren de auteurs een zelf-distillatie SFT-fase uit met behulp van het Qwen3-8B model.

• Source Filtering: Samples worden gefilterd uit de SynSQL-2.5M dataset op basis van complexiteit en schema-diversiteit.
• Paired Self-Distillation: Het model genereert retriever-outputs (kolomsets) via self-consistency voting. Deze definiëren geprunede schema's voor de generator. Alleen paren waarbij de executie van de generator overeenkomt met de gold SQL worden behouden.
• Mixed SFT: De retriever- en generator-samples worden samen getraind om de gedeelde policy te initialiseren.

2. Joint GRPO Training (Reinforcement Learning)

De kerninnovatie ligt in de Joint Group Relative Policy Optimization (GRPO) training, die statische gold targets vervangt door adaptieve, on-policy targets afgeleid van executie-feedback.

• Bidirectionale Adaptatie:
  • Retriever $\to$ Generator: De retriever sampleert $N$ kolomsets, die worden geaggregeerd via majority voting om een gepruned schema ($\hat{S}$) te creëren. Dit schema conditioneert de input van de generator.
  • Generator $\to$ Retriever: De generator produceert $N$ SQL-queries. Succesvolle executies (overeenkomend met het gold resultaat) worden gebruikt om een Empirical Column-Set Pool bij te werken.
• Empirical Credit Assignment:
  • In plaats van te targeten op een vaste gold kolomset, wordt de target van de retriever dynamisch bijgewerkt naar de meest frequente kolomset ($S^\star(q)$) die wordt waargenomen in de empirische pool van executie-correcte rollouts.
  • Deze pool wordt geïnitialiseerd met high-recall unies van kolomsets en wordt online bijgewerkt met een vervalfactor ($\gamma=0.5$) om nieuwe bewijslast te prioriteren terwijl succesvolle routes behouden blijven.
• Reward Constructie:
  • Beide rollen ontvangen sparse rewards die worden afgeschermd door executie-correctheid (voor de generator) of exacte match met de empirische target $S^\star(q)$ (voor de retriever).
  • Een clipped length penalty wordt toegepast om te voorkomen dat outputs te lang worden, maar alleen als de output aan de sparse reward conditie voldoet.
• Stabilisatiemechanismen:
  • PCGrad (Gradient Surgery): Om gradiënt-interferentie tussen de retriever en generator losses te mitigeren, passen de auteurs PCGrad toe om conflicterende gradiënten te projecteren.
  • Generator-Weight Schedule: De bijdrage van de generator aan de gezamenlijke loss wordt lineair verhoogd van 0 naar 1 over de eerste 25% van de RL-stappen. Dit staat de empirische retriever-targets toe te stabiliseren voordat de generator volledige invloed uitoefent.

Belangrijkste Bijdragen

1. On-Policy Credit Assignment: Het paper formuleert schema-retrieval als een on-policy credit assignment probleem. In plaats van te vertrouwen op statische gold annotaties, leidt ACE-SQL adaptieve retrieval targets af van de eigen executie-correcte rollouts van de generator.
2. Bidirectionaal Adaptief Framework: ACE-SQL creëert een gesloten lus waarin de retriever zich aanpast aan de uitvoerbare voorkeuren van de generator, en de generator zich aanpast aan de evoluerende schema-selecties van de retriever, beiden geworteld in executie-accuratesse.
3. Gestabiliseerde Joint Optimalisatie: De auteurs introduceren een combinatie van een empirische kolomset-pool, PCGrad en een generator-weight schedule om het niet-stationaire en gekoppelde optimalisatieproces te stabiliseren.
4. Efficiëntie en Prestaties: De methode bereikt hoge prestaties met aanzienlijk minder output tokens vergeleken met bestaande RL-gebaseerde baselines.

Experimentele Resultaten

Geëvalueerd op de BIRD Dev en Spider benchmarks met de Qwen3-8B backbone:

• BIRD Dev: ACE-SQL bereikt 65,3% greedy execution accuracy (EX), waarmee het alle genoemde open-source baselines (bijv. SQL-R1-7B met 63,7%, MTIR-SQL-8B met 63,6%) verslaat.
• Spider: Bereikt 87,2% EX op de testset en 79,5% op de uitdagende Spider-Realistic variant.
• Efficiëntie: ACE-SQL gebruikt slechts 0,93k output tokens per query op BIRD Dev. Dit is ongeveer 3,3$\times$ minder tokens dan SQL-R1-7B (3,10k) en 2,2$\times$ minder dan MTIR-SQL-8B (2,00k), ondanks het behalen van een hogere accuratesse.
• Ablatie-studies:
  • Het verwijderen van PCGrad of de generator-weight schedule leidt tot prestatieverlies, wat de noodzaak van deze stabilisatoren voor joint RL bevestigt.
  • Het gebruik van statische gold targets voor de retriever resulteert in lagere prestaties (64,7% vs 65,3%) en hogere instabiliteit, wat het voordeel van empirical credit assignment valideert.
  • Sparse rewards presteren beter dan dense rewards in deze gezamenlijke setting, omdat dense rewards kunnen leiden tot gradiënt-dominantie door de retriever en reward hacking.

Betekenis en Claims

Het paper claimt dat ACE-SQL een praktische richting biedt voor het bouwen van efficiënte en robuuste Text-to-SQL systemen voor complexe, real-world databases. Door af te stappen van statische supervisie en te kiezen voor bidirectionale adaptatie, lost het framework de spanning tussen schema-retrieval en SQL-generatie op.

De auteurs benadrukken dat hun aanpak een nieuw perspectief biedt op upstream-downstream credit assignment in multi-stage LLM pipelines. Ze argumenteren dat executie-gealigneerde signalen superieur zijn aan statische annotaties voor het volgen van on-policy uitvoerbare routes, waardoor het model zijn eigen geleerde redeneerpatronen kan benutten in plaats van beperkt te worden door potentieel suboptimale gold labels. Het werk suggereert dat expliciete schema-retrieval, wanneer deze gezamenlijk wordt geoptimaliseerd met generatie, zowel de inferentiekwaliteit als de efficiëntie kan verbeteren zonder te vertrou'n op massale token-generatie.

Beperkingen: De auteurs merken op dat experimenten beperkt zijn tot een enkel 8B model (Qwen3-8B) en vertrouwen op synthetische trainingsdata (SynSQL-2.5M). Ze erkennen dat schalen naar grotere modellen of het gebruik van real-world query-database paren andere dynamieken kan onthullen, en dat de initiële pool van de SFT checkpoint mogelijk de initiële voorkeuren van het basismodel onderbelicht.