Technische Samenvatting: CAPER – Clause-Aligned Process Supervision voor Text-to-SQL

Probleemstelling

Text-to-SQL-systemen beogen het vertalen van natuurlijke taalvragen naar uitvoerbare SQL-queries. Hoewel Large Language Models (LLM's) dit veld hebben geavanceerd door middel van schema-linking en retrieval, blijft de taak een hoog-precisie gestructureerd generatieprobleem waarbij één enkele semantische fout (bijv. een onjuiste join-sleutel of aggregatie) de gehele query ongeldig kan maken.

Huidige trainingsparadigma's kampen met twee primaire beperkingen met betrekking tot supervisie:

1. Query-niveau Executie-correctheid: Standaard evaluatie vertrouwt op terminale executiesignalen (Execution Accuracy, EX). Hoewel schaalbaar, biedt dit een ijle, binaire beloning (succes/falen) die geen begeleiding biedt over welke tussenliggende beslissing de fout heeft veroorzaakt. Dit creëert een credit assignment-probleem waarbij "bijna-correcte" queries (grotendeels correct maar falend op één clausule) identiek worden behandeld als volledig foutieve queries.
2. Token-niveau Dichte Supervisie: Overgaan naar token-niveau feedback is slecht geschikt voor SQL-semantiek. Individuele tokens (aliassen, komma's, operatoren) vormen zelden volledige semantische beslissingen, terwijl cruciale SQL-beslissingen worden uitgedrukt via multi-token structuren (bijv. join-paden, predicaten). Token-niveau supervisie kan credit verspreiden over laag-niveau symbolen en vereist onbetrouwbare fijnmazige labeling.

De kernuitdaging is het afleiden van clause-aligned process supervision uit grove query-niveau uitkomsten zonder kostbare handmatige annotatie, waarbij de executie-correctheid als het uiteindelijke doel behouden blijft terwijl root-cause foutlokalisatie mogelijk wordt gemaakt.

Methodologie: Het CAPER-framework

De auteurs stellen CAPER (Clause-Aligned Process Supervision) voor, een geautomatiseerd framework dat clause-niveau voorkeursdata construeert en een lichtgewicht Clause-Level Process Reward Model (Clause-PRM) traint. Het framework werkt in drie stadia:

1. Automatische Beloningsannotatie

CAPER zet grove traject-uitkomsten om in fijnmazige clause-niveau beloningen met behulp van twee complementaire strategieën op een Abstract Syntax Tree (AST) representatie van SQL:

• Fault Injection (voor Succesvolle Trajecten): Voor trajecten die correct worden uitgevoerd, samplet het systeem bewerkbare sleutelnodes in de AST en past type-behoudende mutaties toe (bijv. kolommen verwisselen, operatoren veranderen). Een mutatie wordt alleen behouden als deze het executieresultaat verandert, waardoor een echte semantische fout wordt geïnduceerd. Dit creëert "negatieve" voorbeelden waarbij de oorzaak bekend is.
• Counterfactual Intervention (voor Gefaalde Trajecten): Voor trajecten die falen, vergelijkt het systeem de voorspelde SQL met de gouden standaard. Het identificeert de vroegste divergerende clausule en construeert een counterfactual gecorrigeerde query door de AST onder hetzelfde prefix te repareren. Het systeem berekent vervolgens het minimum-cost edit script om de voorspelde clausule te transformeren naar de gecorrigeerde clausule, waarmee de root-cause node ($v^*$) wordt geïdentificeerd.

Reward Propagation:
Zodra de root-cause node is geïdentificeerd, wordt een continue straf toegewezen aan AST-nodes op basis van hun structurele afstand tot $v^*$:

• De root-cause node ontvangt de sterkste straf ($-\alpha$).
• Voorouder-nodes op hetzelfde afhankelijkheidspad ontvangen Gaussian-decayed negatieve beloningen.
• Niet-gerelateerde takken worden gemaskeerd (nul beloning).
  Deze node-niveau straffen worden geaggregeerd naar het clause-niveau (bijv. SELECT, FROM-JOIN, WHERE) met behulp van een minimum-operator, wat ervoor zorgt dat een clausule die een beslissende fout bevat een sterke niet-positieve label erft. Dit resulteert in voorkeurstuppels $(u^+, u^-)$ met een continue marge $\delta_k$ die de ernst van de structurele fout reflecteert.

2. Clause-Level Process Reward Model (Clause-PRM)

Gebruikmakend van de geannoteerde dataset $\mathcal{D}$, finetunen de auteurs een lichtgewicht model (CAPER-9B, gebaseerd op Qwen3.5-9B) om te fungeren als een Clause-PRM.

• Doel: Het model leert de voorkeur te scoren tussen een correcte clausule-eenheid en een minder geprefereerde (fout-bevattende) clausule-eenheid, gegeven de input en de voorafgaande context.
• Training: Het optimaliseert een marge-gewogen voorkeursobjectief, waarbij paren met grotere structurele marges (meer beslissende fouten) sterkere supervisiesignalen bijdragen.

3. Policy Optimalisatie

Het getrainde Clause-PRM wordt ingezet binnen een Reinforcement Learning (RL) loop (specifiek GRPO) voor Text-to-SQL policy optimalisatie.

• Multi-Granulair Beloning: Het beloningssignaal bij elke clausule-grens combineert:
  1. Clause Reward: De score van de Clause-PRM voor de huidige clausule.
  2. Execution Reward: Een terminaal signaal dat pas bij de laatste clausule-grens wordt toegevoegd.
• Credit Assignment: In plaats van beloningen te reduceren tot een enkel traject-niveau advantage, berekent de methode een clause-level return-to-go. Tokens binnen een clausule worden geoptimaliseerd op basis van het advantage van het resterende traject na die clausule-grens, wat temporele credit assignment behoudt.

Belangrijkste Bijdragen

1. Geautomatiseerde Pipeline: Een counterfactual SQL-AST pipeline die root-cause fouten lokaliseert en clause-niveau voorkeurssupervisie construeert zonder handmatige annotatie. Deze pipeline genereerde meer dan 90.000 clause-geannoteerde voorkeurstuppels over drie datasets (BIRD, Spider, SYNSQL).
2. Clause-PRM (CAPER-9B): Een lichtgewicht model getraind om dens, clause-boundary feedback te bieden. Het overbrugt de kloof tussen ijle executie-uitkomsten en broze token-niveau supervisie.
3. Empirische Validatie: Gedemonstreerd dat clause-aligned supervisie zowel de end-to-end executie-accuratesse als het vermogen van het model om fouten te lokaliseren significant verbetert.

Experimentele Resultaten

Experimenten werden uitgevoerd op de BIRD en Spider benchmarks met Qwen3.5-9B als backbone.

• Execution Accuracy (EX):
  • De GRPO-policy getraind met CAPER-9B (clause-niveau beloning) behaalde een relatieve verbetering van 15,3% in Execution Accuracy ten opzien van GPT-5.4 op de BIRD-dataset.
  • Het presteerde beter dan zowel sparse-reward GRPO als token-level reward GRPO baselines, met name onder Majority Vote@8 instellingen, wat wijst op verbeterde semantische betrouwbaarheid in gesamplede kandidaten.
• Failure Localization:
  • Op helderstaande gefaalide trajecten behaalde CAPER-9B een 84,53% Top-1 lokalisatie-accuratesse en een 90,60% Mean Reciprocal Rank (MRR).
  • Dit presteerde significant beter dan heuristische selectors, self-debugging prompts en execution-only reward modellen. Ablatie-studies bevestigden dat zowel de topologie-bewuste propagatie als de counterfactual error constructie cruciaal waren voor deze prestatie.
• Candidate Verificatie:
  • Wanneer gebruikt als plug-and-play verifieerder om kandidaten van closed-source LLM's te herrangschikken, verbeterde CAPER-9B de executie-accuratesse consistent met +0,7 tot +1,6 punten ten opzien van Majority Vote@8, wat zijn vermogen aantoont om kandidaten te identificeren met betrouwbare tussenliggende structurele beslissingen, zelfs wanneer de generator vaststaat.

Betekenis en Claims

Het artikel claimt dat clause-aligned process supervision een schaalbare en effectieve richting is voor gestructureerde generatietaken zoals Text-to-SQL. Door executie-succes en -falen toe te schrijven aan specifieke SQL-clausule-beslissingen, biedt CAPER een praktisch mechanisme voor credit assignment dat de ijle aard van terminale labels en de semantische mismatch van token-niveau feedback vermijdt.

De auteurs benadrukken dat hun aanpak geen nieuwe parser-architecturen of complexe prompting-pipelines vereist, maar in plaats daarvan gebruikmaakt van counterfactual AST-perturbaties om semantisch gegronde supervisie af te leiden. De resultaten suggereren dat tussenliggende procesfeedback, wanneer deze is uitgelijnd met de semantische eenheden van het domein (SQL-clausules), zowel de optimalisatie van generatie-policies als de diagnostische capaciteit van reward-modellen aanzienlijk kan verbeteren.

Erkende Beperkingen:
De auteurs merken op dat de huidige implementatie SQL alleen op top-level clausule-granulariteit deelt, wat te grof kan zijn voor fouten binnen complexe predicaten of subqueries. Daarnaast introduceert de geautomatiseerde annotatie-pipeline meer computationele overhead vergeleken met sparse rewards, hoewel de resulterende data herbruikbaar is voor PRM-training. De methode is momenteel gericht op SQL-generatie in plaats van Chain-of-Thought redenering.