CAPER: Clause-Aligned Process Supervision for Text-to-SQL

Technisches Resümee: CAPER – Klausel-ausgerichtete Prozessüberwachung für Text-to-SQL

Problemstellung

Text-to-SQL-Systeme zielen darauf ab, natürliche Sprachfragen in ausführbare SQL-Abfragen zu übersetzen. Obwohl Large Language Models (LLMs) dieses Feld durch Schema-Linking und Retrieval vorangebracht haben, bleibt die Aufgabe ein hochpräzises strukturiertes Generierungsproblem, bei dem ein einzener semantischer Fehler (z. B. ein falscher Join-Schlüssel oder eine falsche Aggregation) die gesamte Abfrage ungültig machen kann.

Aktuelle Trainingsparadigmen stehen vor zwei primären Einschränkungen hinsichtlich der Überwachung:

1. Abfragebasierte Ausführungsrichtigkeit: Die Standardbewertung stützt sich auf terminale Ausführungssignale (Execution Accuracy, EX). Dies ist zwar skalierbar, liefert aber eine spärliche, binäre Belohnung (Erfolg/Misserfolg), die keine Rückmeldung darüber gibt, welche Zwischenentscheidung zum Fehler geführt hat. Dies erzeugt ein Problem der Kreditzuweisung (Credit Assignment), bei dem „Beinahe-Treffer“ (größtenteils korrekt, aber fehlerhaft in einer Klausel) identisch mit völlig falschen Abfragen behandelt werden.
2. Token-basierte dichte Überwachung: Eine Überwachung auf Token-Ebene ist für die SQL-Semantik ungeeignet. Einzelne Token (Aliase, Kommas, Operatoren) stellen selten vollständige semantische Entscheidungen dar, während kritische SQL-Entscheidungen über Multi-Token-Strukturen (z. B. Join-Pfade, Prädikate) ausgedrückt werden. Eine Token-basierte Überwachung kann die Verantwortung auf niedrigschwelligen Symbolen zerstreuen und erfordert zudem unzuverlässige, feingranulare Labeling-Verfahren.

Die Kernherausforderung besteht darin, eine klausel-ausgerichtete Prozessüberwachung aus groben Abfrage-Ergebnissen zu ableiten, ohne kostspielige manuelle Annotationen zu benötigen, wobei die Ausführungsrichtigkeit als ultimatives Ziel erhalten bleibt und gleichzeitig eine Ursachenanalyse von Fehlern ermöglicht wird.

Methodik: Das CAPER-Framework

Die Autoren schlagen CAPER (Clause-Aligned Process Supervision) vor, ein automatisiertes Framework, das klauselbasierte Präferenzdaten konstruiert und ein leichtgewichtiges Clause-Level Process Reward Model (Clause-PRM) trainiert. Das Framework operiert in drei Phasen:

1. Automatische Belohnungsannotation

CAPER konvertiert grobe Trajektorien-Ergebnisse in feingranulare, klauselbasierte Belohnungen unter Verwendung zweier komplementärer Strategien auf einer abstrakten Syntaxbaum-Repräsentation (AST) von SQL:

• Fehlerinjektion (für erfolgreiche Trajektorien): Für Trajektorien, die korrekt ausgeführt werden, sampelt das System editierbare Schlüsselknoten im AST und wendet typenerhaltende Mutationen an (z. B. Austausch von Spalten, Änderung von Operatoren). Eine Mutation wird nur beibehalten, wenn sie das Ausführungsergebnis verändert, wodurch ein echter semantischer Fehler induziert wird. Dies erzeugt „negative“ Beispiele, bei denen die Ursache bekannt ist.
• Kontrafaktische Intervention (für fehlgeschlagene Trajektorien): Für Trajektorien, die fehlschlagen, vergleicht das System die vorhergesagte SQL-Abfrage mit dem Goldstandard. Es identifiziert die früheste divergente Klausel und konstruiert eine kontrafaktische korrigierte Abfrage, indem es den AST unter demselben Präfix repariert. Das System berechnet anschließend das minimale Edit-Skript, um die vorhergesagte Klausel in die korrigierte Klausel zu transformieren, wodurch der Ursachenknoten ($v^*$) identifiziert wird.

Belohnungspropagierung:
Sobald der Ursachenknoten identifiziert ist, wird eine kontinuierliche Strafe an AST-Knoten basierend auf ihrer strukturellen Distanz zu $v^*$ zugewiesen.

• Der Ursachenknoten erhält die stärkste Strafe ($-\alpha$).
• Ahnenknoten auf demselben Abhängigkeitspfad erhalten Gauß-degradierte negative Belohnungen.
• Unverwandte Zweige werden maskiert (Null-Belohnung).
  Diese knotenbasierten Strafen werden mittels eines Minimum-Operators auf die Klausel-Ebene (z. B. SELECT, FROM-JOIN, WHERE) aggregiert, wodurch sichergestellt wird, dass eine Klausel, die den entscheidenden Fehler enthält, eine starke nicht-positive Kennzeichnung erbt. Dies führt zu Präferenz-Tupeln $(u^+, u^-)$ mit einem kontinuierlichen Margin $\delta_k$, der die Schwere des strukturellen Fehlers widerspiegelt.

2. Clause-Level Process Reward Model (Clause-PRM)

Unter Verwendung des annotierten Datensatzes $\mathcal{D}$ trainieren die Autoren ein leichtgewichtiges Modell (CAPER-9B, basierend auf Qwen3.5-9B), um als Clause-PRM zu fungieren.

• Ziel: Das Modell lernt, die Präferenz zwischen einer korrekten Klausel-Einheit und einer dispräferierten (fehlerbehafteten) Klausel-Einheit unter Berücksichtigung des Inputs und des vorangegangenen Kontextes zu bewerten.
• Training: Es optimiert ein margin-gewichtetes Präferenzziel, bei dem Paare mit größeren strukturellen Margen (entscheidendere Fehler) stärkere Überwachungssignale liefern.

3. Policy-Optimierung

Das trainierte Clause-PRM wird innerhalb einer Reinforcement Learning (RL)-Schleife (speziell GRPO) zur Text-to-SQL Policy-Optimierung eingesetzt.

• Multi-Granularität der Belohnung: Das Belohnungssignal an jeder Klauselgrenze kombiniert:
  1. Klausel-Belohnung: Der Score des Clause-PRM für die aktuelle Klausel.
  2. Ausführungs-Belohnung: Ein terminales Signal, das erst an der finalen Klauselgrenze hinzugefügt wird.
• Kreditzuweisung: Anstatt Belohnungen in einen einzelnen Trajektorien-Vorteil zu kollabieren, berechnet die Methode einen klauselbasierten Return-to-go. Tokens innerhalb einer Klausel werden basierend auf dem Vorteil der verbleibenden Trajektorie nach dieser Klauselgrenze optimiert, was die zeitliche Kreditzuweisung bewahrt.

Wichtigste Beiträge

1. Automatisierte Pipeline: Eine kontrafaktische SQL-AST-Pipeline, die Ursachenfehler lokalisiert und klausenbasierte Präferenzüberwachung ohne manuelle Annotation konstruiert. Diese Pipeline generierte über 90.000 klausel-annotierte Präferenz-Tupel über drei Datensätze (BIRD, Spider, SYNSQL) hinweg.
2. Clause-PRM (CAPER-9B): Ein leichtgewichtiges Modell, das darauf trainiert wurde, Feedback an Klauselgrenzen bereitzustellen. Es überbrückt die Lücke zwischen spärlichen Ausführungsergebnissen und brüchiger Token-basierter Überwachung.
3. Empirische Validierung: Es wurde nachgewiesen, dass eine klausel-ausgerichtete Überwachung sowohl die End-to-End-Ausführungsgenauigkeit als auch die Fähigkeit des Modells zur Lokalisierung von Fehlern signifikant verbessert.

Experimentelle Ergebnisse

Die Experimente wurden auf den Benchmarks BIRD und Spider unter Verwendung von Qwen3.5-9B als Backbone durchgeführt.

• Ausführungsgenauigkeit (EX):
  • Die mit CAPER-9B (klauselbasierter Belohnung) trainierte GRPO-Policy erreichte eine relative Verbesserung der Ausführungsgenauigkeit von 15,3 % gegenüber GPT-5.4 auf dem BIRD-Datensatz.
  • Sie übertraf sowohl die spärlich-belohnte GRPO als auch die Token-basierte Reward-GRPO-Baseline, insbesondere unter den Majority Vote@8-Einstellungen, was auf eine verbesserte semantische Zuverlässigkeit der gesampelten Kandidaten hindeutet.
• Fehlerlokalisierung:
  • Bei gehaltenen (held-out) fehlgeschlagenen Trajektorien erreichte CAPER-9B eine Top-1-Lokalisierungsgenauigkeit von 84,53 % und einen Mean Reciprocal Rank (MRR) von 90,60 %.
  • Dies übertraf heuristische Selektoren, Self-Debugging-Prompts und rein ausführungsbasierte Reward-Modelle deutlich. Ablationsstudien bestätigten, dass sowohl die topologiebewusste Propagierung als auch die kontrafaktische Fehlerkonstruktion entscheidend für diese Leistung waren.
• Kandidatenverifizierung:
  • Als Plug-and-Play-Verifier zur Umrankung von Kandidaten aus proprietären LLMs verbesserte CAPER-9B die Ausführungsgenauigkeit gegenüber Majority Vote@8 konsistent um +0,7 bis +1,6 Punkte, was seine Fähigkeit demonstriert, Kandidaten mit zuverlässigen intermediären strukturellen Entscheidungen zu identifizieren, selbst wenn der Generator fixiert ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass klausel-ausgerichtete Prozessüberwachung eine skalierbare und effektive Richtung für strukturierte Generierungsaufgaben wie Text-to-SQL ist. Durch die Zuschreibung von Ausführungs Erfolg und Misserfolg zu spezifischen SQL-Klausel-Entscheidungen bietet CAPER einen praktischen Mechanismus zur Kreditzuweisung, der die Spärlichkeit terminaler Labels und die semantische Fehlausrichtung von Token-basierter Rückmeldung vermeidet.

Die Autoren betonen, dass ihr Ansatz keine neuen Parser-Architekturen oder komplexen Prompting-Pipelines erfordert, sondern stative kontrafaktische AST-Perturbationen nutzt, um semantisch fundierte Überwachung abzuleiten. Die Ergebnisse legen nahe, dass intermediäres Prozess-Feedback, wenn es an den semantischen Einheiten der Domäne (SQL-Klauseln) ausgerichtet ist, sowohl die Optimierung von Generierungspolicies als auch die diagnostische Fähigkeit von Reward-Modellen erheblich verbessern kann.

Anerkannte Einschränkungen:
Die Autoren merken an, dass die aktuelle Implementierung SQL nur auf der obersten Klausel-Granularität zerlegt, was für Fehler innerhalb komplexer Prädikate oder Subqueries zu grob sein kann. Zudem führt die automatisierte Annotations-Pipeline einen höheren Rechenaufwand im Vergleich zu spärlichen Belohnungen ein, wenngleich die resultierenden Daten für das Training von PRMs wiederverwendbar sind. Die Methode konzentriert sich derzeit auf die SQL-Generierung und nicht auf Chain-of-Thought-Reasoning.