CAPER: Clause-Aligned Process Supervision for Text-to-SQL

Resumen Técnico: CAPER – Supervisión de Proceso Alineada con Cláusulas para Text-to-SQL

Declaración del Problema

Los sistemas Text-to-SQL tienen como objetivo traducir preguntas en lenguaje natural en consultas SQL ejecutables. Aunque los modelos de lenguaje de gran tamaño (LLMs) han avanzado en este campo mediante el enlace de esquemas y la recuperación, la tarea sigue siendo un problema de generación estructurada de alta precisión donde un solo error semántico (por ejemplo, una clave de unión incorrecta o una agregación) puede invalidar la consulta completa.

Los paradigmas de entrenamiento actuales enfrentan dos limitaciones primarias respecto a la supervisión:

1. Corrección de Ejecución a Nivel de Consulta: La evaluación estándar depende de señales de ejecución terminal (Exactitud de Ejecución, EX). Aunque es escalable, proporciona una recompensa binaria y dispersa (éxito/fallo) que no ofrece orientación sobre qué decisión intermedia causó el fallo. Esto crea un problema de asignación de crédito donde las consultas de "casi acierto" (mayormente correctas pero fallidas en una sola cláusula) son tratadas idénticamente a las consultas completamente erróneas.
2. Supervisión Densa a Nivel de Token: El paso a la retroalimentación a nivel de token no es adecuado para la semántica de SQL. Los tokens individuales (alias, comas, operadores) rara vez constituyen decisiones semánticas completas, mientras que las decisiones críticas de SQL se expresan mediante estructuras de múltiples tokens (por ejemplo, rutas de unión, predicados). La supervisión a nivel de token puede difundir el crédito entre símbolos de bajo nivel y requiere un etiquetado detallado poco fiable.

El desafío central es derivar una supervisión de proceso alineada con cláusulas a partir de resultados de nivel de consulta gruesos sin una anotación manual costosa, preservando la corrección de la ejecución como el objetivo último y permitiendo la localización de la causa raíz del error.

Metodología: El Marco CAPER

Los autores proponen CAPER (Clause-Aligned Process Supervision), un marco automatizado que construye datos de preferencia a nivel de cláusula y entrena un ligero Modelo de Recompensa de Proceso a Nivel de Cláusula (Clause-PRM). El marco opera en tres etapas:

1. Anotación Automática de Recompensas

CAPER convierte los resultados de trayectoria gruesos en recompensas finas a nivel de cláusula utilizando dos estrategias complementarias sobre una representación de Árbol de Sintaxis Abstracta (AST) de SQL:

• Inyección de Fallos (para Trayectorias Exitosas): Para trayectorias que se ejecutan correctamente, el sistema muestrea nodos editables clave en el AST y aplica mutaciones que preservan el tipo (por ejemplo, intercambiar columnas, cambiar operadores). Una mutación se retiene solo si altera el resultado de la ejecución, induciendo así un error semántico genuino. Esto crea ejemplos "negativos" donde la causa raíz es conocida.
• Intervención Contrafactual (para Trayectorias Fallidas): Para trayectorias que fallan, el sistema compara el SQL predicho contra el estándar de oro. Identifica la cláusula divergente más temprana y construye una consulta contrafactual corregida reparando el AST bajo el mismo prefijo. El sistema luego calcula el guion de edición de costo mínimo para transformar la cláusula predicha a la corregida, identificando el nodo de la causa raíz ($v^*$).

Propagación de la Recompensa:
Una vez identificado el nodo de la causa raíz, se asigna una penalización continua a los nodos del AST basada en su distancia estructural a $v^*$.

• El nodo de la causa raíz recibe la penalización más fuerte ($-\alpha$).
• Los nodos ancestros en el mismo camino de dependencia reciben recompensas negativas con decaimiento gaussiano.
• Las ramas no relacionadas se enmascaran (recompensa cero).
  Estas penalizaciones a nivel de nodo se agregan al nivel de cláusula (por ejemplo, SELECT, FROM-JOIN, WHERE) utilizando un operador de mínimo, asegurando que una cláusula que contenga el error decisivo herede una etiqueta no positiva fuerte. Esto resulta en tuplas de preferencia $(u^+, u^-)$ con un margen continuo $\delta_k$ que refleja la severidad del error estructural.

2. Modelo de Recompensa de Proceso a Nivel de Cláusula (Clause-PRM)

Utilizando el conjunto de datos anotado $\mathcal{D}$, los autores ajustan un modelo ligero (CAPER-9B, basado en Qwen3.5-9B) para actuar como un Clause-PRM.

• Objetivo: El modelo aprende a puntuar la preferencia entre una unidad de cláusula correcta y una unidad de cláusula no preferida (que contiene errores) dado el contexto de entrada y precedente.
• Entrenamiento: Optimiza un objetivo de preferencia ponderado por margen, donde los pares con márgenes estructurales mayores (errores más decisivos) contribuyen con señales de supervisión más fuertes.

3. Optimización de la Política

El Clause-PRM entrenado se despliega dentro de un bucle de Aprendizaje por Refuerzo (RL) (específicamente GRPO) para la optimización de la política de Text-to-SQL.

• Recompensa Multigranular: La señal de recompensa en cada límite de cláusula combina:
  1. Recompensa de Cláusula: La puntuación del Clause-PRM para la cláusula actual.
  2. Recompensa de Ejecución: Una señal terminal añadida solo en el límite de la cláusula final.
• Asignación de Crédito: En lugar de colapsar las recompensas en una única ventaja a nivel de trayectoria, el método calcula un retorno de cláusula hacia el futuro (return-to-go). Los tokens dentro de una cláusula se optimizan basándose en la ventaja de la trayectoria restante después de ese límite de cláusula, preservando la asignación de crédito temporal.

Principales Contribuciones

1. Pipeline Automatizado: Un pipeline de AST-SQL contrafactual que localiza errores de causa raíz y construye supervisión de preferencia a nivel de cláusula sin anotación manual. Este pipeline generó más de 90,000 tuplas de preferencia anotadas por cláusula a través de tres conjuntos de datos (BIRD, Spider, SYNSQL).
2. Clause-PRM (CAPER-9B): Un modelo ligero entrenado para proporcionar retroalimentación densa en los límites de las cláusulas. Este cierra la breancia entre los resultados de ejecución dispersos y la supervisión frágil a nivel de token.
3. Validación Empírica: Demostró que la supervisión alineada con cláusulas mejora significativamente tanto la exactitud de ejecución de extremo a extremo como la capacidad del modelo para localizar fallos.

Resultados Experimentales

Los experimentos se realizaron en los benchmarks BIRD y Spider utilizando Qwen3.5-9B como base.

• Exactitud de Ejecución (EX):
  • La política GRPO entrenada con CAPER-9B (recompensa a nivel de cláusula) logró una mejora relativa del 15.3% en la Exactitud de Ejecución sobre GPT-5.4 en el conjunto de datos BIRD.
  • Superó tanto a las baselines de GRPO de recompensa dispersa como a las de recompensa a nivel de token, particularmente bajo configuraciones de Majority Vote@8, indicando una mayor fiabilidad semántica en los candidatos muestreados.
• Localización de Fallos:
  • En trayectorias fallidas mantenidas fuera del entrenamiento, CAPER-9B logró una exactitud de localización Top-1 del 84.53% y un MRR (Mean Reciprocal Rank) de 90.60%.
  • Superó significativamente a los selectores heurísticos, los prompts de autodebugging y los modelos de recompensa basados solo en ejecución. Los estudios de ablación confirmaron que tanto la propagación consciente de la topología como la construcción de errores contrafactuales fueron críticos para este rendimiento.
• Verificación de Candidatos:
  • Al usarse como verificador plug-and-play para reordenar candidatos de LLMs de código cerrado, CAPER-9B mejoró consistentemente la exactitud de ejecución sobre Majority Vote@8 por +0.7 a +1.6 puntos, demostrando su capacidad para identificar candidatos con decisiones estructurales intermedias fiables incluso cuando el generador es fijo.

Significancia y Reivindicaciones

El artículo afirma que la supervisión de proceso alineada con cláusulas es una dirección escalable y efectiva para tareas de generación estructurada como Text-to-SQL. Al atribuir el éxito o fallo de la ejecución a decisiones de cláusulas SQL específicas, CAPER proporciona un mecanismo práctico de asignación de crédito que evita la dispersión de las etiquetas terminales y el desalineamiento semántico de la retroalimentación a nivel de token.

Los autores enfatizan que su enfoque no requiere nuevas arquitecturas de parser ni complejos pipelines de prompting, sino que aprovecha las perturbaciones contrafactuales del AST para derivar una supervisión semánticamente fundamentada. Los resultados sugieren que la retroalimentación de proceso intermedia, cuando está alineada con las unidades semánticas del dominio (cláusulas SQL), puede mejorar significativamente tanto la optimización de las políticas de generación como la capacidad de diagnóstico de los modelos de recompensa.

Limitaciones Reconocidas:
Los autores señalan que la implementación actual descompone el SQL solo a la granularidad de la cláusula de alto nivel, lo que puede ser tosco para errores dentro de predicados complejos o subconsultas. Además, el pipeline de anotación automática introduce una carga computacional mayor en comparación con las recompensas dispersas, aunque los datos resultantes son reutilizables para el entrenamiento de PRM. El método se centra actualmente en la generación de SQL en lugar de en el razonamiento de Cadena de Pensamiento (Chain-of-Thought).