🤖 machine learning

SQLConductor: Search-to-Policy Learning for Step-wise Text-to-SQL Orchestration

El artículo presenta SQLConductor, un marco de orquestación paso a paso que emplea el Aprendizaje de Búsqueda a Política para entrenar un modelo de política para la selección dinámica de subtareas SQL basadas en retroalimentación intermedia, logrando así una precisión de ejecución y generalización superiores en evaluaciones complejas de Text-to-SQL en comparación con los pipelines fijos y el entrenamiento directo del backbone.

Autores originales: Yizhang Zhu, Zhangyang Peng, Boyan Li, Yuyu Luo

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yizhang Zhu, Zhangyang Peng, Boyan Li, Yuyu Luo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando obtener una respuesta muy específica de una biblioteca de información masiva y desordenada (una base de datos) haciendo una pregunta en lenguaje natural. Este es el problema del "Text-to-SQL": convertir una pregunta humana en un comando informático (SQL) que la biblioteca pueda entender.

Durante mucho tiempo, las computadoras intentaron resolver esto siguiendo una receta estricta y preescrita. Sin importar lo que preguntaras, la computadora tenía que seguir los mismos pasos: Paso 1, Paso 2, Paso 3, Paso 4. Si preguntabas algo sencillo como "¿Cuál es la capital de Francia?", la computadora aún tenía que pasar por los cuatro pasos, perdiendo tiempo y, a veces, confundiéndose. Si hacías una pregunta difícil y la computadora cometía un error en el Paso 2, seguía avanzando con ese error, lo que llevaba a una respuesta incorrecta.

SQLConductor es un nuevo sistema que cambia las reglas del juego. En lugar de seguir una receta rígida, actúa como un director de proyecto inteligente o un director de orquesta que decide el siguiente movimiento basándose en lo que está sucediendo en ese momento.

Así es como funciona, utilizando analogías sencillas:

1. La Caja de Herramientas (El Espacio de Acción)

Imagina que la computadora tiene una caja de herramientas con diferentes herramientas especializadas:

El Rompedor (The Breaker): Divide una pregunta grande en partes más pequeñas.
El Buscador (The Finder): Busca números o nombres específicos en la base de datos.
El Filtro (The Filter): Elimina la información irrelevante.
El Escritor (The Writer): Escribe el comando informático real.
El Editor (The Editor): Corrige los errores en el comando.
El Finalizador (The Finisher): Dice: "Hemos terminado, aquí está la respuesta".

Los sistemas antiguos obligaban a la computadora a elegir las herramientas en un orden específico (por ejemplo, Rompedor $\to$ Buscador $\to$ Escritor $\to$ Finalizador). SQLConductor permite al "Director" elegir la herramienta que se necesita en este preciso instante. Si el Buscador se da cuenta de que necesita más información, el Director puede llamar de nuevo al Rompedor. Si el Escritor comete un error, el Director puede llamar al Editor inmediatamente.

2. El Campo de Entrenamiento (Aprendizaje de Búsqueda a Política)

¿Cómo aprende el Director a tomar estas decisiones inteligentes? No se limita a leer un manual; pasa por un riguroso campo de entrenamiento llamado Aprendizaje de Búsqueda a Política (Search-to-Policy Learning).

La Simulación (MCTS): Imagina a un jugador de ajedrez practicando contra una computadora. La computadora intenta miles de caminos de juego (flujos de trabajo) diferentes para ver cuáles ganan. SQLConductor hace lo mismo: simula millones de formas diferentes de resolver una pregunta, probando distintas combinaciones de herramientas.
La Verificación de Estabilidad: Que un camino funcione una vez no significa que sea una buena estrategia; podría ser suerte. El sistema observa qué caminos funcionan de manera consistente. Es como un entrenador que dice: "No copies solo la vez que ganaste por suerte; copia la estrategia que gana 9 de cada 10 veces".
El "Currículo" (Problemas más difíciles): Una vez que el Director se vuelve bueno en problemas fáciles, el campo de entrenamiento le lanza preguntas más difíciles y complicadas. El sistema aprende específicamente cómo manejar los casos difíciles donde suele fallar.

3. El Resultado: Un Trabajador Flexible y Eficiente

Una vez entrenado, el SQLConductor se despliega para resolver preguntas reales.

Adaptabilidad: Si haces una pregunta sencilla, el Director puede decir: "No necesito al Editor ni al Rompedor; solo usaré al Escritor y al Finalizador". Esto ahorra tiempo. Si haces una pregunta compleja, sabe que debe volver atrás, reunir más evidencia y refinar la respuesta.
Eficiencia: Debido a que solo utiliza las herramientas que realmente necesita, utiliza menos potencia de cómputo y cuesta menos dinero que los sistemas que obligan a cada pregunta a pasar por una canalización larga y fija.
Precisión: En las pruebas, este sistema obtuvo la respuesta correcta con más frecuencia que los métodos anteriores, incluso cuando las preguntas eran muy difíciles o las bases de datos estaban desordenadas.

El Panorama General

Piensa en los antiguos sistemas de Text-to-SQL como una cinta transportadora en una fábrica: cada artículo pasa por las mismas máquinas, lo necesite o no. Si una pieza se rompe en la cinta, toda la línea sigue moviéndose, produciendo productos defectuosos.

SQLConductor es como un artesano experto en un taller. Observa el artículo (la pregunta), decide qué herramientas tomar, intenta un paso, comprueba el resultado y luego decide qué hacer a continuación. Si comete un error, lo corrige inmediatamente. Si el trabajo es sencillo, lo termina rápidamente. Si es complejo, se toma el tiempo necesario para hacerlo bien.

El artículo afirma que, al enseñar a una computadora a actuar como este artesano experto —en lugar que como una máquina rígida—, puede resolver preguntas de bases de datos con mayor precisión, mayor eficiencia y con mejor adaptabilidad a diferentes tipos de problemas.

Resumen Técnico: SQLConductor

1. Declaración del Problema

El Text-to-SQL en el mundo real sigue siendo un desafío debido a la necesidad de un razonamiento coordinado sobre entornos de bases de datos complejos y heterogéneos. Los sistemas existentes generalmente se dividen en dos categorías, ambas de las cuales exhiben limitaciones en su adaptabilidad:

Pipelines Fijos: Estos dependen de órdenes de etapas predefinidas y rígidas (por ejemplo, vinculación de esquema $\to$ recuperación de valores $\to$ generación $\to$ revisión). Aunque son estructurados, no pueden reconsiderar decisiones previas basadas en retroalimentación intermedia o errores de ejecución, lo que conduce a la propagación de errores.
Orquestación de Planificación-y-Ejecución (Plan-then-Execute): Estos métodos generan un plan de flujo de trabajo completo antes de la ejecución. Aunque son más flexibles que los pipelines fijos, siguen comprometiéndose con una secuencia estática una vez que comienza la ejecución, lo que impide que el sistema se adapte a los artefactos intermedios o a la retroalimentación de la ejecución durante el proceso de resolución.

El desafío central es aprender una política de orquestación paso a paso que pueda seleccionar dinámicamente la siguiente acción basándose en el contexto de resolución actual y la evidencia intermedia, sin depender de datos de flujo de trabajo creados por humanos ni incurrir en costos prohibitivos de búsqueda en línea durante la inferencia.

2. Metodología: SQLConductor

SQLConductor es un marco de aprendizaje de orquestación paso a paso que separa la organización del proceso (orquestación) de la ejecución de subtareas (razonamiento). Emplea un paradigma de Aprendizaje de Búsqueda-a-Política (Search-to-Policy Learning), transformando una amplia búsqueda de flujo de trabajo fuera de línea en una política desplegable para una inferencia eficiente.

2.1 Espacio de Acción

El sistema define un espacio de acción modular $\mathcal{A}$ que comprende siete módulos especializados, invocados por Modelos de Lenguaje Grande (LLMs) congelados:

Descomposición de la Pregunta ( $a_{dec}$ ): Reescribe preguntas complejas en requisitos detallados.
Extracción de Valores Relevantes ( $a_{val}$ ): Identifica valores de condición para los predicados SQL.
Identificación de Operaciones ( $a_{op}$ ): Registra las operaciones SQL requeridas (por ejemplo, agregación, ordenamiento).
Poda de Esquema ( $a_{sch}$ ): Selecciona tablas y columnas relevantes.
Generación de Consultas SQL ( $a_{gen}$ ): Sintetiza un candidato de SQL.
Refinamiento de Consultas SQL ( $a_{ref}$ ): Corrige errores de sintaxis o de ejecución.
Terminar y Salida ( $a_{term}$ ): Finaliza el flujo de trabajo y devuelve el SQL final.

2.2 Aprendizaje de Búsqueda-a-Política

El proceso de entrenamiento consta de una fase fuera de línea y una fase de despliegue en línea.

Fase 1: Entrenamiento de Búsqueda-a-Política Fuera de Línea

Exploración de Flujo de Trabajo basada en MCTS:
- Para cada instancia de entrenamiento, SQLConductor realiza una Búsqueda de Árbol de Monte Carlo (MCTS) sobre el espacio de acción.
- Los nodos representan estados de orquestación; las aristas representan selecciones de acciones.
- La búsqueda explora diversas composiciones de acciones y profundidades, guiada por recompensas de consistencia de ejecución (que miden si el SQL generado produce resultados consistentes a través de múltiples muestras).
- Esto genera un conjunto diverso de trayectorias candidatas $\mathcal{X}(q, D)$ .
Curaduría de Supervisión de Flujo de Trabajo:
- Extracción de Esqueletos: Las trayectorias se agrupan por sus secuencias de acciones (esqueletos de flujo de trabajo).
- Estimación de Estabilidad: Dado que el espacio de búsqueda es combinatorio y ruidoso, SQLConductor estima la estabilidad de cada flujo de trabajo usando la regla de sucesión de Laplace: $\hat{p}_\tau = \frac{s_\tau + 1}{n_\tau + 2}$ , donde $s_\tau$ es el conteo de ejecuciones exitosas y $n_\tau$ es el conteo total.
- Selección: Se seleccionan los top- $k$ flujos de trabajo con los puntajes de estabilidad más altos. Se toma una muestra de una trayectoria exitosa de cada grupo como representante.
- Aumento de Razonamiento: Un LLM desplegado genera razonamiento a nivel de paso ( $e_t$ ) explicando por qué se eligió una acción específica dado el contexto actual, creando una trayectoria aumentada $\bar{\xi}$ .
Ajuste Fino Supervisado (SFT) ponderado por Estabilidad:
- El modelo de política se entrena en las trayectorias aumentadas curadas.
- Enmascaramiento: La función de pérdida enmascara los tokens <results> (salidas de acción) para evitar que la política aprenda a predecir las salidas de acción, enfocándose en cambio en las decisiones de orquestación.
- Ponderación: Las trayectorias se ponderan por sus puntajes de estabilidad ( $\hat{p}_\tau$ ) para priorizar patrones de orquestación robustos mientras se preserva la diversidad.
Aprendizaje por Refuerzo de Currículo (RL):
- Para manejar consultas difíciles donde las trayectorias exitosas son escasas, el sistema construye un conjunto de currículo de instancias desafiantes (baja razón de éxito de MCTS).
- Usando Optimización de Política Relativa de Grupo (GRPO), la política realiza auto-rollouts en estos casos difíciles.
- Recompensas: La función de recompensa combina Ejecutabilidad (SQL válido) y Calidad del Resultado (puntuación F1 de ejecución contra la verdad de campo/ground truth), fomentando que la política aprenda estrategias de recuperación para casos complejos.

Fase 2: Despliegue en Línea

El modelo de política entrenado coordina los módulos de acción congelados paso a paso.
En cada paso, la política genera razonamiento y selecciona la siguiente acción basándose en el estado actual (evidencia acumulada y retroalimentación).
El flujo de trabajo se construye dinámicamente durante la ejecución, adaptándose a las demandas específicas de la consulta.

3. Contribuciones Clave

Marco de Orquestación Paso a Paso: SQLConductor introduce un marco que desacopla la organización del proceso de la ejecución de subtareas, permitiendo flujos de trabajo específicos para cada consulta con profundidades y composiciones de módulos adaptativas, a diferencia de los pipelines fijos o los enfoques de planificación-y-ejecución.
Aprendizaje de Búsqueda-a-Política: El artículo propone un mecanismo para entrenar una política de orquestación adaptativa sin datos de flujo de trabajo creados por humanos. Utiliza MCTS para la exploración, estimación de estabilidad para la curaduría y una combinación de SFT ponderado por estabilidad y RL de currículo para el entrenamiento.
Desempeño Empírico y Generalización:
- BIRD-Dev: SQLConductor logra un 73.2% de Exactitud de Ejecución (EX) en el benchmark BIRD-Dev, superando a métodos previos que entrenan directamente backbones de Text-to-SQL comparables o más grandes.
- Eficiencia de Parámetros: Logra estos resultados entrenando solo una política de orquestación compacta (por ejemplo, 8B de parámetros) para coordinar modelos de acción más grandes y congelados (por ejemplo, 32B), demostrando una eficiencia de exactitud-por-parámetro entrenado superior.
- Generalización: El modelo muestra una fuerte generalización en conjuntos de datos fuera de la distribución (OOD) (Spider-Test, KaggleDBQA, ScienceBenchmark) sin re-entrenamiento específico del conjunto de datos.
- Eficiencia: Reduce significativamente el uso de tokens y los costos de API en inferencia (aproximadamente 8 veces más barato que baselines como CHESS) manteniendo una mayor exactitud.

4. Significado y Reclamaciones

El artículo afirma que la orquestación aprendida es más eficiente en parámetros y efectiva que el entrenamiento adicional de un modelo de Text-to-SQL monolítico.

Adaptabilidad vs. Fuerza Bruta: Los resultados demuestran que las ganancias de rendimiento no provienen simplemente de aumentar la longitud del flujo de trabajo o el tamaño del modelo, sino de la capacidad de la política para asignar el esfuerzo de orquestación de manera adaptativa. La política entrenada asigna más pasos a consultas desafiantes mientras mantiene las consultas simples eficientes.
Robustez: La curaduría ponderada por estabilidad asegura que la política aprenda patrones robustos en lugar de éxitos accidentales, permitiéndole manejar consultas complejas, ruidosas y especializadas en dominios de manera efectiva.
Escalabilidad: Al separar la política de orquestación de los módulos de acción, el marco permite la integración de modelos de acción más grandes o especializados sin reentrenar todo el sistema, ofreciendo un camino escalable para tareas compleas de Text-to-SQL.

En resumen, SQLConductor aborda la rigidez de los sistemas de Text-to-SQL existentes mediante el aprendizaje de una política de orquestación dinámica paso a paso que se adapta a la evidencia intermedia, logrando un desempeño de vanguardia con costos computacionales significativamente menores.