🤖 AI

LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting

Este artículo propone un marco novedoso para la generación de Text-to-SQL basado en LLM que combina un pipeline de Refinamiento Auto-dirigido de Agente Único con Votación por Ensamble (SSEV) y un sistema colaborativo multiagente (ReCAPAgent-SQL) para lograr una precisión de ejecución competitiva en benchmarks como Spider y BIRD, al tiempo que aborda eficazmente las complejidades de las bases de datos empresariales reales sin depender de datos de verdad fundamental.

Autores originales: Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

Publicado 2026-05-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres hacer una pregunta a una biblioteca masiva de información (una base de datos), pero los bibliotecarios solo hablan un lenguaje muy estricto y robótico llamado SQL. Tú hablas inglés natural. El objetivo de esta investigación es construir un traductor que pueda convertir tus preguntas en inglés en comandos SQL perfectos para que la biblioteca pueda responderte.

Los autores de este artículo, Yu-Jie Yang y sus colegas, abordaron el problema de que estos traductores a menudo se confunden, cometen errores o no entienden la disposición de la biblioteca. Construyeron dos sistemas principales para solucionarlo: un enfoque de "Equipo de Expertos" y un enfoque de "Equipo de Agentes Especializados".

Así es como lo hicieron, utilizando analogías simples:

1. El Problema: El Traductor "Talla Única" Falla

Imagina pedirle a una sola persona que traduzca un documento legal complejo a otro idioma. Podría pasar por alto un matiz, equivocarse con un nombre o usar la gramática incorrecta. En el mundo de las bases de datos, esto sucede cuando un único modelo de IA intenta adivinar el código SQL. A menudo se pierde en el "esquema" (el mapa de la biblioteca) o malinterpreta tu pregunta.

2. La Primera Solución: El "Equipo de Expertos" (Pipeline SSEV)

Los autores crearon un sistema llamado SSEV (Refinamiento Auto-Iterativo con Votación de Conjunto de Agente Único). Piensa en esto no como un solo traductor, sino como un panel de cinco expertos diferentes sentados alrededor de una mesa.

La Fase de Borrador (PreSQL): El panel escribe sus suposiciones iniciales para la respuesta.
La Verificación del Mapa (Enlace de Esquema): Se dan cuenta de que están mirando un mapa gigante de la biblioteca. En lugar de intentar leer todo el mapa, usan sus primeras suposiciones para resaltar solo los pasillos y estantes relevantes. Esto elimina el ruido.
El Segundo Borrador (PostSQL): Con el mapa reducido, escriben un segundo borrador más limpio y enfocado.
El Bucle de "Autocorrección": Si un borrador tiene un error tipográfico o no funciona cuando intentan ejecutarlo, no lo descartan simplemente. Observan el mensaje de error, lo corrigen y lo intentan de nuevo. Es como un escritor editando su propio trabajo hasta que tiene sentido.
El Sistema de Votación (WMA): Este es el ingrediente secreto. En lugar de simplemente tomar una votación donde todos obtienen un punto igual, utilizan un Algoritmo de Mayoría Ponderada.
- Imagina un programa de televisión donde los jueces tienen diferentes niveles de confianza. Si el "Juez A" ha tenido razón 10 veces seguidas, su voto cuenta más. Si el "Juez B" sigue cometiendo errores, su voto cuenta menos.
- El sistema actualiza constantemente estas "puntuaciones de confianza" basándose en quién obtuvo la respuesta correcta en el pasado. Con el tiempo, el sistema aprende a escuchar principalmente al experto más inteligente en la sala.

El Resultado: En pruebas estándar (como Spider 1.0 y BIRD), este enfoque de "Equipo de Expertos" obtuvo la respuesta correcta aproximadamente el 86% de las veces, lo cual es mucho mejor que cualquier experto individual trabajando solo.

3. La Segunda Solución: El "Equipo de Agentes Especializados" (ReCAPAgent-SQL)

Para problemas aún más difíciles (como el nuevo conjunto de datos Spider 2.0, que imita bases de datos corporativas reales y desordenadas), un simple panel no es suficiente. Los autores construyeron ReCAPAgent-SQL, que es como contratar un grupo de trabajo especializado donde cada miembro tiene un trabajo específico.

El Planificador: Divide tu gran pregunta en pasos pequeños y lógicos (como un gerente de proyectos).
El Recuperador: Sale a buscar manuales o documentación adicionales si el equipo no conoce una regla específica (como un investigador).
El Crítico: Revisa el trabajo y dice: "Espera, esa lógica no tiene sentido", o "Te has saltado un paso".
El Enlazador de Esquema: Maneja específicamente el mapa de la biblioteca, asegurándose de que estén mirando las tablas y columnas correctas.
El Autorefino: Si el código falla, este agente lo repara.
El Validador: El inspector final de control de calidad que verifica: "¿Esta respuesta realmente resuelve el problema del usuario?".

Estos agentes se comunican entre sí en un bucle. Planifican, actúan, reciben críticas, corrigen el error y lo intentan de nuevo hasta que lo hacen bien.

El Resultado: Cuando probaron esto en las preguntas más difíciles y realistas (Spider 2.0-lite), tomaron un sistema base que solo obtenía el 6% de las respuestas correctas y lo elevaron al 31%. Eso es un salto masivo en un campo donde el progreso suele medirse en pequeñas fracciones.

4. Por Qué Esto Importa

El artículo afirma que, al combinar la autocorrección (arreglar tus propios errores), la votación inteligente (escuchar a los mejores expertos) y los agentes especializados (tener un equipo con roles específicos), podemos construir sistemas que manejen preguntas de datos complejas y del mundo real mucho mejor que antes.

No solo adivinaron; probaron estos métodos en puntos de referencia estándar y demostraron que:

La Votación Ponderada funciona mejor que la votación de mayoría simple porque se adapta a quién es realmente bueno en la tarea.
El Autorefino ayuda a corregir errores que ocurren cuando la base de datos dice "No, ese comando es incorrecto".
Los Sistemas Multiagente son necesarios para las bases de datos desordenadas y complicadas que se encuentran en empresas reales.

En resumen, construyeron un traductor más inteligente y resistente que aprende de sus errores y escucha a sus mejores expertos, haciendo que sea mucho más fácil para las personas comunes hacer preguntas complejas a bases de datos masivas.

Resumen Técnico: Generación de SQL Basada en LLM con Auto-Refinamiento y Votación Mayoritaria Ponderada Adaptativa

1. Declaración del Problema

La generación de Texto-a-SQL tiene como objetivo reducir la barrera para el análisis de datos permitiendo a los usuarios consultar bases de datos mediante lenguaje natural. A pesar de los avances en los Modelos de Lenguaje Grandes (LLM), generar SQL preciso sigue siendo un desafío debido a:

Ambigüedad: Las consultas en lenguaje natural a menudo carecen de una intención precisa.
Vinculación de Esquema: Dificultad para mapear correctamente los tokens del lenguaje natural a tablas y columnas específicas de la base de datos, particularmente en lo que respecta a uniones implícitas y referencias entre tablas.
Generalización: Rendimiento deficiente en diversos dialectos SQL (por ejemplo, BigQuery, Snowflake) y estilos de consulta encontrados en entornos empresariales reales.
Falta de Robustez: Las pipelines existentes a menudo dependen de un único modelo para la salida final, careciendo de mecanismos de retroalimentación adaptativa, integración de conocimiento externo y estrategias para aprender de errores de ejecución previos.
Complejidad: Los escenarios empresariales reales (por ejemplo, Spider 2.0) requieren razonamiento multi-paso, interacción dinámica con el entorno y manejo de restricciones de contexto largo, donde el prompting tradicional de un solo turno falla (a menudo logrando <10% de precisión).

2. Metodología

El artículo propone un enfoque de dos fases, que evoluciona desde una pipeline de agente único hasta un marco de múltiples agentes, aprovechando tanto la Votación Mayoritaria Ponderada (WMA) como el Auto-Refinamiento Guiado por Ejecución.

Fase 1: Auto-Refinamiento de Agente Único con Votación de Conjunto (SSEV)

Construida sobre el marco PET-SQL, la pipeline SSEV opera sin datos de verdad fundamental durante la inferencia y consta de dos etapas principales:

Generación de PreSQL y Vinculación de Esquema:
- Múltiples LLM (expertos) generan candidatos preliminares de SQL (PreSQL) utilizando prompts de pocos ejemplos que contienen el DDL completo de la base de datos, referencias a valores de celda y reglas de optimización.
- Vinculación de Esquema: Las cadenas PreSQL generadas se analizan para extraer las tablas y columnas referenciadas. Los elementos de esquema irrelevantes se podan para crear un prompt enfocado e informado por el esquema para la siguiente etapa.
Generación de PostSQL y Refinamiento:
- El mismo conjunto de LLM genera candidatos de SQL refinados (PostSQL) utilizando el esquema podado.
- Auto-Refinamiento Guiado por Ejecución: Si una consulta falla (error de sintaxis o resultado vacío), se somete a una reescritura iterativa. El modelo se vuelve a solicitar con el contexto original, el SQL fallido y el mensaje de error específico. Este bucle continúa hasta un número máximo de iteraciones ( $N$ ).
Votación de Conjunto Adaptativa:
- En lugar de una votación mayoritaria simple, el sistema emplea el Algoritmo Mayoritario Ponderado (WMA) y su variante aleatorizada (RWMA).
- Mecanismo: A cada experto (LLM) se le asigna un peso ( $w_i$ ). Los pesos se actualizan basándose en el rendimiento histórico (corrección o éxito de ejecución). Las predicciones incorrectas resultan en una penalización multiplicativa ( $1-\epsilon$ ).
- Selección: El SQL final se selecciona basándose en el peso total más alto (WMA) o se muestrea probabilísticamente según los pesos (RWMA). Esto permite que el sistema priorice dinámicamente a los expertos más confiables sin requerir etiquetas de verdad fundamental en el momento de la inferencia.

Fase 2: ReCAPAgent-SQL (Refinamiento-Crítica-Acción-Planificación)

Para abordar la complejidad de las bases de datos empresariales (Spider 2.0), los autores proponen un marco de múltiples agentes que encapsula los conocimientos centrales de SSEV en agentes especializados y colaborativos:

PlannerAgent: Descompone la consulta del usuario en un plan de razonamiento paso a paso (formato JSON) antes de generar SQL.
RetrieverAgent: Utiliza la Generación Aumentada por Recuperación (RAG) para obtener conocimiento de dominio externo y sintaxis específica de dialecto SQL (por ejemplo, BigQuery) desde una base de datos vectorial.
CritiqueAgent: Evalúa tanto el plan de razonamiento como el SQL generado en cuanto a coherencia lógica, cumplimiento del dialecto y consistencia con el plan. Activa revisiones si se detectan fallos.
SchemaLinkerAgent: Filtra y formatea dinámicamente la información del esquema cuando ocurren errores de ejecución (por ejemplo, TableNotFound), asegurando que el prompt contenga solo el contexto relevante.
ActionAgent: Predice la siguiente acción ejecutable (generación de SQL, comando Bash o terminación) basándose en el estado actual y la retroalimentación.
SelfRefinerAgent: Gestiona el bucle de corrección iterativa para consultas SQL fallidas, integrando mensajes de error y contexto de esquema.
ValidatorAgent: Realiza la garantía de calidad final, verificando si el resultado coincide con la intención del usuario, no está vacío y no contiene columnas redundantes.

El marco opera en un bucle Planificar-Ejecutar-Criticar-Refinar-Validar, terminando solo tras una validación exitosa o alcanzando un límite máximo de pasos.

3. Contribuciones Clave

Pipeline SSEV: Una pipeline de agente único novedosa que integra la generación PreSQL/PostSQL, el auto-refinamiento guiado por ejecución y la votación adaptativa WMA/RWMA, logrando un rendimiento sólido en Spider 1.0 y BIRD sin supervisión de verdad fundamental.
ReCAPAgent-SQL: Un marco integral de múltiples agentes diseñado para escenarios empresariales complejos y reales. Integra sistemáticamente la planificación, la recuperación de conocimiento externo, la vinculación dinámica de esquemas y la crítica/refinamiento iterativo.
Mecanismos de Votación Adaptativa: La aplicación de WMA y RWMA a Texto-a-SQL, demostrando que ponderar dinámicamente a los expertos LLM basándose en el rendimiento histórico supera significativamente a los métodos de conjunto estáticos y las líneas base de modelos únicos.
Refinamiento Guiado por Ejecución: Un bucle de auto-refinamiento ligero que corrige errores de sintaxis y ejecución sin depender de módulos externos complejos de categorización de errores.

4. Resultados Experimentales

Los experimentos se realizaron en Spider 1.0 (Desarrollo/Prueba), BIRD (Desarrollo) y las primeras 100 consultas de Spider 2.0-lite.

Rendimiento de SSEV (Spider 1.0 y BIRD)

Desarrollo de Spider 1.0: La mejor configuración (Etapa 6.1: WMA + Auto-Refinamiento + Vinculación de Esquema) logró una precisión de ejecución del 85.5%, superando a las líneas base individuales (por ejemplo, Gemini-2.5-Pro al 84.9%).
Prueba de Spider 1.0: La misma configuración logró una precisión de ejecución del 86.4%.
Desarrollo de BIRD: El marco logró una precisión de ejecución del 66.3%, acercándose al rendimiento del mejor modelo individual (Gemini-2.5-Pro al 66.56%).
Estudios de Ablación:
- La vinculación de esquema proporcionó ganancias modestas pero consistentes, particularmente para modelos más débiles.
- El auto-refinamiento guiado por ejecución mostró mejoras significativas en el complejo conjunto de datos BIRD (hasta +2.28% para modelos específicos) pero resultados mixtos en Spider 1.0.
- WMA demostró consistentemente tasas de error y arrepentimiento más bajas en comparación con RWMA y la votación ingenua, convergiendo efectivamente en los expertos más fuertes.

Rendimiento de ReCAPAgent-SQL (Spider 2.0-lite)

Comparación con Línea Base: El Spider-Agent oficial que utiliza GPT-4.1 logró solo un 6% de precisión en las primeras 100 consultas.
Mejora con ReCAPAgent-SQL: Integrar ReCAPAgent-SQL con GPT-4.1 aumentó la precisión al 31% (una ganancia absoluta del 25%).
Grok-3-beta: ReCAPAgent-SQL mejoró el rendimiento de Grok-3-beta del 23% al 29%.
Impacto de la Votación: WMA logró la precisión total más alta (31%), mientras que RWMA mostró una ligera ventaja en consultas "Difíciles" (12.5% frente a 8.3%), indicando una compensación entre la precisión general y la robustez en instancias difíciles.

5. Significado y Afirmaciones

El artículo afirma que su trabajo facilita la implementación de sistemas escalables de Texto-a-SQL en entornos prácticos mediante:

Cerrar la Brecha: Pasar de puntos de referencia sintéticos a entornos empresariales realistas y sensibles al dialecto (Spider 2.0).
Costo y Eficiencia: Apoyar la toma de decisiones basada en datos con menor costo y mayor eficiencia al reducir la dependencia de la experiencia especializada en SQL.
Robustez: Demostrar que combinar el auto-refinamiento guiado por ejecución con la votación de conjunto adaptativa (WMA) crea sistemas robustos ante la ambigüedad del esquema y los errores de ejecución.
Fundamentación Teórica: Proporcionar un método fundamentado teóricamente (WMA) que logra un rendimiento cercano al de expertos con bajo arrepentimiento, incluso sin supervisión de verdad fundamental durante la inferencia.

Los autores concluyen que la integración del refinamiento, el razonamiento de esquema y la votación adaptativa es crítica para avanzar en la fiabilidad de los sistemas de Texto-a-SQL en escenarios complejos y reales.