AmbiSQL: Interactive Ambiguity Detection and Resolution for Text-to-SQL

Resumen Técnico: AmbiSQL

1. El Problema

Los sistemas de conversión de Texto a SQL (Text-to-SQL) basados en Modelos de Lenguaje Grande (LLM) han mostrado avances significativos, pero siguen siendo propensos a errores. La causa principal de estos fallos es la ambigüedad en las consultas de los usuarios.

• Naturaleza del problema: Las consultas en lenguaje natural a menudo carecen de precisión, lo que lleva a que el LLM malinterprete la intención del usuario. Esto resulta en consultas SQL sintácticamente válidas pero semánticamente incorrectas.
• Limitaciones de enfoques anteriores:
  • Los métodos totalmente automatizados resuelven ambigüedades sin feedback explícito, alejándose de la intención real del usuario.
  • Los enfoques existentes se centran principalmente en errores de vinculación de esquemas (schema-linking) y ambigüedades de datos, ignorando ambigüedades que afectan al razonamiento del LLM (ej. interpretaciones temporales o de conocimiento externo).
  • La falta de una taxonomía exhaustiva lleva a la generación excesiva de candidatos, aumentando la sobrecarga computacional.

2. Metodología

AmbiSQL es un sistema interactivo que integra la detección automática de ambigüedades con la clarificación guiada por el usuario. Su arquitectura se basa en dos pilares fundamentales:

A. Taxonomía de Ambigüedad de Alta Granularidad
Los autores proponen una clasificación detallada de las ambigüedades en dos dimensiones principales:

1. Ambigüedad de origen de Base de Datos (Database-sourced):
   • AmbiSchema: Referencias poco claras a tablas o columnas (ej. "usuario más antiguo" ¿por edad o fecha de registro?).
   • AmbiValue: Valores que no coinciden con los almacenados en la BD (ej. "NYC" vs "New York City").
   • AmbiIntent: Falta de términos que clarifiquen la operación SQL deseada (ordenar, agrupar o filtrar).
2. Ambigüedad de origen del LLM (LLM-sourced):
   • AmbiSource: Incertidumbre sobre si los datos deben venir de la BD o inferirse por el LLM.
   • AmbiContext: Falta de contexto para el razonamiento (ej. tipo de cambio sin especificar moneda o fecha).
   • AmbiFallacy: Suposiciones de conocimiento que contradicen hechos reales o datos de la BD.
   • AmbiRef: Restricciones espaciales o temporales no especificadas (ej. "después de la Guerra de Vietnam" ¿fecha exacta o año?).

B. Pipeline de Detección y Resolución (Dos Etapas)
El sistema opera mediante un flujo de dos etapas:

1. Identificación de Ambigüedad:
   • Utiliza LLMs pre-entrenados con aprendizaje en contexto (in-context learning) para detectar frases ambiguas en la consulta original.
   • Clasifica cada frase según la taxonomía propuesta utilizando prompts diseñados con definiciones explícitas y ejemplos.
   • Genera Preguntas de Clarificación (CQ) dirigidas, presentadas al usuario como opciones de selección múltiple intuitivas (basadas en fragmentos de la BD o conocimiento contextual).
2. Refinamiento Iterativo:
   • Las respuestas del usuario se procesan mediante un módulo de actualización de preferencias, que almacena las aclaraciones en una estructura de árbol organizada por la taxonomía.
   • El módulo de Refinamiento de Consultas reescribe la consulta original integrando las aclaraciones y cualquier restricción adicional que el usuario pueda añadir.
   • El sistema vuelve a ejecutar la detección de ambigüedades en la consulta refinada para asegurar que no se introdujeron nuevos errores, repitiendo el ciclo hasta que no queden ambigüedades.
   • Finalmente, la consulta despejada se envía al backend Text-to-SQL (integrado con XiYan-SQL) para generar la consulta SQL final.

3. Contribuciones Clave

• Sistema Interactivo AmbiSQL: Una demostración funcional que integra la detección automática de ambigüedades con la intervención humana para resolverlas.
• Taxonomía Exhaustiva: La primera clasificación sistemática que cubre tanto ambigüedades de mapeo de esquemas como aquellas que afectan al razonamiento del LLM y al conocimiento externo.
• Mecanismo de Clarificación Eficiente: Uso de preguntas de opción múltiple generadas dinámicamente para minimizar la carga cognitiva del usuario, en lugar de pedirles que reescriban la consulta manualmente.
• Integración con Backend Comercial: Demostración integrada con XiYan-SQL, un sistema Text-to-SQL comercial, validando la utilidad en escenarios reales.
• Dataset de Evaluación: Un conjunto de 40 consultas ambiguas curadas de los benchmarks BIRD y TAG, con anotaciones humanas de intención y categorías de ambigüedad.

4. Resultados y Demostración

• Interfaz de Usuario: El sistema presenta un panel de entrada, un panel de resolución de ambigüedades (con menús desplegables para seleccionar opciones) y un panel de generación de SQL.
• Comparativa: La demostración muestra una comparación lado a lado entre la SQL generada sin AmbiSQL (que suele ser incorrecta o incompleta) y la generada con el sistema.
• Ejemplo de Éxito: En consultas como "¿Cuántos conductores nacidos después del final de la Guerra de Vietnam...", el sistema logra:
  • Desambiguar la fecha exacta del "final de la guerra" (ej. 30 de abril de 1975 vs. 29 de marzo de 1973) mediante selección del usuario.
  • Resolver la ambigüedad de la columna "ranked 2" (¿posición o rango?) seleccionando la columna correcta del esquema.
• Trazaibilidad: El sistema mantiene un registro de interacción que permite a los usuarios rastrear cómo cada ambigüedad fue resuelta paso a paso.

5. Significado e Impacto

AmbiSQL aborda una brecha crítica en los sistemas Text-to-SQL: la incapacidad de los modelos actuales para manejar la imprecisión inherente del lenguaje natural en entornos reales.

• Fiabilidad: Al incorporar un ciclo de retroalimentación humano-en-el-bucle, el sistema reduce drásticamente la tasa de errores semánticos, asegurando que la SQL generada refleje fielmente la intención del usuario.
• Escalabilidad: La taxonomía y el enfoque automatizado de detección permiten que el sistema escale a diferentes dominios y esquemas de bases de datos sin necesidad de reentrenamiento costoso.
• Futuro de la Evaluación: El trabajo sugiere que los futuros benchmarks de Text-to-SQL deben considerar la resolución de ambigüedades como una métrica clave, más allá de la simple precisión de la consulta final, para mejorar la robustez de los sistemas en producción.

En conclusión, AmbiSQL representa un avance hacia interfaces de bases de datos más robustas y fáciles de usar, transformando la ambigüedad de un obstáculo en un proceso colaborativo de refinamiento.