Resumen Técnico: Recuperación Basada en Esquemas para la Analítica de Lenguaje Natural

Declaración del Problema

Los sistemas empresariales de texto-a-SQL frecuentemente fallan no durante la generación de SQL, sino durante la fase precedente de selección de contexto. En los almacenes de datos modernos, los modelos suelen recibir nombres de tablas sin procesar que no logran capturar el contexto crítico: nombres de columnas abreviados, métricas de negocio informales, convenciones de unión (join) ocultas y límites de permisos. Cuando un modelo recibe el contexto de esquema incorrecto (por ejemplo, las tablas, claves de unión o definiciones de negocio erróneas), produce un SQL sintácticamente válido pero analíticamente inútil. Los benchmarks existentes como Spider 2.0 resaltan que los flujos de trabajo realistas requieren búsqueda de metadatos y contexto de proyecto en lugar de esquemas académicos compactos. Los enfoques actuales suelen tratar la selección de esquema como un detalle de formateo de prompts o dependen de pipelines centrados en la generación que asumen que el esquema correcto ya ha sido proporcionado.

Metodología: Recuperación Basada en Esquemas (Schema-First Retrieval)

El artículo propone la Recuperación Basada en Esquemas, una capa de recuperación que trata al catálogo de datos —no a las filas brutas del almacén— como el objetivo principal de recuperación. El sistema opera en dos fases:

1. Indexación Offline

El sistema define una taxonomía de objetos de catálogo de cinco tipos, renderizando cada tipo de objeto en una plantilla de texto específica antes de la incrustación (embedding):

• Tablas: Anclan el dominio (nombres, esquemas, descripciones, propietarios).
• Columnas: Fundamentan predicados y proyecciones (tipos de datos, valores de muestra, contexto parental).
• Métricas: Conectan el lenguaje de negocio con el esquema físico (fórmulas, columnas de origen).
• Relaciones: Protegen las uniones codificando claves foráneas y rutas documentadas.
• Historial de Consultas: Captura la memoria de la carga de trabajo (preguntas previas y objetos accedidos).

Estos objetos se incrustan en colecciones vectoriales separadas utilizando plantillas específicas por tipo.

2. Pipeline de Recuperación Online

• Búsqueda Paralela: Una consulta de usuario se incrusta y se busca contra las cinco colecciones de catálogo simultáneamente utilizando un bi-encoder (Amazon Titan Embeddings V2).
• Expansión de Linaje: Si se requieren relaciones, el sistema expande las tablas candidatas a través de una ruta de unión de búsqueda en anchura (breadth-first) para incluir tablas puente y claves de unión que no fueron mencionadas explícitamente en la consulta.
• Re-clasificación (Reranking): Un cross-encoder (Cohere Rerank V3.5) re-clasifica los candidatos agrupados. Esto es particularmente crítico para las columnas, que a menudo son cortas, duplicadas o abreviadas.
• Fusión de Puntuación: La puntuación de recuperación final combina la similitud semántica, la relevancia del cross-encoder y la evidencia del historial de consultas (ponderada por recencia).
• Gobernanza Determinista: El control de acceso se aplica fuera del Modelo de Lenguaje Grande (LLM). Un filtro determinista elimina los objetos del catálogo no autorizados basándose en Listas de Control de Acceso (ACLs) antes del ensamblaje del contexto. El SQL generado es además verificado y reescrito para aplicar predicados a nivel de fila.

3. Generación

El generador de SQL recibe un subconjunto del esquema enfocado y validado por el catálogo (DDL, definiciones de métricas, rutas de unión) en lugar del almac completo. El generador se trata como un componente reemplazable; el sistema depende del enrutamiento impulsado por la intención (clasificación de la complejidad de la consulta) y del ensamblaje de contexto con presupuesto de tokens para optimizar la entrada.

Contribuciones Clave

1. Taxonomía de Objetos de Catálogo Tipificados: El artículo define plantillas de incrustación separadas para tablas, columnas, métricas, relaciones e historial de consultas, argumentando que estos objetos responden a preguntas de recuperación distintas y no deben ser aplanados en un bloque de texto genérico.
2. Pipeline de Recuperación de Señal Múltiple: Un sistema que integra búsqueda vectorial paralela, re-clasificación por cross-encoder, expansión de linaje y memoria de carga de trabajo en un contexto unificado para la generación de SQL.
3. Gobernanza Determinista: Un enfoque de sistemas donde el control de acceso se gestiona mediante el filtrado del catálogo y la reescritura de SQL, en lugar de depender de que el LLM recuerde o siga las instrucciones de política.

Resultados Experimentales

El sistema fue evaluado en tres benchmarks: CRUSH4SQL (1,534 preguntas), SEDE (857 preguntas) y BIRD (96 preguntas).

• Calidad de la Recuperación (CRUSH4SQL):

  • La recuperación semántica (bi-encoder) superó a la línea base de BM25 por +32.8 puntos en Table Recall@5.
  • La re-clasificación por cross-encoder añadió +11.1 puntos en Column Recall@10.
  • El sistema completo alcanzó un 96.4% de Table Recall@20.
  • Los estudios de ablación confirmaron que eliminar cualquiera de los cinco tipos de objetos degradaba el rendimiento, validando la naturaleza no redundante de la taxonomía.

• Memoria de Carga de Trabajo (SEDE):

  • La incorporación del historial de consultas elevó el Table Recall@5 del 52.1% al 92.3% (+40.2 puntos), demostrando que los patrones históricos mejoran significativamente la clasificación de las tablas relevantes.

• Generación de Extremo a Extremo (BIRD):

  • La Recuperación Basada en Esquemas redujo los errores de ejecución de SQL del 15.6% al 6.2% (una reducción de 2.5×).
  • La reducción fue estadísticamente significativa (prueba de McNemar, p=0.035).
  • El análisis de errores reveló que el sistema eliminó 8 de 9 errores fijos relacionados con la fundamentación léxica (por ejemplo, comillas de identificadores e incorrectas referencias de columnas a tablas) al presentar las formas superficiales correctas en el contexto recuperado.

• Eficiencia:

  • El pipeline de recuperación añade aproximadamente 1.28 segundos por consulta.
  • El costo experimental total fue inferior a $3 en todos los conjuntos de datos (~$0.006 por pregunta).

Significado y Reivindicaciones

El artículo argumenta que la selección del catálogo es un problema de recuperación de primera clase, no simplemente un detalle de formateo de prompts. Al desplazar el objetivo de recuperación de fragmentos de esquema brutos a un catálogo gobernado y tipificado, el sistema aborda la brecha entre el lenguaje del analista (métricas de negocio, términos informales) y el esquema físico (columnas abreviadas, abreviaturas operativas).

Los autores sostienen que una analítica de lenguaje natural confiable requiere una capa de recuperación construida específicamente para la forma en que los almacenes de datos son documentados, consultados y gobernados. La separación de preocupaciones —donde la recuperación suministra una porción de catálogo con procedencia y la generación escribe sobre esa porción— permite al sistema mejorar tanto las métricas de recuperación como el comportamiento de ejecución. Además, al aplicar el control de acceso de manera determinista fuera del modelo, el sistema evita los problemas de confiar en que los LLM cumplan con las políticas de seguridad.

El artículo concluye que, si bien el enfoque reduce significativamente los errores léxicos y de fundamentación, no resuelve los errores de semántica de datos (por ejemplo, comparaciones de NULL o violaciones de aridad de agregación), identificando el límite donde la recuperación deja de ser el cuello de botella.