Resumen Técnico: EntSQL – Un Benchmark para el Anclaje de Text-to-SQL en Conocimiento Empresarial de Contexto Largo

1. Definición del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) han avanzado en las capacidades de Text-to-SQL, los benchmarks existentes (por ejemplo, Spider, BIRD, Spider 2.0) evalúan principalmente la generalización de esquemas, el manejo de bases de datos a gran escala y flujos de trabajo que dependen de documentación pública. Estos benchmarks pasan por alto en gran medida los escenarios empresariales específicos donde la generación de SQL depende de conocimiento empresarial privado.

En entornos de Inteligencia de Negocios (BI) empresariales realistas, responder a una consulta a menudo requiere interpretar definiciones de métricas internas, convenciones de reporte, reglas de año fiscal y mapeos organizacionales que no son recuperables únicamente a partir del conocimiento público o del esquema de la base de datos. El desafío central no es simplemente generar un SQL sintácticamente válido, sino anclar la construcción del SQL en documentos de conocimiento empresarial privados de contexto largo.

2. Metodología: El Benchmark EntSQL

Para abordar esta brecha, los autores introducen EntSQL, un benchmark orientado a empresas diseñado para evaluar si los modelos pueden anclar la generación de SQL en conocimiento empresarial privado de formato largo.

Construcción de Datos

El benchmark fue construido a partir de datos operativos reales de empresas mediante un pipeline de cuatro etapas:

1. Recolección de Datos: Se recolectaron registros reales de preguntas y respuestas de usuarios de cinco dominios de negocio principales: Tesorería, Finanzas, Gestión de Negocios, Construcción del Partido (Sindicato) y Recursos Humanos.
2. Síntesis de Contexto y Anotación de Expertos: Expertos en el dominio anotaron cada instancia con:
   • Gold SQL: Reflejando la lógica de negocio pretendida.
   • Fragmentos de Evidencia (Evidence Snippets): Identificación concisa de reglas de negocio clave.
   • Documentos de Dominio: Documentos sintetizados de formato largo que describen el contexto de negocio relevante.
3. Anonimización y Traducción: Las entidades sensibles (fechas, valores monetarios, unidades organizativas) fueron reemplazadas con mapeos curados para preservar la estructura protegiendo la privacidad. Los materiales originales en chino fueron traducidos y validados al inglés, creando entradas bilingües alineadas.
4. Garantía de Calidad: Una revisión manual de múltiples etapas por parte de expertos y especialistas aseguró la consistencia entre preguntas, SQL, evidencia y documentos.

Composición del Benchmark

• Escala: 1,066 ejemplos semánticos alineados en chino e inglés.
• Complejidad: El 96.0% de los ejemplos requieren conocimiento de dominio externo más allá de la pregunta y el esquema. Las consultas Gold SQL promedian 388.7 tokens, utilizando frecuentemente Expresiones de Tabla Comunes (CTEs), joins y subconsultas anidadas.
• Niveles de Dificultad: Categorizados por la longitud de tokens del SQL: Fácil (<200), Medio (200–400) y Difícil (>400). La mayoría de las consultas caen en las categorías de Medio y Difícil.

Configuración Experimental

• Modelos Evaluados: Ocho sistemas, incluyendo siete LLMs independientes (por ejemplo, Claude Opus/Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen 3.6 Max, Kimi K2.6, GLM 5.1) y un agente de codificación interactivo (Claude Code).
• Configuraciones de Entrada:
  • Base: Pregunta + Esquema.
  • w/Doc: Pregunta + Esquema + Documento de Dominio de formato largo.
  • w/Evidence: Pregunta + Esquema + Evidencia concisa curada por expertos.
• Métrica: Exactitud de Ejecución (EX), comparando el conjunto de resultados de la predicción del SQL contra el Gold SQL en la base de datos objetivo.

3. Resultados Clave

La evaluación revela desafíos significativos para los sistemas actuales de última generación en contextos empresariales:

• Bajo Rendimiento General: Incluso proporcionando documentos de formato largo, el sistema con mejor desempeño (Claude Code) logró solo un 15.9% de exactitud de ejecución en el benchmark completo en inglés.
• Impacto de la Complejidad: El rendimiento cae drásticamente a medida que aumenta la complejidad del SQL. En la configuración "Base" (solo la Pregunta), la mejor exactitud en consultas Difíciles fue de apenas 0.8%.
• El Valor de la Evidencia: Proporcionar evidencia concisa y curada por expertos supera significativamente al proporcionar documentos completos de formato largo.
  • w/Doc: Mejor Exactitud Promedio = 15.9%.
  • w/Evidence: Mejor Exactitud Promedio = 21.4%.
  • Esto indica que, si bien el conocimiento empresarial es útil, los modelos actuales luchan por identificar y aplicar información relevante de documentos largos sin una localización explícita.
• Brecha de Expertos: Una comparación con expertos humanos en un subconjunto muestreado mostró una brecha sustancial. Los expertos lograron un 84.0% de exactitud con evidencia, frente al 20.3% del mejor agente (Claude Code), resaltando las limitaciones en el anclaje de reglas de negocio y la composición de múltiples pasos.
• Variación de Dominio: El rendimiento está altamente sesgado. Las consultas de Recursos Humanos vieron una mayor exactitud (hasta 30.4% con evidencia), mientras que las de Finanzas se mantuvieron cerca de cero, sugiriendo que la dificultad es impulsada por patrones de consulta específicos del dominio y la complejidad de las reglas, no solo por la longitud del SQL.
• Análisis de Errores: El modo de falla dominante (54.6%) fue Filtro Incorrecto (Wrong Filter), donde los modelos fallaron al anclar correctamente las restricciones de filtrado de la pregunta y los documentos. Otros errores importantes incluyeron Alcance Incorrecto (Wrong Scope) (14.4%) y Agregación Incorrecta (Wrong Aggregation) (10.0%).

4. Significado y Reivindicaciones

El artículo afirma que EntSQL complementa los benchmarks existentes al desplazar el enfoque de la generalización de esquemas hacia el anclaje de contexto largo empresarial.

• Brecha Práctica Distinta: El benchmark expone una brecha específica donde el anclaje fiel de la generación de SQL en el conocimiento privado de la empresa sigue siendo un desafío sustancial, distinto de las dificultades de coincidencia de esquemas o razonamiento de contexto corto.
• Limitaciones Actuales: Los resultados sugieren que simplemente aumentar la longitud del contexto es insuficiente; el cuello de botella clave es la selección de conocimiento y el anclaje efectivo. Los agentes actuales luchan por traducir reglas de negocio localizadas en SQL ejecutable, incluso cuando se les proporciona evidencia relevante.
• Direcciones Futuras: Los autores proponen que la investigación futura debería centrarse en representaciones intermedias explícitas para la planificación de consultas, un anclaje más fuerte a las reglas específicas del dominio y módulos de validación post-generación para verificar el uso del esquema y las restricciones de los documentos.

Los autores mantienen una postura modesta, señalando que aunque EntSQL se construye a partir de cargas de trabajo reales, cubre solo cinco dominios de un único entorno empresarial y puede no representar todos los escenarios de Text-to-SQL empresariales. Enfatizan que el benchmark está diseñado para apoyar la investigación en sistemas más fiables y anclados en el conocimiento para escenarios empresariales realistas.