Querying Structured Data Through Natural Language Using Language Models

Resumen Técnico: Consulta de Datos Estructurados mediante Lenguaje Natural usando Modelos de Lenguaje

1. El Problema

El artículo aborda la dificultad de utilizar modelos de lenguaje grandes (LLM) para consultar conjuntos de datos estructurados y no textuales (como datos numéricos, series temporales o tablas geoespaciales).

• Limitaciones del RAG: Los enfoques tradicionales de Retrieval-Augmented Generation (RAG) fallan en este contexto porque las representaciones vectoriales (embeddings) no codifican de manera fiable la información cuantitativa estructurada ni las relaciones lógicas precisas necesarias para consultas numéricas.
• Dependencia de Modelos Masivos: Las soluciones actuales que logran alta precisión suelen depender de modelos propietarios extremadamente grandes (cientos de miles de millones de parámetros) o de contextos de ventana enormes, lo que eleva los costos operativos, plantea problemas de privacidad y requiere hardware prohibitivo (GPUs de centro de datos).
• Falta de Datos de Entrenamiento: No existen conjuntos de datos de entrenamiento públicos y de alta calidad para bases de datos específicas de dominios (como accesibilidad rural), lo que dificulta el ajuste fino (fine-tuning) de modelos para tareas específicas.

2. Metodología

Los autores proponen una metodología de código abierto que evita el RAG tradicional y se centra en la generación de consultas ejecutables por parte del modelo, seguida de la ejecución de la consulta y la generación de la respuesta final.

• Arquitectura del Sistema:

  1. Entrada: El usuario hace una pregunta en lenguaje natural.
  2. Generación de Consulta: El modelo LLM genera una llamada a la API o una consulta estructurada (basada en el esquema del dataset).
  3. Ejecución: El sistema ejecuta la consulta contra la base de datos real.
  4. Respuesta: Los resultados se inyectan en el contexto del modelo, que luego formula la respuesta final en lenguaje natural.

• Generación de Datos Sintéticos:

  • Para superar la falta de datos de entrenamiento, se desarrolló una tubería (pipeline) automatizada para generar pares de preguntas-respuestas sintéticas.
  • Se utilizan proyecciones semánticas de las tablas de la base de datos para crear plantillas de preguntas.
  • Modelos de vanguardia (Gemini 2.5 Pro y DeepSeek R1) se utilizan para generar variaciones lingüísticas y para instanciar las preguntas con coordenadas geográficas reales extraídas mediante la API Overpass.
  • El conjunto de datos final contiene 44,849 pares de preguntas y respuestas, incluyendo la consulta de base de datos correcta y la respuesta narrativa.

• Entrenamiento y Modelos:

  • Modelo Base: Se utiliza DeepSeek R1-Distill-8B, un modelo compacto (8 mil millones de parámetros) derivado de Llama-3.1, conocido por sus capacidades de razonamiento.
  • Técnica de Ajuste Fino: Se emplea QLoRA (Low-Rank Adaptation con cuantización de 4 bits). Esto permite entrenar solo un subconjunto pequeño de parámetros (aprox. 10 millones) sin modificar los pesos base, reduciendo drásticamente el uso de memoria.
  • Hardware: El entrenamiento y la inferencia se realizaron en una GPU de consumo NVIDIA GeForce RTX 3090 (24 GB), demostrando que no se requiere hardware de centro de datos.

3. Contribuciones Clave

1. Metodología de Código Abierto y Accesible: Un enfoque totalmente abierto que no depende de modelos propietarios ni de APIs cerradas.
2. Eficiencia de Recursos: Demuestra que modelos pequeños (7-8B parámetros) pueden alcanzar alta precisión en tareas de razonamiento estructurado si se ajustan finamente correctamente, permitiendo el despliegue en hardware comercial.
3. Pipeline de Datos Sintéticos: Una metodología sistemática para crear conjuntos de datos de entrenamiento para dominios específicos sin necesidad de anotación manual masiva.
4. Generalización Multilingüe y Geoespacial: El sistema es capaz de manejar consultas en múltiples idiomas y generalizar a ubicaciones geográficas no vistas durante el entrenamiento.

4. Resultados

El sistema fue evaluado en un dataset que describe la accesibilidad a servicios esenciales (hospitales, supermercados) en la región de Durangaldea, España.

• Precisión (Exact Match):
  • Ubicaciones no vistas: 89.0% de coincidencia exacta.
  • Variantes semánticas: 94.2% de coincidencia exacta.
  • Multilingüe: Alto rendimiento en español (81%), catalán (86%) y gallego (93%). Rendimiento menor en euskera (24%), atribuido a la menor representación en los datos de pre-entrenamiento del modelo base.
  • Conjunto completo: 80% de coincidencia exacta (subiendo al 85% si se excluyen los casos multilingües).
• Métricas de Calidad: Se obtuvieron puntuaciones BLEU-4 y ROUGE-L muy altas (cercanas a 0.99), indicando una excelente preservación de la estructura de la consulta y el contenido factual.
• Comparativa con SOTA: Aunque modelos gigantes como GPT-4 o Grok logran un 97-98% de precisión en zero-shot, el modelo ajustado de 8B alcanza un 94.2% en su dominio específico, siendo altamente competitivo con un costo computacional infinitamente menor.
• Rendimiento en Producción: La inferencia en la RTX 3090 toma aproximadamente 3 segundos por solicitud, siendo el cuello de botella principal el tiempo de inferencia del modelo, mientras que la lógica de backend y la consulta a la base de datos son casi instantáneas.

5. Significado e Impacto

• Democratización de la IA: Este trabajo demuestra que las organizaciones con recursos limitados pueden implementar sistemas de IA avanzados para análisis de datos estructurados sin depender de costosas APIs comerciales o supercomputadoras.
• Aplicabilidad en Dominios Específicos: Es ideal para escenarios donde los datos son altamente estructurados y el dominio es bien definido (ej. agricultura, logística, servicios públicos), evitando la complejidad de los sistemas multi-herramienta genéricos.
• Escalabilidad y Futuro: La arquitectura permite integrar múltiples adaptadores (adapters) en un solo modelo base para diferentes conjuntos de datos. Los autores proponen futuras mejoras para manejar múltiples dominios simultáneamente y optimizar la recuperación de errores mediante bucles de retroalimentación iterativa.
• Proyecto FUTURAL: La tecnología ya se está integrando en la plataforma FUTURAL Metasearch para apoyar la toma de decisiones basada en datos en comunidades rurales, mejorando la calidad de vida mediante el análisis de accesibilidad.

En conclusión, el artículo valida que un enfoque de ajuste fino de modelos pequeños con datos sintéticos es una alternativa robusta, económica y de alto rendimiento a las soluciones RAG o de modelos masivos para la consulta de datos estructurados.