Querying Structured Data Through Natural Language Using Language Models

Resumo Técnico: Consulta de Dados Estruturados via Linguagem Natural

1. O Problema

O artigo aborda a dificuldade de utilizar modelos de linguagem (LLMs) para consultar dados estruturados e não textuais (como tabelas numéricas, séries temporais ou dados geoespaciais).

• Limitações do RAG: A abordagem padrão de Retrieval-Augmented Generation (RAG) falha neste contexto porque a busca por similaridade em vetores (embeddings) não consegue capturar com precisão relações numéricas, lógicas ou estruturadas complexas.
• Dependência de Modelos Grandes: Soluções existentes que funcionam bem geralmente dependem de modelos proprietários massivos (com centenas de bilhões de parâmetros) e janelas de contexto enormes, o que impõe custos proibitivos, questões de privacidade e requisitos de hardware inacessíveis para a maioria das organizações.
• Falta de Dados de Treinamento: Não existem conjuntos de dados públicos e diversificados de pares "pergunta-resposta" para bancos de dados especializados, dificultando o treinamento de modelos para gerar consultas executáveis.

2. Metodologia Proposta

Os autores propõem uma metodologia de código aberto que treina um LLM para gerar consultas executáveis (ex: chamadas de API ou SQL) em vez de apenas responder diretamente. O sistema segue um pipeline de três etapas:

1. Geração de Consulta: O modelo recebe uma pergunta em linguagem natural e gera uma chamada de ferramenta (API) estruturada.
2. Execução: A consulta é executada no banco de dados ou serviço externo.
3. Resposta: Os dados retornados são inseridos no contexto do modelo, que então formula a resposta final em linguagem natural.

Componentes Chave:

• Geração de Dados Sintéticos: Para superar a falta de dados de treinamento, os autores criaram um pipeline automatizado que gera pares de perguntas e respostas. O processo envolve:
  • Identificar projeções semânticas nas tabelas do banco de dados.
  • Usar modelos de ponta (Gemini 2.5 Pro e DeepSeek R1) para criar templates de perguntas baseados nessas projeções.
  • Instanciar as perguntas com dados geográficos reais (via Overpass API) e gerar as respostas corretas com as consultas correspondentes.
  • Criar variações linguísticas (paráfrases) para garantir robustez.
  • Resultado: Um conjunto de dados com 44.849 pares de perguntas e respostas.
• Modelo e Fine-Tuning:
  • Base: Utilização do DeepSeek R1-Distill-8B, um modelo compacto (8 bilhões de parâmetros) com capacidades de raciocínio distiladas de modelos maiores.
  • Técnica: Fine-tuning supervisionado utilizando QLoRA (Low-Rank Adaptation com quantização de 4 bits). Isso permite treinar o modelo em hardware de consumo (uma única GPU NVIDIA RTX 3090 de 24GB), atualizando apenas ~10 milhões de parâmetros.
  • Arquitetura: O modelo é treinado para reconhecer quando uma consulta é necessária, identificar os argumentos corretos e mapear a semântica da pergunta para a sintaxe da API.

3. Contribuições Principais

1. Eficiência de Hardware: Demonstra que modelos pequenos (7-8B parâmetros) podem atingir alta precisão em tarefas de geração de consultas estruturadas, eliminando a necessidade de modelos de trilhão de parâmetros.
2. Pipeline de Dados Sintéticos: Apresenta uma metodologia sistemática e reprodutível para criar dados de treinamento para bancos de dados especializados onde dados reais não existem.
3. Abordagem Open-Source e Acessível: Todo o fluxo (treinamento, inferência e dados) é baseado em tecnologias de código aberto, permitindo a implantação em ambientes com recursos limitados (como laptops ou servidores locais).
4. Generalização: O sistema foi projetado para ser agnóstico à estrutura da consulta e ao esquema de dados, focando apenas na capacidade de acessar dados através de uma linguagem conhecida.

4. Resultados e Avaliação

O sistema foi avaliado em um conjunto de dados sobre acessibilidade a serviços essenciais (hospitais, supermercados, farmácias) na região de Durangaldea, Espanha.

• Precisão (Exact Match):
  • Locais não vistos: 89% de precisão em locais geográficos que não estavam no conjunto de treinamento, demonstrando forte capacidade de generalização espacial.
  • Variações Semânticas: 94,2% de precisão em perguntas com a mesma intenção, mas formuladas de maneiras diferentes.
  • Multilíngue: Desempenho variou conforme o idioma. Espanhol, Catalão e Francês tiveram alta precisão (>80%), enquanto o Basco teve desempenho inferior (24%), refletindo a cobertura linguística do modelo base.
• Comparação com SOTA: Ao comparar com modelos grandes (GPT-4, Gemini, Grok) em configuração zero-shot, o modelo fine-tuned de 8B alcançou 94,2% de precisão, ficando muito próximo dos modelos proprietários (que atingiram ~97-98%), mas com custos de inferência drasticamente menores.
• Métricas de Sintaxe: Pontuações BLEU-4 e ROUGE-L consistentemente altas (>0,95 na maioria dos casos), indicando que a estrutura das consultas geradas é sintaticamente correta.

5. Significado e Impacto

• Democratização de IA para Dados Estruturados: A pesquisa prova que é possível criar interfaces de linguagem natural robustas para dados tabulares e geoespaciais sem depender de grandes provedores de nuvem ou hardware de datacenter.
• Aplicabilidade Prática: O sistema está sendo integrado ao projeto FUTURAL para apoiar a tomada de decisões em comunidades rurais, permitindo que especialistas em acessibilidade consultem dados complexos de forma intuitiva.
• Caminho para Sistemas Multi-Dataset: Embora o foco atual seja um único dataset, a metodologia sugere que, com adaptações (como abstração baseada em ontologias), essa abordagem pode ser escalada para sistemas que consultam múltiplos bancos de dados heterogêneos, mantendo a eficiência computacional.

Em suma, o artigo estabelece que, para tarefas específicas de geração de consultas estruturadas, modelos pequenos e especializados (via fine-tuning e dados sintéticos) podem superar ou igualar modelos genéricos massivos, oferecendo uma solução viável, privada e economicamente eficiente para a indústria e pesquisa.