Track-SQL: Enhancing Generative Language Models with Dual-Extractive Modules for Schema and Context Tracking in Multi-turn Text-to-SQL

O artigo apresenta o Track-SQL, um novo framework que aprimora modelos de linguagem generativos para Text-to-SQL em múltiplas conversas através de módulos extrativos duais para rastreamento de esquema e contexto, alcançando desempenho state-of-the-art nos conjuntos de dados SparC e CoSQL.

O essencial

Imagine que você está tentando ensinar um assistente de IA a falar a língua dos bancos de dados (o SQL) para você. Em conversas simples de uma única pergunta, esses assistentes já são ótimos. Mas, quando você começa a ter uma conversa longa, com várias perguntas seguidas, onde você se refere a coisas que disse antes ou muda de ideia, o assistente começa a se perder. Ele esquece o que você queria na primeira pergunta, confunde as tabelas do banco de dados e acaba gerando respostas erradas.

O artigo "Track-SQL" apresenta uma solução inteligente para esse problema. Eles criaram um "sistema de rastreamento" que ajuda a IA a não se perder durante a conversa.

Aqui está a explicação do funcionamento, usando analogias do dia a dia:

O Problema: O Assistente com "Amnésia" e "Mapa Confuso"

Imagine que você está pedindo a um cozinheiro (a IA) para preparar um prato complexo.

1. O Mapa Confuso (Schema Linking): O cozinheiro tem um armário gigante com milhares de ingredientes (tabelas e colunas do banco de dados). Na primeira pergunta, ele sabe quais usar. Mas, na segunda pergunta, ele pode esquecer que você já mencionou "tomate" e começar a procurar "pimenta" de novo, ou misturar ingredientes que não combinam. O banco de dados é grande e confuso.
2. A Amnésia (Contexto): Você diz: "Quero os nomes dos jogadores do time X". Depois diz: "E quantos deles têm mais de 30 anos?". Um cozinheiro sem memória precisa que você repita "jogadores do time X" de novo. Se ele não lembrar, ele pode contar todos os jogadores do mundo, não só do time X.

A Solução: Track-SQL (O "Detetive" e o "Arquivista")

Os autores criaram o Track-SQL, que funciona como um assistente pessoal com dois ajudantes especializados:

1. O Detetive de Significados (Semantic-enhanced Schema Extractor)

Este é o primeiro ajudante. Sua função é limpar o "mapa" antes de começar a cozinhar.

• Como funciona: Em vez de jogar todos os ingredientes do armário na mesa, ele olha para a sua pergunta e para o que você disse antes. Ele usa um "tradutor" (uma IA que entende semântica) para entender que, quando você diz "continente", pode estar falando de uma tabela chamada "Países" ou "Continentes".
• A Mágica: Ele adiciona "etiquetas explicativas" aos ingredientes. Se o banco de dados diz apenas "ID", o sistema entende que isso significa "Identificador do Continente". Assim, ele filtra o que é irrelevante e deixa apenas os ingredientes exatos que você precisa para a receita atual. Isso evita que o cozinheiro use o sal no lugar do açúcar.

2. O Arquivista de Histórias (Schema-aware Context Extractor)

Este é o segundo ajudante. Sua função é lembrar o que aconteceu antes.

• Como funciona: Quando você faz a segunda pergunta, ele não olha apenas para a frase atual. Ele vai ao arquivo, procura a pergunta anterior e a resposta (o SQL) que foi gerada.
• A Mágica: Ele pergunta: "O que o usuário pediu antes? Ah, ele estava falando do time X. Então, quando ele diz 'quantos deles', 'deles' se refere ao time X". Ele pega a "receita base" da pergunta anterior e a usa como ponto de partida para a nova, garantindo que a conversa tenha continuidade lógica.

O Resultado: Uma Conversa Fluida

Ao combinar esses dois ajudantes, o sistema Track-SQL faz o seguinte:

1. Entende o contexto: Sabe o que você quer dizer com "isso" ou "aqueles".
2. Foca no essencial: Ignora as milhares de tabelas que não têm nada a ver com a sua pergunta atual.
3. Gera a resposta certa: Cria o código SQL (a receita) que é exato, sem erros de conexão ou dados esquecidos.

Por que isso é importante?

Os testes mostraram que, ao usar esse método, a precisão das respostas em conversas longas melhorou drasticamente (em cerca de 7% a 9% em testes reais). É como transformar um assistente que esquece o que você disse há 30 segundos em um parceiro de conversa que lembra de tudo e entende exatamente o que você precisa, mesmo em conversas complexas.

Em resumo: O Track-SQL é como dar a um assistente de IA um caderno de anotações (para lembrar o contexto) e uma lupa inteligente (para encontrar apenas as informações certas no banco de dados), permitindo que ele mantenha conversas longas e complexas sem se perder.

Resumo técnico

Resumo Técnico: Track-SQL

1. O Problema

A tarefa de Text-to-SQL (conversão de linguagem natural em consultas SQL) tem demonstrado grande potencial com modelos de linguagem generativos (LLMs) em cenários de turno único (single-turn). No entanto, o desempenho desses modelos degrada significativamente em cenários de múltiplos turnos (multi-turn), onde o usuário interage com o sistema em uma conversa contínua.

As principais limitações identificadas são:

• Rastreamento de Contexto Dinâmico: Dificuldade em lidar com referências implícitas, omissões de informações anteriores e mudanças no foco do usuário ao longo da conversa.
• Vinculação de Esquema (Schema Linking) Estática: Os métodos existentes muitas vezes tratam o esquema do banco de dados de forma estática, falhando em atualizar dinamicamente quais tabelas e colunas são relevantes conforme a conversa evolui. Isso leva a:
  • Links Redundantes: Inclusão de informações de esquema desnecessárias que confundem o modelo.
  • Inconsistências Semânticas: Falha em entender que nomes de colunas abreviados podem ter significados diferentes em contextos diferentes.
  • Perda de Informações Críticas: Abordagens que reescrevem perguntas ou simplificam excessivamente o histórico podem perder detalhes essenciais para a geração do SQL.

2. Metodologia: O Framework Track-SQL

O Track-SQL propõe um framework que aprimora modelos de linguagem generativos através de módulos extrativos duais. A ideia central é realizar a extração e o rastreamento de informações críticas antes da geração do SQL, reduzindo a complexidade para o modelo generativo.

O framework consiste em três componentes principais:

A. Extrator de Esquema Aprimorado Semanticamente (SESE - Semantic-enhanced Schema Extractor)
Este módulo foca na Vinculação de Esquema Dinâmica.

• Melhoria Semântica: Utiliza um LLM (GPT-3.5) para gerar descrições semânticas (comentários) para colunas e tabelas, enriquecendo os nomes originais (que podem ser ambíguos) com informações contextuais.
• Mecanismo de Portão (Gating): Emprega um mecanismo de atenção para agregar as representações dos nomes das colunas/tabelas com suas anotações semânticas, reduzindo o gap semântico entre a pergunta do usuário e o esquema.
• Detecção de Intenção "Todas as Colunas" (ACID): Identifica implicitamente quando o usuário deseja recuperar dados de todas as colunas de uma tabela (representado pelo wildcard *), mesmo que não seja explicitamente mencionado.
• Rastreamento Histórico: Marca colunas extraídas em turnos anteriores com um token especial ([SN]) para manter a coerência e evitar a reextração desnecessária.

B. Extrator de Contexto Consciente de Esquema (SACE - Schema-aware Context Extractor)
Este módulo foca no Rastreamento de Contexto.

• Seleção de SQL Base: Identifica o SQL histórico mais relevante para servir como base (prompt) para a geração do SQL atual.
• Métrica de Relevância Híbrida: Calcula a relevância entre a pergunta atual e as históricas combinando duas métricas:
  1. Similaridade Semântica: Usando SentenceBERT entre as perguntas.
  2. Sobreposição de Entidades do Esquema: Usando a Divergência Jensen-Shannon entre as probabilidades de extração de esquema dos turnos atuais e históricos.
• Objetivo: Fornecer ao modelo generativo um "SQL Base" (SQLbase) que já contém a estrutura correta de junções (joins) e filtros dos turnos anteriores, reduzindo erros de propagação.

C. Gerador de SQL com Ajuste Fino (Fine-tuned SQL Generator)

• O modelo generativo (ex: CodeLlama, DeepSeek, Mistral) é ajustado (fine-tuned) supervisionadamente.
• Entrada Otimizada: Em vez de receber todo o histórico bruto e o esquema completo, o modelo recebe:
  1. A sequência concatenada das perguntas (Q≤m).
  2. O esquema filtrado e enriquecido pelo SESE (E(S)).
  3. O SQL base selecionado pelo SACE (SQLbase).
• Isso transforma o problema de múltiplos turnos em uma tarefa de geração mais direta e precisa.

3. Principais Contribuições

1. Framework Track-SQL: Uma arquitetura nova especificamente desenhada para tarefas de Text-to-SQL em múltiplos turnos, integrando extração dinâmica de esquema e contexto.
2. Módulo SESE: Resolve ambiguidades semânticas e reduz redundâncias no esquema através de enriquecimento semântico e detecção de intenção de "todas as colunas".
3. Módulo SACE: Introduz um mecanismo de recuperação e verificação de SQLs históricos baseado em similaridade semântica e sobreposição de esquema, melhorando a compreensão do histórico da conversa.
4. Transparência e Explicabilidade: Ao separar a extração de informações da geração, o sistema torna o processo de decisão mais transparente, permitindo entender quais partes do esquema e do histórico foram utilizadas.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados de referência SParC e CoSQL, utilizando modelos base de 7B parâmetros (CodeLlama, DeepSeek, Mistral).

• Desempenho Geral: O Track-SQL alcançou o estado da arte (SOTA) em ambos os conjuntos de dados, superando métodos de In-context Learning (como ACT-SQL, CoE-SQL) e métodos de ajuste fino anteriores (como RASAT+PICARD).
• Métricas de Melhoria:
  • No conjunto SParC, houve um aumento de 7,1% na precisão de execução (Execution Accuracy - EX) em interações de múltiplos turnos.
  • No conjunto CoSQL, houve um aumento de 9,55% na precisão de execução (EX).
• Ablação: Estudos de ablação confirmaram que a remoção de qualquer um dos módulos (SESE, SACE ou ACID) resulta em queda significativa de desempenho, validando a importância de cada componente.
• Eficiência: O sistema mantém baixa latência (tempo de inferência médio de ~1,35 segundos), sendo viável para sistemas interativos em tempo real.

5. Significado e Impacto

O trabalho do Track-SQL é significativo porque aborda a lacuna crítica entre o desempenho de modelos de linguagem em tarefas estáticas (turno único) e dinâmicas (conversacionais). Ao introduzir módulos extrativos dedicados para gerenciar a complexidade do esquema e do contexto, o framework permite que modelos generativos menores (7B) superem abordagens que dependem de modelos maiores ou de in-context learning puro.

A abordagem demonstra que a separação de responsabilidades (onde um módulo extrai e filtra informações e outro gera) é uma estratégia eficaz para tarefas complexas de parsing semântico, oferecendo não apenas maior precisão, mas também sistemas mais robustos e explicáveis para a interação homem-máquina com bancos de dados.

Código Fonte: O projeto foi aberto na GitHub: https://github.com/DMIRLAB-Group/Track-SQL.