Text2SQL-Flow: A Robust SQL-Aware Data Augmentation Framework for Text-to-SQL

Resumo Técnico: TEXT2SQL-FLOW

1. O Problema (Problem)

O avanço de modelos de linguagem (LLMs) para a tarefa de Text-to-SQL (traduzir linguagem natural para consultas SQL) é atualmente limitado pela escassez de dados de treinamento de alta qualidade. Os conjuntos de dados existentes (como Spider e BIRD) sofrem de três problemas principais:

• Escassez de escala: A anotação manual é cara e lenta.
• Baixa diversidade: Os dados existentes possuem padrões estruturais e semânticos limitados.
• Simplicidade estrutural: As consultas SQL em datasets públicos muitas vezes não refletem a complexidade do mundo real (como subconsultas complexas ou funções de janela).

O desafio central é como expandir esses dados limitados de forma que o novo conjunto seja semanticamente válido, estruturalmente diverso e capaz de melhorar o desempenho de modelos tanto de código aberto quanto de código fechado.

2. Metodologia (Methodology)

Os autores propõem o TEXT2SQL-FLOW, um framework de aumento de dados centrado em dados (data-centric) que opera em duas dimensões de diversidade:

A. Diversidade ao Nível de Distribuição (Distribution-level):
Para evitar o sobreajuste (overfitting) a esquemas de bancos de dados específicos, o framework introduz bancos de dados auxiliares. Eles utilizam um algoritmo de seleção baseado em uma pontuação de complexidade de esquema (considerando número de tabelas, colunas e densidade de chaves estrangeiras) para garantir que os novos dados cubram uma ampla gama de estruturas de dados.

B. Diversidade ao Nível de Consulta (Query-level):
O framework utiliza LLMs para transformar consultas SQL existentes através de seis dimensões de aumento:

1. Data Value Transformations (DVT): Modificação de parâmetros e filtros.
2. Query Structure Modifications (QSM): Alteração da forma estrutural (ex: trocar JOIN por EXISTS).
3. Business Logic Changes (BLC): Mudança de objetivos analíticos.
4. Complexity Enhancements (CE): Adição de condições e tabelas extras.
5. Advanced SQL Features (ASF): Uso de funções de janela e operações de conjunto.
6. Performance and Optimization (PO): Reestruturação para eficiência.

C. Pipeline de Garantia de Qualidade (End-to-End Pipeline):
Para garantir que os dados sintéticos sejam úteis, o framework integra:

• Filtro de Executabilidade: Verifica se o SQL é válido via EXPLAIN.
• Geração de Perguntas NL: Gera perguntas em diversos estilos (formal, coloquial, etc.).
• Filtro de Correspondência NL-SQL: Um LLM verifica se a pergunta e o SQL possuem a mesma intenção semântica.
• Geração de Cadeia de Pensamento (CoT): Gera rastros de raciocínio passo a passo para auxiliar o treinamento de modelos de código aberto.

D. Recuperação para Modelos de Código Fechado (Prompt-based):
Para modelos como GPT-4, propõem o Masked Alignment Retrieval. Em vez de buscar exemplos por similaridade semântica superficial, o método mascara elementos dependentes do esquema (nomes de tabelas/colunas) para focar na similaridade estrutural entre a pergunta e a lógica do SQL.

3. Principais Contribuições (Key Contributions)

1. Framework TEXT2SQL-FLOW: Um sistema robusto e escalável para aumentar dados de Text-to-SQL de forma sistemática.
2. Dataset SQLFLOW: A criação de um novo dataset de alta qualidade com 75.386 exemplos anotados, superando em diversidade e complexidade os datasets originais.
3. Método de Recuperação de Alinhamento Mascarado: Uma técnica inovadora para melhorar o in-context learning de modelos de código fechado através de correspondência estrutural.

4. Resultados (Results)

• Modelos de Código Aberto (Fine-tuning): O treinamento com o SQLFLOW resultou em ganhos significativos. Por exemplo, o modelo Qwen2.5-Coder-7B-Instruct teve um aumento de 19,1% na precisão no benchmark EHRSQL em comparação com o baseline. O modelo treinado com SQLFLOW superou o dataset SynSQL (mesmo com escala similar) em quase todos os testes.
• Modelos de Código Fechado (Prompting): A estratégia de recuperação proposta superou os métodos de similaridade semântica tradicionais, alcançando 61,0% no BIRD-dev e 83,5% no Spider-dev.
• Robustez: O framework mostrou-se resiliente, funcionando bem mesmo quando os dados são gerados por LLMs menos potentes (como GPT-3.5), provando que o processo de filtragem e estruturação é o fator determinante.

5. Significância (Significance)

O trabalho demonstra uma mudança de paradigma: em vez de focar apenas em arquiteturas de modelos maiores, o foco no refinamento e aumento de dados estruturados é uma via mais eficiente para resolver tarefas complexas de Text-to-SQL. O TEXT2SQL-FLOW estabelece uma base escalável para o desenvolvimento de sistemas de IA que interagem com bancos de dados, garantindo que os modelos aprendam não apenas a sintaxe, mas a lógica e a diversidade do mundo real.