💬 NLP

Reliable Answers for Recurring Questions: Boosting Text-to-SQL Accuracy with Template Constrained Decoding

O artigo apresenta o TeCoD, um sistema que melhora a precisão de Text-to-SQL e reduz a latência ao aproveitar padrões recorrentes de consultas para selecionar modelos reutilizáveis e impô-los por meio de decodificação restrita por gramática.

Autores originais: Smit Jivani, Sarvam Maheshwari, Sunita Sarawagi

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Smit Jivani, Sarvam Maheshwari, Sunita Sarawagi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O "Estagiário Excessivamente Confiante"

Imagine que você tem um estagiário muito inteligente, mas inexperiente (um Modelo de Linguagem Grande ou LLM), cujo trabalho é traduzir suas perguntas em inglês para uma linguagem de computador específica chamada SQL, que os bancos de dados entendem.

Quando você faz uma pergunta simples como "Mostre-me as vendas da semana passada", o estagiário geralmente faz um ótimo trabalho. Mas quando você faz uma pergunta complexa ou ligeiramente incomum, o estagiário começa a adivinhar. Às vezes, o palpite está errado, e o computador trava ou fornece a resposta errada. Isso é especialmente ruim para grandes empresas (empresas) que possuem seus próprios bancos de dados privados que o estagiário nunca viu antes.

O melhor truque atual para ajudar o estagiário é a Aprendizagem em Contexto (ICL). Isso é como dar ao estagiário uma cola com alguns exemplos de perguntas passadas e suas respostas corretas logo antes de ele responder a uma nova pergunta. Isso ajuda, mas o artigo mostra que, mesmo com essa cola, o estagiário ainda comete erros em cerca de 30-40% das perguntas.

A Solução: A "Biblioteca de Modelos" (TeCoD)

Os autores, Smit Jivani, Sarvam Maheshwari e Sunita Sarawagi, notaram algo importante sobre como as pessoas fazem perguntas na vida real: Nós nos repetimos.

Se você trabalha em um banco, pode perguntar hoje: "Quantos clientes em Londres têm mais de US$ 5.000?". Na próxima semana, você pode perguntar: "Quantos clientes em Paris têm mais de US$ 10.000?". As palavras mudam, mas a estrutura da pergunta é idêntica.

A equipe criou um sistema chamado TeCoD (Decodificação Restrita por Modelos) que atua como um Livro de Receitas Mestre para essas perguntas recorrentes.

Como o TeCoD Funciona (Os Três Passos)

1. A Extração da Receita (Criação do Modelo)
Em vez de salvar cada pergunta e resposta exatamente como são, o TeCoD olha para respostas corretas passadas e remove os detalhes específicos (como "Londres" ou "US$ 5.000"), deixando para trás um "esqueleto" ou modelo.

Analogia: Imagine um cortador de biscoitos. A forma específica do biscoito (os números e nomes) muda, mas o cortador (o modelo) permanece o mesmo. O TeCoD salva o cortador.

2. O Casamenteiro (Seleção do Modelo)
Quando uma nova pergunta chega, o TeCoD não apenas adivinha. Ele executa um "Casamenteiro" especial (um modelo de IA inteligente) para ver se a nova pergunta se encaixa em algum dos cortadores de biscoitos salvos.

A Inovação: O artigo diz que matemática simples (comparar similaridade de palavras) não é boa o suficiente. Então, eles treinaram seu Casamenteiro para agir como um detetive de lógica. Ele pergunta: "Esta nova pergunta se encaixa logicamente no padrão desta receita antiga?"
Resultado: Esta etapa é incrivelmente precisa (91%), garantindo que eles usem um modelo apenas se for uma combinação perfeita.

3. O Chef Rigoroso (Decodificação Restrita)
Se uma correspondência for encontrada, o TeCoD não deixa o estagiário adivinhar a resposta livremente. Em vez disso, ele força o estagiário a preencher os espaços em branco da receita usando uma regra gramatical estrita.

Analogia: Imagine que você está preenchendo um formulário. Você não pode escrever o que quiser; deve seguir as linhas e o tipo específico de tinta permitido. O TeCoD força a IA a gerar apenas as palavras específicas que se encaixam na forma do "cortador de biscoitos", impedindo-a de inventar código SQL estranho que não funciona.

Por Que Isso é Importante

1. É Muito Mais Preciso
O artigo testou isso em benchmarks padrão (BIRD e Spider).

Método Antigo (Apenas Cola): O estagiário acertou cerca de 60% das perguntas recorrentes.
Método TeCoD: O sistema acertou quase 90%.
Metáfora: É como fazer a transição de um aluno adivinhando em uma prova para um chef seguindo uma receita comprovada.

2. É Mais Rápido
Como o sistema conhece a estrutura da resposta com antecedência, ele não precisa "pensar" em toda a frase do zero. Ele só precisa preencher os espaços em branco.

Resultado: O sistema é 2,2 vezes mais rápido para essas perguntas correspondentes.

3. Não Precisa "Reaprender" Tudo
Geralmente, para ficar melhor em um banco de dados específico de uma empresa, você precisa retreinar a IA (ajuste fino), o que é caro e lento. O TeCoD não precisa disso. Ele apenas adiciona novas "receitas" à sua biblioteca à medida que as vê. É como adicionar uma nova página a um livro de receitas em vez de reescrever todo o livro.

O Que Acontece Quando Não Há Correspondência?

E se você fizer uma pergunta totalmente nova que não se encaixa em nenhuma receita?

O TeCoD tem uma rede de segurança. Se o Casamenteiro disser: "Não, isso não se encaixa em nenhuma de nossas receitas", o sistema simplesmente recua para o método padrão (a cola/Aprendizagem em Contexto). Ele não quebra; apenas volta ao método mais lento e menos preciso para aquela pergunta específica.

A Conclusão

O artigo argumenta que, para negócios do mundo real, a maioria das perguntas são apenas variações de perguntas feitas antes. O TeCoD explora isso transformando sucessos passados em modelos rígidos. Ao forçar a IA a aderir a esses modelos quando possível, eles obtêm precisão quase perfeita e velocidades mais rápidas sem precisar retreinar o modelo de IA.

Principais Conclusões: Não deixe a IA adivinhar toda a resposta toda vez. Se você já viu a pergunta antes, dê a ela um modelo para preencher, e ela será muito mais confiável.

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham melhorado a geração de Text-to-SQL, sua implantação em ambientes empresariais enfrenta dois desafios críticos:

Precisão Inconsistente: O desempenho varia significativamente entre diferentes esquemas de banco de dados, frequentemente falhando em esquemas complexos ou não vistos. Benchmarks padrão (como Spider ou BIRD) frequentemente avaliam o desempenho zero-shot ou few-shot em esquemas não vistos, o que não reflete a realidade das cargas de trabalho empresariais, onde esquemas específicos são consultados repetidamente.
Geração de SQL Inválido: LLMs frequentemente geram SQL sintaticamente inválido ou SQL que executa, mas retorna resultados incorretos devido a alucinações em constantes ou lógica.
Limitações da Adaptação Atual:
- Ajuste Fino (Fine-tuning): Requer grandes conjuntos de dados rotulados, é caro e arrisca o esquecimento catastrófico.
- Aprendizado em Contexto (ICL): Embora eficaz, é inconsistente. O artigo demonstra que, mesmo com exemplos relevantes no prompt, os LLMs frequentemente falham em replicar a estrutura SQL correta se a consulta diferir ligeiramente em constantes (por exemplo, alterar um nome de cidade ou um número), levando a erros estruturais.

Premissa Central: As cargas de trabalho empresariais contêm uma alta frequência de padrões de consulta recorrentes. Embora a formulação em linguagem natural varie, a estrutura SQL subjacente para perguntas comerciais comuns é frequentemente idêntica, diferindo apenas em literais específicos (constantes).

2. Metodologia: Sistema TeCoD

Os autores propõem o TeCoD (Template Constrained Decoding), um sistema que aproveita cargas de trabalho rotuladas históricas para melhorar a precisão e a latência. O sistema opera em duas fases:

A. Fase de Preparação (Offline)

Extração de Templates: Pares históricos (Consulta em Linguagem Natural, SQL) são convertidos em templates. Constantes e literais no SQL são mascarados (por exemplo, substituídos por [string] ou [number]), criando uma estrutura SQL parametrizada.
Aumento Sintético: Para criar chaves de busca robustas, o sistema usa um LLM para gerar múltiplos paráfrases sintéticos da Consulta em Linguagem Natural (NLQ) original que mapeiam para o mesmo template.
Mascaramento e Indexação: As NLQs sintéticas são "mascaradas" (removendo menções a literais específicos) para criar uma chave de busca genérica. Essas NLQs mascaradas são incorporadas e indexadas juntamente com suas gramáticas compiladas correspondentes.
Compilação de Gramática: O template SQL é convertido em uma Gramática Livre de Contexto (CFG) ou Expressão Regular flexível. Diferentemente de strings fixas, essa gramática permite variações em maiúsculas/minúsculas de palavras-chave, espaços em branco e formatação para alinhar com as preferências de tokenização específicas do LLM.

B. Fase de Inferência (Online)

Correspondência de Template:
- Quando uma consulta de usuário chega, o sistema primeiro recupera os $k$ melhores candidatos de templates usando similaridade de cosseno em embeddings.
- Validação NLI: Um modelo de Inferência de Linguagem Natural (NLI) ajustado (por exemplo, DistilBERT ou Qwen) valida os candidatos. Ele determina se a consulta do usuário implica o template mascarado (significando que a estrutura SQL corresponde), é neutra ou contradiz o template. Esta etapa filtra falsos positivos que uma busca simples por similaridade poderia capturar.
Geração Condicional:
- Se uma correspondência for encontrada: O sistema aciona a Decodificação Constrained por Templates.
- Se nenhuma correspondência for encontrada: O sistema recorre ao Aprendizado em Contexto (ICL) padrão ou geração Zero-Shot.
Decodificação Partitionada (Otimização de Eficiência):
- Em vez de decodificar todo o SQL token por token sob restrições gramaticais estritas (o que é computacionalmente caro), o TeCoD usa uma abordagem de duas fases:
  - Fase 1 (Estática): As partes estáticas do template (palavras-chave, estrutura) são pré-computadas e seus IDs de token são armazenados em cache. O KV-cache do LLM é inicializado com esses tokens.
  - Fase 2 (Dinâmica): O LLM gera apenas os literais mascarados específicos (strings/números) usando decodificação constrained com uma expressão regular simples, guiado pelo contexto pré-computado.
- Isso reduz significativamente a latência ao evitar computação redundante para as partes estáticas da consulta.

3. Contribuições Principais

Paradigma de Decodificação Constrained por Templates: Introduziu uma abordagem inovadora para Text-to-SQL que combina padrões de carga de trabalho históricos com decodificação constrained por gramática para garantir validade sintática e consistência estrutural.
Correspondente de Template Robusto: Projetou um módulo de correspondência de alta precisão usando um modelo NLI e aumento de dados sintéticos. Isso alcança ~~91% de precisão de seleção/rejeição, superando significativamente as linhas de base de similaridade de cosseno simples (~~73%).
Decodificação Partitionada Eficiente: Desenvolveu um algoritmo de decodificação de duas fases que separa tokens de template estáticos de literais dinâmicos. Isso reduz a latência de inferência em 2,2× em comparação com bibliotecas padrão de decodificação constrained, mantendo a precisão.
Representação de Gramática Flexível: Propôs converter templates SQL em gramáticas flexíveis (lidando com variações de caixa, espaços em branco e formatação) em vez de strings fixas, garantindo que o LLM possa gerar SQL válido independentemente de seus vieses específicos de formatação.

4. Resultados e Avaliação

O sistema foi avaliado nos benchmarks BIRD e Spider usando vários LLMs (incluindo CodeS, Llama-3, Granite e XiYanSQL).

Ganhos de Precisão:
- Para consultas correspondentes (consultas que se encaixam em um template armazenado), o TeCoD alcançou ~90% de precisão de Correspondência de Execução (ExM), comparado a ~60% para Aprendizado em Contexto (ICL) padrão.
- Isso representa um salto de precisão de até 36% sobre as linhas de base ICL.
- O TeCoD permitiu que modelos menores (por exemplo, Granite-8B) corresponderam ou superassem o desempenho de modelos maiores e especializados (por exemplo, QwenCoder-14B).
Melhorias de Latência:
- O TeCoD reduziu a latência de inferência em 1,5× a 2,2× em comparação com métodos padrão de decodificação constrained.
- Para modelos de raciocínio (como Arctic-R1), a latência caiu de ~20 segundos para ~6 segundos por consulta.
Robustez:
- O sistema manteve alta precisão mesmo quando os templates SQL tinham formatação variável (caixa, espaçamento), enquanto abordagens de "Template Fixo" falharam significativamente sob perturbações de formatação.
Relevância do Mundo Real: A análise da carga de trabalho de um grande banco mostrou que >50% das consultas podiam ser correspondidas a um template recorrente, validando a aplicabilidade do sistema em ambientes empresariais.

5. Significado

Viabilidade Empresarial: O TeCoD oferece uma solução prática para empresas com esquemas privados e dados rotulados limitados. Melhora a precisão sem exigir ajuste fino caro, tornando-o adequado para ambientes multi-inquilino.
Confiabilidade: Ao impor restrições estruturais via gramática, o TeCoD elimina o risco de gerar SQL sintaticamente inválido, um grande obstáculo na implantação em produção.
Escalabilidade: O sistema é projetado para aprendizado incremental; à medida que novas consultas verificadas por especialistas chegam, elas podem ser convertidas em templates e adicionadas ao pool, melhorando continuamente a cobertura e a precisão ao longo do tempo.
Custo-Efetividade: Ao permitir que LLMs menores e mais rápidos alcancem alta precisão através da decodificação constrained, o TeCoD reduz o custo computacional e a latência associados ao uso de modelos massivos e especializados para tarefas de Text-to-SQL.

Em conclusão, o TeCoD preenche a lacuna entre a flexibilidade dos LLMs e a rigidez necessária para interações confiáveis com bancos de dados, provando que aproveitar padrões recorrentes em cargas de trabalho empresariais é uma estratégia altamente eficaz para impulsionar o desempenho de Text-to-SQL.