Schema on the Inside: A Two-Phase Fine-Tuning Method for High-Efficiency Text-to-SQL at Scale

Resumo Técnico: Schema on the Inside

1. O Problema

A aplicação de Grandes Modelos de Linguagem (LLMs) proprietários via API para tarefas de Texto-para-SQL enfrenta barreiras significativas em ambientes de produção em escala:

• Custo e Latência: A abordagem padrão envolve enviar prompts massivos contendo a pergunta do usuário, o esquema completo do banco de dados e exemplos (few-shot). Isso resulta em milhares de tokens por requisição, gerando custos de API proibitivos (cobrança por token) e alta latência.
• Desempenho Insuficiente: No caso de estudo da empresa (Dream11/CriQ), o protótipo inicial baseado em API (Gemini Flash) apresentava latência excessiva (vários segundos), levando ao abandono de consultas, e uma taxa de sucesso inconsistente (82% de precisão de execução).
• Escalabilidade: A dependência de contextos longos impede a escalabilidade eficiente para milhões de usuários, como os 250 milhões da plataforma Dream11.

2. Metodologia Proposta

Os autores desenvolveram uma solução baseada em um modelo auto-hospedado de 8 bilhões de parâmetros (baseado na arquitetura Qwen 3), utilizando uma abordagem inovadora de Internalização do Esquema (Schema Internalization). Em vez de fornecer o esquema no prompt, o modelo "aprende" e memoriza a estrutura do banco de dados em seus pesos paramétricos.

A metodologia central é um Método de Ajuste Fino (Fine-Tuning) em Duas Fases:

• Fase 1: Aprendizado e Associação do Esquema (Schema Learning & Association)

  • Objetivo: Ensinar ao modelo a tarefa complexa de gerar SQL e memorizar explicitamente a estrutura do banco de dados.
  • Dados:
    1. Geração de SQL em Contexto Completo (80.000 exemplos): O modelo é treinado com prompts longos (17k tokens) contendo o esquema e a pergunta, aprendendo a lógica de junção e filtragem.
    2. Memorização Explícita do Esquema (15.000 exemplos): O modelo é treinado com prompts do tipo "Forneça os detalhes completos do esquema para o ID 'cricket stats db v1'". Isso força o modelo a codificar a estrutura do banco de dados em seus parâmetros, associando-a a um identificador único (ID).
  • Resultado: Cria-se um adaptador LoRA (Low-Rank Adaptation) que possui conhecimento profundo do esquema.

• Fase 2: Recordação e Aplicação do Esquema (Schema Recall & Application)

  • Objetivo: Forçar o modelo a utilizar o conhecimento internalizado sem depender do contexto longo.
  • Processo: O adaptador da Fase 1 é treinado adicionalmente em 150.000 exemplos, mas agora usando apenas prompts mínimos (apenas a pergunta do usuário + o ID do banco de dados).
  • Mecanismo: O modelo reconhece o "gatilho" (o ID do banco) e recupera o esquema memorizado de seus pesos internos para gerar a consulta SQL correta.

Tecnologias Utilizadas:

• Modelo Base: Qwen 3 8B.
• Técnica de Ajuste: LoRA (Rank 64, Alpha 128) para eficiência de parâmetros.
• Hardware: Cluster de 8x NVIDIA H100 80GB.
• Inferência: vLLM (usando PagedAttention para alta vazão).

3. Contribuições Principais

1. Técnica de Ajuste Fino em Duas Fases: Uma receita prática e validada que permite a internalização robusta de esquemas de banco de dados, eliminando a necessidade de prompts longos.
2. Estudo de Caso em Produção: Documentação completa da transição de um protótipo baseado em API para um sistema auto-hospedado otimizado, servindo como um "blueprint" para equilibrar precisão, latência e custo.
3. Redução Drástica de Tokens: A abordagem reduz o tamanho do prompt de entrada em mais de 99% (de ~17.000 tokens para <100 tokens), substituindo chamadas de API caras por inferência local eficiente.

4. Resultados

O sistema foi comparado com uma linha de base aprimorada (Gemini 2.0 Flash com prompt de 17k tokens) em um conjunto de teste de 30.000 consultas reais:

Estudos de Ablação:

• Fase Única vs. Duas Fases: Um modelo treinado apenas com prompts mínimos (sem a Fase 1 de ensino completo) atingiu apenas 74,96% de precisão, provando que a fase inicial de "ensino" é crucial.
• Memorização Explícita: Remover os exemplos de memorização explícita na Fase 1 fez a precisão cair para 87,2%, demonstrando que a memorização ativa é necessária para uma recordação confiável.
• Escala do Modelo: Modelos menores que 8B parâmetros não atingiram a precisão necessária, enquanto o modelo de 8B ofereceu o melhor equilíbrio entre custo e desempenho.

5. Significado e Impacto Industrial

• Viabilidade Econômica: A mudança de um modelo de custo variável (API paga por token) para um custo fixo de infraestrutura permite a escalabilidade para milhões de usuários sem custos operacionais explosivos.
• Confiabilidade do Usuário: O aumento na precisão semântica garante que os usuários recebam respostas corretas, construindo confiança no assistente de IA.
• Generalização: A abordagem é aplicável a qualquer domínio onde o contexto (esquema de banco de dados, documentação de API, manuais de regras) seja grande, mas estático.
• Limitação: A solução depende de um esquema estático; alterações significativas no banco de dados exigiriam um novo ciclo de ajuste fino.

Em conclusão, o artigo demonstra que, para aplicações de alta escala com esquemas fixos, o investimento em ajuste fino especializado para internalização de conhecimento é superior à dependência de prompts longos e APIs genéricas, oferecendo um caminho prático para LLMs de alta precisão e baixa latência em produção.