Cheaper, Better, Faster, Stronger: Robust Text-to-SQL without Chain-of-Thought or Fine-Tuning

1. Declaração do Problema

As abordagens atuais de Estado da Arte (SOTA) para Text-to-SQL dependem fortemente de técnicas computacionalmente caras para alcançar alta precisão:

• Autoconsistência de Cadeia de Pensamento (CoT): Gera múltiplas consultas candidatas por meio de caminhos de raciocínio (frequentemente exigindo 20–100+ chamadas de LLM por consulta) para selecionar a resposta mais consistente.
• Ajuste Fino (Fine-Tuning): Requer extensa rotulagem de dados e treinamento de modelo, incorrendo em custos na casa de milhares de dólares.
• Custo vs. Desempenho: Esses métodos podem custar até $0,46 por consulta (por exemplo, CHASE, CHESS) e frequentemente exigem modelos grandes. Os autores argumentam que essas abordagens são superengenhariadas para tarefas específicas e falham em abordar a sensibilidade fundamental dos Modelos de Linguagem de Grande Escala (LLMs) aos formatos de representação de esquema.

2. Metodologia: O Framework N-rep

Os autores propõem a "Consistência N-rep" (N-representação), um framework que gera consultas SQL robustas aproveitando múltiplas representações textuais do esquema do banco de dados, em vez de múltiplos caminhos de raciocínio. O framework opera em três etapas:

A. Linker de Esquema

Em vez de uma única entrada de esquema, o esquema do banco de dados é convertido em $n$ representações textuais diferentes (por exemplo, DDL, MAC-Schema, M-Schema, JSON, Python/SQLAlchemy).

• Processo: Para cada representação, o sistema prevê tabelas e colunas relevantes.
• Níveis de Filtragem: Para aumentar a diversidade, três estratégias de filtragem são aplicadas ao esquema antes da geração:
  1. Sem Filtragem: Esquema completo.
  2. Apenas Tabelas: Tabelas selecionadas com todas as suas colunas.
  3. Filtragem Completa: Tabelas selecionadas apenas com as colunas relevantes previstas.
• Objetivo: Isso cria um conjunto diversificado de "candidatos de ligação de esquema" sem depender de amostragem por temperatura ou raciocínio CoT.

B. Gerador de Candidatos

Um LLM gera candidatos SQL usando as representações de esquema diversas produzidas na etapa anterior.

• Entrada: Uma representação específica de esquema (filtrada ou não filtrada), a Pergunta em Linguagem Natural (NLQ) e 3 exemplos few-shot.
• Eficiência: Diferentemente dos métodos CoT que geram longas cadeias de raciocínio, o N-rep gera consultas SQL diretas, reduzindo significativamente o uso de tokens por candidato.

C. Selecionador de Candidatos

Uma estratégia de seleção de dois estágios consciente de confiança é usada para escolher o SQL final:

1. Votação Regular: Os candidatos são votados com base em resultados de execução ou correspondência de strings.
2. Limiar de Confiança: Se a distribuição de votos indicar alta confiança (por exemplo, uma maioria clara), o candidato principal é selecionado imediatamente.
3. Resolução de Empate Baseada em LLM: Se a confiança for baixa (por exemplo, um empate entre os principais candidatos), uma comparação pareada secundária baseada em LLM (semelhante ao CHASE-SQL) é acionada apenas para esses casos específicos de baixa confiança. Isso minimiza chamadas desnecessárias de LLM.

3. Principais Contribuições

• Eficiência de Custos: O N-rep alcança desempenho no nível de SOTA a uma fração do custo. Reduz o custo por consulta de ~$0,46 para $0,039 (uma redução de ~8,7x).
• Sem Ajuste Fino ou CoT: O método alcança robustez sem ajuste fino de modelo ou raciocínio de Cadeia de Pensamento caro, dependendo em vez disso da diversidade de representação de esquema.
• Agnosticismo de Modelo: A abordagem funciona efetivamente com modelos open-source menores e mais baratos (por exemplo, Qwen3-8B), estreitando a lacuna de desempenho entre modelos pequenos e grandes.
• Robustez: Ao variar os formatos de esquema, o método mitiga a "sensibilidade de entrada" dos LLMs, onde um único formato de esquema pode causar alucinações ou erros de ligação.

4. Resultados Experimentais

O framework foi avaliado nos benchmarks BIRD e SPIDER.

Desempenho no BIRD (Conjunto de Desenvolvimento):

• Precisão de Execução (EX): O N-rep alcançou 69,25%, superando a linha de base Gemini 2.5 Pro (66,82%) e o método CHESS (68,31%).
• Comparação de Custos:
  • N-rep: $0,039/consulta (8 chamadas de LLM em média).
  • Gemini 2.5 Pro: $0,047/consulta.
  • CHASE: $0,44/consulta (100+ chamadas).
  • CHESS: $0,46/consulta.
• Ganhos em Modelos Pequenos: Quando aplicado ao Qwen3-8B, o N-rep melhorou a EX de 44,98% para 57,04% (+12 pontos), demonstrando que a diversidade de esquema compensa limitações de tamanho do modelo.

Desempenho no SPIDER (Conjunto de Teste):

• O N-rep alcançou 87,0% de EX, superando o DAIL-SQL (86,6%) e o CHESS (87,2%), e ficando muito próximo do MiniSeek de melhor desempenho (91,2%).

5. Significado e Conclusão

O artigo desafia a tendência predominante de usar raciocínio massivo de CoT e ajuste fino para Text-to-SQL. Os autores demonstram que o conhecimento específico de domínio (entender como a representação do esquema afeta o desempenho do LLM) é mais eficaz do que estratégias de raciocínio genéricas.

• Insight Chave: Os LLMs são altamente sensíveis à forma como os esquemas de banco de dados são formatados. Ao fornecer múltiplas representações, o sistema cria um efeito de "consistência" semelhante à autoconsistência, mas através da diversidade de entrada em vez da diversidade de raciocínio.
• Impacto: O N-rep oferece uma solução prática, escalável e econômica para aplicações empresariais de Text-to-SQL, provando que modelos "mais baratos" com engenharia inteligente podem superar abordagens caras e pesadas em raciocínio.

Limitações: A implementação atual depende de representações de esquema selecionadas manualmente. Trabalhos futuros visam automatizar a geração de formatos de esquema diversos e otimizar a política de votação consciente de confiança para contagens arbitrárias de candidatos.