Resumo Técnico: ACE-SQL

Declaração do Problema

Os sistemas de Text-to-SQL enfrentam um gargalo crítico no vínculo de esquema (schema linking), particularmente ao lidar com bancos de dados modernos que contêm esquemas grandes e complexos. As abordagens existentes geralmente se dividem em duas categorias, ambas as quais sofrem de um descompasso de supervisão condicionado ao gerador:

1. Geração de Esquema Completo: Estes métodos aprendem implicitamente a seleção de esquema dentro da geração de SQL de ponta a ponta. No entanto, isso deixa o vínculo de esquema dentro de um espaço de busca massivo, resultando frequentemente em uma precisão de execução inferior em comparação ao uso de colunas de ouro (gold/ground-truth).
2. Pipelines de Recuperação-Gerador (Retriever-Generator): Estes sistemas utilizam um recuperador treinado em anotações estáticas de colunas de ouro para selecionar explicitamente componentes do esquema antes da geração. A limitação aqui é que o recuperador está ancorado a alvos "de ouro" fixos. Como demonstrado no artigo, uma parte significativa (19,1% a 42,3%) das predições de SQL com execução correta depende de conjuntos de colunas não-ouro (rotas alternativas executáveis). Um recuperador treinado estritamente em rótulos de ouro estáticos penaliza essas rotas válidas preferidas pelo gerador, criando uma política suboptimal para o gerador atual.

O desafio central é que o vínculo de esquema e a geração de SQL estão acoplados: o recuperador define a distribuição de entrada do gerador, enquanto os outputs bem-sucedidos do gerador determinam quais configurações de esquema são válidas. Otimizá-los conjuntamente introduz uma dependência circular e interferência de gradiente, mas desacoplá-los leva ao descompasso de supervisão descrito acima.

Metodologia: ACE-SQL

Os autores propõem o ACE-SQL (Adaptive Co-Optimization via Empirical Credit Assignment), um framework de Aprendizado por Reforço (RL) que otimiza conjuntamente a recuperação de esquema e a geração de SQL sob uma política compartilhada ($\pi_\theta$). O framework opera em duas etapas:

1. Ajuste Fino Supervisionado (Cold Start)

Para garantir que o pipeline recuperador-gerador seja funcional antes do RL, os autores realizam um estágio de SFT de autodestilação usando o modelo Qwen3-8B.

• Filtragem de Fontes: Amostras são filtradas do dataset SynSQL-2.5M com base na complexidade e diversidade do esquema.
• Autodestilação Pareada: O modelo gera outputs do recuperador (conjuntos de colunas) via votação de consistência de auto-consistência. Estes definem esquemas podados para o gerador. Apenas pares onde a execução do gerador coincide com o SQL de ouro são retidos.
• SFT Misto: As amostras do recuperador e do gerador são treinadas juntas para inicializar a política compartilhada.

2. Treinamento Conjunto GRPO (Aprendizado por Reforço)

A inovação central reside no treinamento Joint Group Relative Policy Optimization (GRPO), que substitui alvos de ouro estáticos por alvos adaptativos on-policy derivados de feedback de execução.

• Adaptação Bidirecional:
  • Recuperador $\to$ Gerador: O recuperador amostra $N$ conjuntos de colunas, que são agregados via votação majoritária para criar um esquema podado ($\hat{S}$). Este esquema condiciona a entrada do gerador.
  • Gerador $\to$ Recuperador: O gerador produz $N$ consultas SQL. Execuções bem-sucedidas (correspondendo ao resultado de ouro) são usadas para atualizar um Pool de Conjuntos de Colunas Empírico.
• Atribuição de Crédito Empírica:
  • Em vez de visar um conjunto de colunas de ouro fixo, o alvo do recuperador é atualizado dinamicamente para o conjunto de colunas mais frequente ($S^\star(q)$) observado no pool empírico de rollouts com execução correta.
  • Este pool é inicializado com uniões de alta revocação de conjuntos de colunas e atualizado online com um fator de decaimento ($\gamma=0.5$) para priorizar evidências mais recentes enquanto retém rotas bem-sucedidas.
• Construção de Recompensa:
  • Ambos os papéis recebem recompensas esparsas controladas pela correção de execução (para o gerador) ou correspondência exata com o alvo empírico $S^\star(q)$ (para o recuperador).
  • Uma penalidade de comprimento clipada é aplicada para desencorajar outputs excessivamente longos, mas apenas se o output satisfizer a condição de recompensa esparsa.
• Mecanismos de Estabilização:
  • PCGrad (Cirurgia de Gradiente): Para mitigar a interferência de gradiente entre as perdas do recuperador e do gerador, os autores aplicam PCGrad para projetar gradientes conflitantes.
  • Cronograma de Peso do Gerador: A contribuição do gerador para a perda conjunta é aumentada linearmente de 0 para 1 durante os primeiros 25% dos passos de RL. Isso permite que os alvos do recuperador empírico se estabilizem antes que o gerador exerça influência total.

Principais Contribuições

1. Atribuição de Crédito On-Policy: O artigo formula a recuperação de esquema como um problema de atribuição de crédito on-policy. Em vez de depender de anotações de ouro estáticas, o ACE-SQL deriva alvos de recuperação adaptativos a partir de seus próprios rollouts de execução correta.
2. Framework Bidirecionalmente Adaptativo: O ACE-SQL cria um ciclo fechado onde o recuperador se adapta às preferências executáveis do gerador, e o gerador se adapta às seleções de esquema em evolução do recuperador, ambos fundamentados pela precisão de execução.
3. Otimização Conjunta Estabilizada: Os autores introduzem uma combinação de um pool de conjuntos de colunas empírico, PCGrad e um cronograma de peso do gerador para estabilizar o processo de otimização não estacionário e acoplado.
4. Eficiência e Desempenho: O método alcança alto desempenho com significativamente menos tokens de saída em comparação com as linhas de base de RL existentes.

Resultados Experimentais

Avaliado nos benchmarks BIRD Dev e Spider usando o backbone Qwen3-8B:

• BIRD Dev: O ACE-SQL alcança 65,3% de precisão de execução (EX) greedy, superando todas as linhas de base de código aberto listadas (ex: SQL-R1-7B com 63,7%, MTIR-SQL-8B com 63,6%).
• Spider: Alcança 87,2% de EX no conjunto de teste e 79,5% na variante desafiadora Spider-Realistic.
• Eficiência: O ACE-SQL usa apenas 0,93k tokens de saída por consulta no BIRD Dev. Isso é aproximadamente 3,3$\times$ menos tokens que o SQL-R1-7B (3,10k) e 2,2$\times$ menos que o MT-IR-SQL-8B (2,00k), apesar de alcançar maior precisão.
• Estudos de Ablação:
  • Remover o PCGrad ou o cronograma de peso do gerador leva a quedas de desempenho, confirmando a necessidade desses estabilizadores para o RL conjunto.
  • Usar alvos de ouro estáticos para o recuperador resulta em menor desempenho (64,7% vs 65,3%) e maior instabilidade, validando o benefício da atribuição de crédito empírica.
  • Recompensas esparsas superam recompensas densas neste cenário conjunto, pois recompensas densas podem levar à dominância de gradiente pelo recuperador e ao reward hacking.

Significância e Alegações

O artigo afirma que o ACE-SQL fornece uma direção prática para construir sistemas de Text-to-SQL eficientes e robustos para bancos de dados complexos do mundo real. Ao se afastar da supervisão estática e abraçar a adaptação bidirecional, o framework resolve a tensão entre a recuperação de esquema e a geração de SQL.

Os autores enfatizam que sua abordagem oferece uma nova perspectiva sobre a atribuição de crédito upstream-downstream em pipelines de LLM de múltiplos estágios. Eles argumentam que sinais alinhados com a execução são superiores a anotações estáticas para rastrear rotas executáveis on-policy, permitindo que o modelo aproveite seus próprios padrões de raciocínio aprendidos em vez de ser limitado por rótulos de ouro potencialmente subótimos. O trabalho sugere que a recuperação de esquema explícita, quando co-otimizada com a geração, pode melhorar tanto a qualidade quanto a eficiência da inferência sem depender de uma geração massiva de tokens.

Limitações: Os autores observam que os experimentos são limitados a um único modelo de 8B (Qwen3-8B) e dependem de dados de treinamento sintéticos (SynSQL-2.5M). Eles reconhecem que escalar para modelos maiores ou usar pares de consultas-banco de dados do mundo real pode revelar dinâmicas diferentes, e que a inicialização do pool empírico a partir de um checkpoint de SFT pode subexplorar as preferências iniciais do modelo base.