Resumo Técnico: SQLConductor

1. Declaração do Problema

O Text-to-SQL no mundo real continua sendo um desafio devido à necessidade de um raciocínio coordenado sobre ambientes de banco de dados complexos e heterogêneos. Os sistemas existentes geralmente se dividem em duas categorias, ambas as quais exibem limitações de adaptabilidade:

• Pipelines Fixos: Estes dependem de ordens de estágios pré-definidas e rígidas (ex: vinculação de esquema $\to$ recuperação de valores $\to$ geração $\to$ revisão). Embora estruturados, eles não podem reconsiderar decisões anteriores com base em feedback intermediário ou erros de execução, levando à propagação de erros.
• Orquestração de Planejar-então-Executar: Estes métodos geram um plano de fluxo de trabalho completo antes da execução. Embora mais flexíveis que os pipelines fixos, eles ainda se comprometem com uma sequência estática uma vez que a execução começa, impedindo o sistema de se adaptar a artefatos intermediários ou ao feedback de execução durante o processo de resolução.

O desafio central é aprender uma política de orquestração passo a passo que possa selecionar dinamicamente a próxima ação com base no contexto de resolução atual e na evidência intermediária, sem depender de dados de fluxo de trabalho criados por humanos ou incorrer em custos proibitivos de busca online durante a inferência.

2. Metodologia: SQLConductor

O SQLConductor é um framework de aprendizado de orquestração passo a passo que separa a organização do processo (orquestração) da execução da subtarefa (raciocínio). Ele emprega um paradigma de Aprendizado de Busca-para-Política (Search-to-Policy Learning), transformando a ampla busca de fluxo de trabalho offline em uma política implantável para inferência eficiente.

2.1 Espaço de Ação

O sistema define um espaço de ação modular $\mathcal{A}$ composto por sete módulos especializados, invocados por Grandes Modelos de Linguagem (LLMs) congelados:

1. Decomposição de Questão ($a_{dec}$): Reescreve questões complexas em requisitos detalhados.
2. Extração de Valor Relevante ($a_{val}$): Identifica valores de condição para predicados SQL.
3. Identificação de Operação ($a_{op}$): Registra operações SQL necessárias (ex: agregação, ordenação).
4. Poda de Esquema ($a_{sch}$): Seleciona tabelas e colunas relevantes.
5. Geração de Consulta SQL ($a_{gen}$): Sintetiza um candidato a SQL.
6. Refinamento de Consulta SQL ($a_{ref}$): Corrige erros de sintaxe ou de execução.
7. Terminar e Saída ($a_{term}$): Encerra o fluxo de trabalho e retorna o SQL final.

2.2 Aprendizado de Busca-para-Política

O processo de treinamento consiste em uma fase offline e uma fase de implantação online.

Fase 1: Treinamento de Busca-para-Política Offline

1. Exploração de Fluxo de Trabalho baseada em MCTS:

   • Para cada instância de treinamento, o SQLConductor realiza uma Busca em Árvore de Monte Carlo (Mestre Carlo Tree Search - MCTS) sobre o espaço de ação.
   • Os nós representam estados de orquestração; as arestas representam seleções de ações.
   • A busca explora composições e profundidades de ação diversas, guiadas por recompensas de consistência de execução (medindo se o SQL gerado produz resultados consistentes através de múltiplas amostras).
   • Isso gera um conjunto diversificado de trajetórias candidatas $\mathcal{X}(q, D)$.

2. Curadoria de Supervisão de Fluxo de Trabalho:

   • Extração de Esqueleto: As trajetórias são agrupadas por suas sequências de ações (esqueletos de fluxo de trabalho).
   • Estimativa de Estabilidade: Como o espaço de busca é combinatório e ruidoso, o SQLConductor estima a estabilidade de cada fluxo de trabalho usando a regra da sucessão de Laplace: $\hat{p}_\tau = \frac{s_\tau + 1}{n_\tau + 2}$, onde $s_\tau$ é a contagem de execuções bem-sucedidas e $n_\tau$ é a contagem total.
   • Seleção: São selecionados os top-$k$ fluxos de trabalho com as maiores pontuações de estabilidade. Uma trajetória bem-sucedida é amostrada de cada grupo como uma representante.
   • Aumento de Raciocínio: Um LLM implantado gera o raciocínio de nível de passo ($e_t$) explicando por que uma ação específica foi escolhida dado o contexto atual, criando uma trajetória aumentada $\bar{\xi}$.

3. Ajuste Fino Supervisionado (SFT) ponderado pela Estabilidade:

   • O modelo de política é treinado nas trajetórias aumentadas curadas.
   • Mascaramento: A função de perda mascara os tokens <results> (saídas da ação) para evitar que a política aprenda a prever saídas de ação, focando, em vez disso, nas decisões de orquestração.
   • Ponderação: As trajetórias são ponderadas por suas pontuações de estabilidade ($\hat{p}_\tau$) para priorizar padrões de orquestração robustos, preservando a diversidade.

4. Aprendizado por Reforço de Currículo (RL):

   • Para lidar com questões difíceis onde trajetórias bem-sucedidas são escassas, o sistema constrói um conjunto de currículo de instâncias desafiadoras (baixa razão de sucesso de MCTS).
   • Usando Otimização de Política Relativa de Grupo (Group Relative Policy Optimization - GRPO), a política realiza auto-rolagens (self-rollouts) nesses casos difíceis.
   • Recompensas: A função de recompensa combina Executabilidade (SQL válido) e Qualidade do Resultado (pontuação F1 de Execução contra o ground truth), incentivando a política a aprender estratégias de recuperação para casos complexos.

Fase 2: Implantação Online

• O modelo de política treinado coordena os módulos de ação congelados passo a passo.
• Em cada etapa, a política gera o raciocínio e seleciona a próxima ação com base no estado atual (evidência acumulada e feedback).
• O fluxo de trabalho é construído dinamicamente durante a execução, adaptando-se às demandas específicas da consulta.

3. Principais Contribuições

1. Framework de Orquestração Passo a Passo: O SQLConductor introduz um framework que desacopla a organização do processo da execução da subtarefa, permitendo fluxos de trabalho específicos para cada consulta com profundidades adaptativas e composições de módulos, ao contrário de pipelines fixos ou abordagens de planejar-então-executar.
2. Aprendizado de Busca-para-Política: O artigo propõe um mecanismo para treinar uma política de orquestração adaptável sem dados de fluxo de trabalho criados por humanos. Ele utiliza MCTS para exploração, estimativa de estabilidade para curadoria e uma combinação de SFT ponderado pela Estabilidade e RL de Currículo para treinamento.
3. Desempenho Empírico e Generalização:
   • BIRD-Dev: O SQLConductor alcança 73,2% de Acurácia de Execução (EX) no benchmark BIRD-Dev, superando métodos anteriores que treinam backbones de Text-to-SQL comparáveis ou maiores.
   • Eficiência de Parâmetros: Ele alcança esses resultados treinando apenas uma política de orquestração compacta (ex: 8B parâmetros) para coordenar modelos de ação maiores e congelados (ex: 32B), demonstrando uma eficiência de acurácia-por-parâmetro-treinado superior.
   • Generalização: O modelo mostra forte generalização em conjuntos de dados fora da distribuição (OOD) (Spider-Test, KaggleDBQA, ScienceBenchmark) sem re-treinamento específico do dataset.
   • Eficiência: Reduz significativamente o uso de tokens e os custos de API na inferência (aproximadamente 8x mais barato que baselines como CHESS), mantendo uma acurácia maior.

4. Significância e Alegações

O artigo alega que a orquestração aprendida é mais eficiente em termos de parâmetros e mais eficaz do que o treinamento adicional de um modelo de Text-to-SQL monolítico.

• Adaptabilidade vs. Força Bruta: Os resultados demonstram que os ganhos de desempenho não vêm simplesmente do aumento do comprimento do fluxo de trabalho ou do tamanho do modelo, mas da capacidade da política de alocar esforço de orquestração de forma adaptativa. A política treinada atribui mais etapas para consultas desafiadoras enquanto mantém as consultas simples eficientes.
• Robustez: A curadoria ponderada pela estabilidade garante que a política aprenda padrões robustos em vez de sucessos acidentais, permitindo que ela lide com consultas complexas, ruidosas e especializadas no domínio de forma eficaz.
• Escalabilidade: Ao separar a política de orquestração dos módulos de ação, o framework permite a integração de modelos de ação maiores ou especializados sem o retreinamento de todo o sistema, oferecendo um caminho escalável para tarefas complexas de Text-to-SQL.

Em resumo, o SQLConductor aborda a rigidez dos sistemas de Text-to-SQL existentes ao aprender uma política de orquestração passo a passo dinâmica que se adapta à evidência intermediária, alcançando desempenho de estado da arte com custos computacionais significativamente menores.