Resumo Técnico: Otimização de Habilidades Residuais para Ensembles de Texto-para-SQL

Declaração do Problema

Sistemas de Texto-para-SQL visam traduzir perguntas em linguagem natural em consultas SQL executáveis. Embora os Modelos de Linguagem de Grande Escala (LLMs) apresentem bom desempenho em benchmarks padrão, cenários do mundo real envolvendo esquemas grandes, sintaxe específica de dialeto e lógica de múltiplos passos permanecem desafiadores. Sistemas agênticos atuais, que inspecionam esquemas iterativamente e corrigem erros, ainda falham em resolver cada consulta de forma confiável.

Para abordar isso, ensembles de Texto-para-SQL geram múltiplos candidatos SQL ($K$) e selecionam o melhor. No entanto, a eficácia de qualquer ensemble é fundamentalmente limitada pelo Pass@K—a probabilidade de que pelo menos um dos $K$ candidatos esteja correto. Métodos existentes tentam aumentar a diversidade por meio de decodificação estocástica (amostragem com temperatura alta) ou variantes de prompts desenhadas manualmente. Os autores argumentam que essas abordagens são insuficientes porque frequentemente produzem candidatos com falhas correlacionadas. Em sistemas agênticos, a aleatoriedade do planejamento inicial propaga-se através de trajetórias de raciocínio longas, resultando em variantes ruidosas do mesmo caminho incorreto, em vez de soluções genuinamente complementares. Consequentemente, o Pass@K estabiliza, e candidatos adicionais rendem retornos decrescentes.

Metodologia: DIVSKILL-SQL

O artigo apresenta o DIVSKILL-SQL, um framework que constrói ensembles agênticos complementares de Texto-para-SQL sem ajuste fino do modelo. Em vez de depender do acaso ou heurísticas para diversidade, ele trata a complementaridade dos candidatos como um alvo de otimização explícito usando Otimização de Habilidade Residual.

Conceito Central: Habilidades e Resíduos

• Habilidades: Uma "habilidade" é definida como um arquivo de instrução de alto nível (prompt de sistema) que controla o estilo de decomposição de um agente, a política de exploração de esquema, a estratégia de rascunho e a lógica de reparo.
• Otimização Residual: O framework opera no princípio de que uma nova habilidade não precisa necessariamente ser globalmente melhor do que suas predecessoras, mas sim deve resolver os exemplos específicos que o ensemble atual deixa de resolver.
  • Seja $D_{train}$ o conjunto de treinamento.
  • Após selecionar habilidades $s_1, \dots, s_{j-1}$, o conjunto residual $R_{j-1}$ é definido como o subconjunto de exemplos onde o ensemble atual falha.
  • A próxima habilidade $s_j$ é otimizada para maximizar o sucesso especificamente em $R_{j-1}$.
  • Esse processo visa greedy a contribuição marginal de uma nova habilidade para o Pass@K geral.

Fluxo do Algoritmo

1. Inicialização do Pool de Sementes: O processo começa com um pool diversificado de $K$ habilidades semente curadas manualmente (por exemplo, decompose, direct_coder, explore_heavy, adversarial_checker), cada uma codificando uma estratégia de raciocínio distinta.
2. Otimização Iterativa:
   • O algoritmo executa em lotes. Para cada habilidade no pool, ele identifica as falhas residuais atuais (exemplos que o ensemble não resolveu).
   • Usando Otimização de Prompt Reflexiva (especificamente a técnica GEPA), um LLM analisa rastros de falha (inspeções de esquema, erros de execução) e propõe um prompt refinado para abordar essas falhas específicas.
   • O refinamento é aceito apenas se melhorar a recuperação no conjunto residual.
   • O conjunto residual é atualizado para remover exemplos recém-resolvidos pela habilidade refinada.
3. Inferência: No momento do teste, os $K$ agentes condicionados por habilidades aprendidas executam em paralelo. Os candidatos são deduplicados pela saída de execução, e o SQL final é selecionado via comparação par a par usando um juiz LLM, que é mais confiável do que a seleção direta 1-de-K.

Contribuições Principais

1. Formulação: Os autores formulam o ensembling de Texto-para-SQL como um problema de otimização residual Pass@K sobre habilidades de agente, visando aprender comportamentos complementares que cobrem diferentes modos de falha.
2. Framework: Eles propõem o DIVSKILL-SQL, um método que melhora a cobertura do conjunto de candidatos sem ajuste fino do modelo ou amostragem com temperatura alta, tornando-o aplicável tanto a LLMs abertos quanto fechados.
3. Garantia Teórica: O artigo fornece uma prova (Proposição A.1) mostrando que, sob o objetivo populacional, a estratégia de otimização residual greedy alcança pelo menos uma aproximação de $(1 - 1/e)$ do ensemble ótimo de $K$ habilidades, aproveitando a submodularidade do objetivo Pass@K.
4. Validação Empírica: Avaliação extensa em múltiplos benchmarks e dialetos SQL demonstra que otimizar habilidades em exemplos não resolvidos visa diretamente as contribuições marginais ao Pass@K.

Resultados Experimentais

O framework foi avaliado no Spider2-Lite (cobrindo SQLite, Snowflake e BigQuery) e BIRD-Critic (depuração PostgreSQL), usando Opus-4.6 e GPT-5.4 como modelos base.

• Ganhos de Desempenho:
  • No Spider2-Lite (Snowflake), o DIVSKILL-SQL melhorou a precisão selecionada em +11,1 pontos sobre a linha de base mais forte (CHASE-SQL).
  • No Spider2-Lite (BigQuery), melhorou em +8,3 pontos.
  • No BIRD-Critic, melhorou a precisão selecionada em +2,6 pontos, demonstrando transferência para uma formulação de tarefa estilo depuração.
• Transferibilidade: Habilidades otimizadas em um único dialeto (Snowflake) transferiram-se efetivamente para BigQuery e SQLite sem retreinamento, indicando que as estratégias aprendidas capturam lógica de resolução de problemas de alto nível em vez de sintaxe específica de dialeto.
• Redução de Erros: Diagnósticos de erro revelaram até 3× menos referências de esquema alucinadas e chamadas de funções não suportadas em comparação com as linhas de base.
• Diversidade Comportamental: Análise de trajetória mostrou que o DIVSKILL-SQL reduz a redundância no comportamento do agente em 19%–28%. Diferente da amostragem repetida que produz falhas correlacionadas, as habilidades aprendidas induzem caminhos de raciocínio genuinamente diferentes (por exemplo, padrões distintos de inspeção de esquema e decomposição).
• Eficiência: Para alcançar a mesma cobertura Pass@K que os 8 candidatos do DIVSKILL-SQL, os métodos de linha de base exigiram 3 a 8 passagens adicionais, destacando a eficiência de custo da abordagem residual.

Significado e Alegações

O artigo afirma que o DIVSKILL-SQL representa uma mudança de depender da diversidade estocástica para uma diversidade estruturada e complementar. Ao otimizar explicitamente para os casos "residuais" que agentes anteriores deixam de resolver, o sistema constrói um ensemble onde o todo é maior que a soma de suas partes.

Os autores enfatizam que seus ganhos derivam de habilidades complementares genuinamente confiáveis em vez de variações superficiais. Essa abordagem aborda a fragilidade de sistemas agênticos onde a aleatoriedade inicial leva a raciocínios instáveis. Além disso, a capacidade do método de transferir-se entre dialetos e tipos de tarefa (de geração para depuração) sugere que as habilidades otimizadas codificam estratégias robustas e generalizáveis para interagir com bancos de dados relacionais. O framework oferece um caminho prático para melhorar a confiabilidade de Texto-para-SQL sem o custo computacional de ajustar finamente múltiplos modelos.