Automating Database-Native Function Code Synthesis with LLMs

Título: Automação da Síntese de Código de Funções Nativas de Banco de Dados com LLMs

1. Problema e Motivação

Os sistemas de banco de dados modernos (como PostgreSQL, DuckDB e SQLite) incorporam um número crescente de funções nativas (built-in) em seus kernels para suportar novos cenários de aplicação e migração de negócios. No entanto, a síntese dessas funções é um processo complexo, acoplado e propenso a erros que exige expertise humana profunda.

Os principais desafios identificados são:

• Complexidade Estrutural: Uma única função SQL (ex: date_trunc) pode exigir a implementação de múltiplas unidades de função internas (ex: para diferentes tipos de entrada como timestamptz ou interval) e a correta localização em arquivos de código específicos.
• Dependências Cruzadas: A implementação correta depende da referência a um vasto conjunto de unidades existentes (macros, funções auxiliares, tipos de dados internos). Ignorar essas referências leva a violações de padrões ou reimplementações desnecessárias (ex: escrever 6.235 linhas de código em vez de reutilizar 315 linhas existentes).
• Limitações dos Métodos Atuais: Abordagens baseadas em LLMs genéricos (como Claude Code ou Qwen Code) falham porque:
  • Não capturam as características específicas de funções de banco de dados (unidades de função necessárias, referências finas).
  • Realizam buscas de arquivos ineficientes e genéricas, gastando tempo explorando repositórios irrelevantes.
  • Falham em validar a conformidade com as convenções internas do kernel do banco de dados.
  • Tratam funções simples e complexas da mesma forma, sem adaptar a estratégia de síntese.

2. Metodologia: O Sistema DBCooker

Os autores propõem o DBCooker, um sistema baseado em LLMs projetado especificamente para a síntese automática de funções nativas. O sistema é composto por três módulos principais:

A. Módulo de Caracterização de Funções (Function Characterization)
Este módulo prepara o contexto para o LLM, extraindo informações estruturais do repositório do banco de dados:

1. Coleta de Declarações: Extrai declarações de funções de duas fontes: documentação oficial (texto) e catálogos do sistema (ex: pg_proc.dat no PostgreSQL), normalizando-as em um formato JSON estruturado.
2. Identificação de Unidades Distintivas: Utiliza análise de grafos baseada em dependências estáticas para mapear uma função SQL para suas múltiplas unidades de implementação internas. Distingue entre unidades auxiliares reutilizáveis e unidades distintivas que precisam ser sintetizadas.
3. Análise de Referências Cruzadas: Identifica e poda dependências, mantendo apenas as referências essenciais (ex: declarações de macros) e removendo implementações completas desnecessárias para reduzir o ruído no contexto do LLM.

B. Operações de Síntese de Código (Function Code Synthesis Operations)
O núcleo do sistema utiliza três operações otimizadas para garantir a precisão:

1. Geração de Plano de Codificação Baseado em Pseudo-código: Em vez de gerar código diretamente, o sistema cria "esqueletos" estruturados (pseudo-planos) que definem as unidades de função, arquivos alvo e referências necessárias. Um mecanismo de pontuação (scoring) filtra planos incorretos com base na fidelidade das referências e na simplicidade.
2. Síntese Progressiva (Modelo "Fill-in-the-Blank"): O problema é formulado como um preenchimento de lacunas. O sistema utiliza modelos de preenchimento baseados em templates (extraídos de funções similares) e, se falhar, adapta-se probabilisticamente para gerar o código do zero. Isso permite uma correção semântica dinâmica.
3. Validação de Código em Três Níveis:
   • Nível de Sintaxe: Verificação gramatical usando parsers (ex: ANTLR).
   • Nível de Conformidade: Verificação de convenções internas do banco de dados (ex: compilação e registro correto).
   • Nível Semântico: Geração de casos de teste via LLM para validar o comportamento em tempo de execução.

C. Orquestração Adaptativa de Ferramentas (Adaptive Tool Orchestration)
Para lidar com a diversidade de complexidade das funções, o DBCooker abstrai as etapas de síntese como "ferramentas" (tools). Um controlador baseado em LLM, enriquecido por uma memória de trajetórias históricas (workflows de funções similares), decide dinamicamente a sequência de ferramentas a serem usadas (ex: buscar arquivo, gerar plano, validar), adaptando-se à dificuldade da tarefa.

3. Contribuições Principais

• Primeiro Sistema Especializado: É o primeiro sistema a analisar a composição de funções, gerar referências internas e sintetizar adaptativamente funções de banco de dados nativas.
• Módulo de Caracterização: Uma abordagem inovadora para extrair declarações, identificar unidades distintivas e analisar referências cruzadas, superando a busca genérica de arquivos.
• Estratégia de Síntese Distintiva: Combina geração de planos baseados em pseudo-código, modelagem de preenchimento de lacunas guiada por probabilidades e validação progressiva de três níveis.
• Orquestração Adaptativa: Um mecanismo que otimiza dinamicamente o fluxo de trabalho de síntese combinando tomada de decisão de LLM com reutilização de trajetórias históricas.
• Desempenho Superior: O sistema foi capaz de sintetizar novas categorias de funções que não existiam na versão mais recente do SQLite (v3.50).

4. Resultados Experimentais

Os experimentos foram conduzidos em três bancos de dados principais: SQLite, PostgreSQL e DuckDB, comparando o DBCooker com LLMs de ponta (GPT-5, Claude Opus, Claude Sonnet), agentes de codificação (Claude Code, TRAE) e métodos RAG.

• Precisão Geral: O DBCooker superou os métodos mais avançados (SOTA) em 34,55% de precisão média (considerando tanto a compilação bem-sucedida quanto a correção dos resultados).
  • Precisão de Execução (AccEXE): 78,90% (vs. ~36% dos melhores concorrentes).
  • Precisão de Resultado (AccRES): 65,19% (vs. ~26% dos concorrentes).
• Análise por Dificuldade: O sistema manteve alta performance em funções difíceis (HARD), onde métodos baseados apenas em LLM ou RAG sofreram degradação severa de desempenho.
• Redução de Erros: O DBCooker apresentou a menor taxa de erros relacionados a declarações (declarações incorretas ou referências faltantes), um problema comum em 81,76% dos erros dos métodos concorrentes.
• Novas Funções: O sistema conseguiu sintetizar com sucesso 14 novas funções para o SQLite (como covar_pop, century, gamma), demonstrando capacidade de extensão real do banco de dados.

5. Significado e Impacto

O trabalho do DBCooker é significativo porque:

1. Supera a Limitação de "Retrieval": Demonstra que a síntese de funções de banco de dados vai além da simples recuperação de contexto; exige a imposição de restrições de correção determinística e adaptação a convenções de kernel específicas.
2. Viabilidade de Migração: Oferece uma solução automatizada para o gargalo de migração de bancos de dados legados (ex: Oracle para PostgreSQL), onde a reimplementação de funções proprietárias é manual e cara.
3. Robustez para Sistemas Críticos: A abordagem de validação progressiva e orquestração adaptativa aborda a necessidade de correção determinística em sistemas de banco de dados, mitigando a natureza probabilística e alucinatória dos LLMs puros.
4. Escalabilidade: O sistema é capaz de lidar com a fragmentação massiva de código em grandes repositórios de banco de dados, identificando unidades relevantes sem precisar injetar todo o código no contexto do LLM.

Em resumo, o DBCooker representa um avanço fundamental na automação de tarefas de engenharia de software de baixo nível em sistemas de banco de dados, transformando um processo manual e propenso a erros em um fluxo de trabalho automatizado, preciso e adaptativo.