Resumo Técnico: Estratégias de Otimização de Tokens para Migração Oracle para PostgreSQL Baseada em LLM

1. Declaração do Problema

A migração de artefatos legados de SQL e PL/SQL do Oracle para o PostgreSQL é um componente crítico da modernização de software empresarial. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para automatizar essa transformação, o processo atualmente é limitado pelo alto consumo de tokens, degradação em contextos longos (o fenômeno "perdido no meio") e o risco de deriva semântica.

Alimentar diretamente grandes esquemas Oracle, lógica procedural e regras de migração nos prompts de LLM aumenta os custos de API e frequentemente degrada a qualidade da geração. Abordagens existentes para compressão de prompts ou geração geral de Text-to-SQL não abordam adequadamente as restrições específicas da migração de dialetos, onde preservar semântica procedural, restrições de esquema e significados de identificadores é primordial. O problema central é como reduzir o tamanho do contexto sem perder as informações semânticas necessárias para uma migração correta e sintaticamente válida.

2. Metodologia

O estudo formaliza a otimização de tokens como um problema de transformação restrita dentro do Desenvolvimento Orientado a Especificações (SDD). Os autores propõem um pipeline onde o contexto de migração (código-fonte, especificações, regras) é transformado por uma função de estratégia $f_i$ antes de ser passado para a função de geração do LLM $G$.

A. Taxonomia de Estratégias

Doze estratégias distintas de otimização de tokens foram definidas e avaliadas:

1. Linha de Base: SQL/PL/SQL Oracle bruto não modificado.
2. Poda de Contexto: Remoção de comentários e parâmetros físicos específicos do Oracle (por exemplo, TABLESPACE, STORAGE).
3. Minificação: Colapso de espaços em branco e novas linhas redundantes.
4. Compressão Semântica (DSL): Mapeamento de estruturas SQL repetitivas para formas simbólicas compactas.
5. Aumento de Metadados: Injeção de propriedades de esquema e parâmetros-chave como âncoras semânticas.
6. Refatoração de Contexto: Remoção de caracteres de aspas desnecessários de identificadores.
7. Destilação de Esquema: Remoção de definições procedurais secundárias para reter apenas a lógica central do esquema.
8. Roteamento Adaptativo: Seleção dinâmica de uma estratégia de otimização com base na complexidade estrutural de entrada (por exemplo, porcentagem de PL/SQL).
9. Minificação Baseada em AST: Análise de SQL em uma Árvore de Sintaxe Abstrata (AST) para remover nós redundantes antes da serialização.
10. Mascaramento de Identificadores: Substituição de nomes de tabelas/colunas verbosos por aliases determinísticos curtos.
11. Aplicação de Restrições de Saída: Restrição do prompt de sistema do LLM para evitar saída conversacional, markdown ou formatação extra.
12. Otimização Híbrida: Combinação de compressão de entrada adaptativa com restrições de saída.

B. Configuração Experimental

• Conjunto de Dados: Dois subconjuntos de artefatos SQL/PL/SQL do Oracle emparelhados com traduções validadas para PostgreSQL: uma amostra de 10 consultas para validação inicial e uma amostra de 100 consultas para robustez estatística.
• Modelo: O GPT-4o foi utilizado como LLM alvo.
• Métricas de Avaliação:
  • Taxa de Sintaxe Válida (VSR): Porcentagem de saídas analisáveis como PostgreSQL válido.
  • Correspondência Exata (EM): Correspondência idêntica em caracteres à referência.
  • Correspondência Semântica (SM): Equivalência funcional via comparação de AST ou avaliação de especialistas.
  • CodeBLEU: Métrica de similaridade estrutural.
  • Eficiência de Tokens (TE): Retorno semântico sobre custo de tokens ($SM / (T_{in} + T_{out})$).

3. Resultados Principais

A avaliação na amostra de 100 consultas revelou trade-offs significativos entre redução de tokens e qualidade de migração:

• Estratégias Seguras: A Poda de Contexto foi a otimização mais segura, reduzindo os tokens de entrada em 1,19% e os tokens de saída em 1,08%, mantendo uma Correspondência Semântica de 89,75% (quase idêntica aos 89,80% da linha de base).
• Trade-off Otimizado: O Roteamento Adaptativo forneceu o melhor equilíbrio prático. Reduziu os tokens de entrada em 8,72% e os tokens de saída em 5,49%, mantendo uma Correspondência Semântica de 88,40% e aumentando a Eficiência de Tokens em 6,67%.
• Estratégias Agressivas de Alto Risco:
  • A Destilação de Esquema alcançou reduções massivas de tokens (81,72% de entrada, 74,64% de saída) e um aumento de 132,22% na Eficiência de Tokens. No entanto, isso ocorreu à custa de uma queda de 44,50 pontos percentuais na Correspondência Semântica, tornando a saída funcionalmente incorreta para lógica complexa.
  • O Mascaramento de Identificadores reduziu os tokens de entrada em 33,30%, mas causou uma queda de 30,08 pontos percentuais na Correspondência Semântica, confirmando que identificadores específicos de domínio são cruciais para inferir lógica de negócios.
• Restrições de Saída: Restringir a formatação de saída reduziu os tokens de saída em 15,05%, mas degradou a Taxa de Sintaxe Válida em 7 pontos percentuais e a Correspondência Semântica em 10,78 pontos percentuais, sugerindo que restrições excessivamente rígidas prejudicam a capacidade do modelo de gerar SQL correto.

4. Contribuições Principais

1. Proposta de Taxonomia: O artigo introduz uma taxonomia formal de doze estratégias de otimização de tokens especificamente adaptadas para migração Oracle para PostgreSQL.
2. Formalização do Problema: Enquadra a otimização de tokens não como um simples encurtamento de prompts, mas como um problema de transformação restrita multiobjetivo que equilibra custo, validade sintática e preservação semântica.
3. Evidência Empírica: O estudo fornece uma comparação empírica rigorosa dessas estratégias em diversas complexidades de consulta, demonstrando que a compressão agressiva frequentemente leva à deriva semântica.
4. Modelo de Decisão: Um modelo prático de seleção de estratégias é proposto, aconselhando o uso de poda leve para necessidades de alta fidelidade e roteamento adaptativo para migrações escaláveis e heterogêneas, enquanto alerta contra destilação agressiva para lógica procedural.

5. Significado e Alegações

O artigo afirma que a otimização de tokens em migração de bancos de dados baseada em LLM não pode ser tratada como uma tarefa unidimensional de redução de custos. As descobertas demonstram que a redução agressiva de tokens frequentemente resulta em degradação semântica, tornando a saída de migração funcionalmente inútil, apesar de métricas de eficiência de tokens elevadas.

O significado principal reside em estabelecer que a compressão de contexto adaptativa é superior à compressão uniforme. Ao rotear dinamicamente entradas com base na complexidade estrutural (por exemplo, distinguindo entre DDL puro e PL/SQL complexo), as organizações podem alcançar uma redução "segura" no uso de tokens (aproximadamente 8-9%) sem comprometer a integridade semântica do código migrado. O estudo conclui que a migração bem-sucedida depende do equilíbrio entre custo e fidelidade estrutural, onde poda leve e roteamento adaptativo representam as estratégias de produção mais viáveis.