Resumo Técnico: Melhor Juntos, na Ordem Certa

Declaração do Problema

A configuração de engenharia de software (ES) é uma tarefa crítica, porém cada vez mais difícil. Configurações incorretas em sistemas como MySQL, Apache e Hadoop representam mais de 40% das falhas, com configurações erradas únicas causando degradações de desempenho de até 480×. O espaço de busca para essas configurações explodiu; por exemplo, as opções do PostgreSQL cresceram 300% e as do MySQL 600% em 15 anos. Embora a busca baseada em software (SBSE) utilize há muito tempo a busca estocástica e a otimização bayesiana, esforços recentes para integrar Grandes Modelos de Linguagem (LLMs) produziram resultados conflitantes. Alguns estudos sugerem que os LLMs oferecem vantagem limitada, são úteis apenas para problemas pequenos ou são lentos demais para uso prático.

O problema central identificado é que as pesquisas existentes frequentemente tratam LLMs e otimizadores clássicos de forma isolada ou os combinam de maneiras subótimas. Especificamente, abordagens "híbridas" anteriores (denominadas opt2) permitem que um otimizador clássico conduza o loop de busca enquanto o LLM apenas auxilia em sub-rotinas (ex: warm-starting ou proposição de mutações). Os autores argumentam que a base de evidências é muito tênue para resolver disputas, baseando-se frequentemente em menos de cinco conjuntos de dados onde a variância mascara o tamanho do efeito.

Metodologia

O estudo avalia sete métodos de otimização em três regimes distintos usando o repositório MOOT, uma coleção de 127 tarefas de otimização de ES do mundo real (reduzida para 105 para uma comparação justa).

Os Três Regimes

1. opt1 (Apenas LLM): O LLM atua como o único otimizador, re-promptando a si mesmo com a trajetória dos pontos testados (ex: OPRO, aqui estendido como SNAP).
2. opt2 (LLM assistido): Um otimizador clássico detém o loop de busca; o LLM auxilia (ex: BS_LLM, SYNTHCORE). Nestes métodos, o LLM tipicamente inicia o processo primeiro (seeds).
3. opt3 (Apenas Clássico): Um otimizador clássico executa sem envolvimento de LLM (ex: EZR, RRP, RANDOM).

O Método Proposto: SNAP2

O artigo introduz o SNAP2, uma abordagem híbrida que inverte a ordem tradicional de operações encontrada nos métodos opt2.

• Mecanismo: O SNAP2 primeiro executa um aprendiz ativo clássico barato (EZR) para uma parte do orçamento de rotulagem (a primeira metade). O EZR seleciona linhas informativas para rotular, construindo uma trajetória inicial de alta qualidade.
• Passagem de bastão (Handoff): Os resultados desta fase clássica são então usados para realizar o "warm-start" do LLM.
• Otimização: O LLM (usando o algoritmo SNAP, uma extensão do OPRO) assume o restante do orçamento para refinar a busca e concluir a otimização.
• Distinção Chave: Ao contrário dos híbridos anteriores, onde o LLM inicia o processo e o otimizador clássico finaliza, o SNAP2 permite que o aprendiz clássico realize o trabalho inicial de baixo custo e o LLM realize a otimização final.

Configuração Experimental

• Datasets: 105 tarefas do MOOT cobrindo configuração de software, ajuste de desempenho, saúde de projetos e previsão de defeitos.
• Orçamento: Um orçamento de rotulagem fixo de B=20 amostras por execução para garantir justiça e restrições de custo.
• Métricas: O desempenho é medido pela distância ao céu (distance to heaven - d2h), normalizada para uma porcentagem de melhoria ($\Delta$). A significância estatística é determinada via testes de delta de Cliff e Kolmogorov-Smirnov para definir um "nível superior" (top-tier) de métodos indistinguíveis.
• Custo: O uso de tokens, tempo de execução (wall-clock time) e custo em dólares foram monitorados.

Contribuições Principais

1. Algoritmo SNAP2: Um otimizador que inicia um LLM com a saída de um aprendiz clássico barato, revertendo a direção padrão do warm-start.
2. Avaliação em Larga Escala: Um benchmark abrangente através dos três regimes (opt1, opt2, opt3) em 105 tarefas de ES do mundo real, abordando a falta de evidências amplas na literatura anterior.
3. Evidência sobre a Ordem: Demonstração de que a ordem da combinação importa. Combinar um aprendiz clássico e um LLM supera ambos isoladamente, mas especificamente, a ordenação "clássico primeiro, LLM segundo" (SNAP2) supera significativamente a ordenação "LLM primeiro, clássico segundo" usada em trabalhos anteriores.
4. Reprodutibilidade: Todo o código, prompts e dados são liberados sob uma licença de código aberto.

Resultados

O estudo avaliou 20 repetições por método em 105 datasets.

• Desempenho de Nível Superior (Top-Tier):
  • O SNAP2 atingiu o nível superior em 85% das tarefas (89/105).
  • O SNAP (Apenas LLM) atingiu 75%.
  • O EZR (Apenas Clássico) atingiu 71%.
  • BS_LLM e SYNTHCORE (Híbridos com LLM primeiro) atingiram 74% e 70%, respectivamente.
• Significância: O SNAP2 é o único método a quebrar o agrupamento estatístico de 70–75% de desempenho, alcançando uma liderança de 11 pontos sobre o melhor híbrido de LLM primeiro.
• Eficiência de Custo:
  • Comparado ao método de apenas LLM (SNAP), o SNAP2 utiliza aproximadamente 30% menos tokens e roda 1.4× mais rápido.
  • O EZR (Apenas Clássico) é virtualmente gratuito (zero tokens) e roda três ordens de magnitude mais rápido que o SNAP2, embora seja estatisticamente um pouco inferior em frequência de nível superior.

Significância e Alegações

O artigo conclui que não é prudente estudar aprendizes clássicos ou LLMs isoladamente. A principal significância reside na descoberta de que a ordem importa.

• Revertendo o Paradigma: Trabalhos híbridos anteriores assumiam que o LLM deveria liderar (iniciar) e o otimizador clássico deveria finalizar. Os autores mostram que o inverso — deixar um aprendiz clássico barato fazer o "trabalho inicial de baixo custo" e entregar a trajetória ao LLM para "finalizar" — produz resultados superiores.
• Orientação Prática:
  • Para Trabalho Crítico de Missão/Segurança: Use o SNAP2. Ele oferece a maior qualidade (85% de taxa de nível superior) sendo mais eficiente do que usar um LLM sozinho.
  • Para Ambientes com Restrição de Recursos: Use o EZR. Ele fornece resultados próximos do ideal (71% de nível superior) com custo quase zero e velocidade extrema, tornando-o ideal para computação de borda (edge computing) ou orçamentos de API apertados.
  • Evite: A otimização de apenas LLM puro (SNAP), pois é dominada pelo SNAP2 tanto em qualidade quanto em custo.

Os autores enfatizam que seus resultados se aplicam a problemas de seleção tabular, onde as configurações são projetadas sobre linhas conhecidas. Eles reconhecem que estender isso para configurações generativas (onde as configurações não são pré-pontuadas) permanece uma questão aberta. O estudo sugere que, para muitas tarefas de otimização de ES, um pequeno orçamento (B=20) é suficiente quando guiado pela combinação certa de raciocínio clássico e de LLM.