Sumário Técnico: Além do Prompt: Avaliando Estratégias de Conhecimento de Domínio para Otimização de LLMs de Alta Dimensionalidade em Engenharia de Software

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram eficácia na geração de amostras de "warm start" para tarefas de otimização de engenharia de software (SE), reduzindo significamente o orçamento de rotulagem necessário para o aprendizado ativo. No entanto, existe uma "barreira dimensional" crítica: enquanto os LLMs alcançam desempenho superior em problemas de baixa dimensionalidade (≤11 características), sua eficácia colapsa em problemas de alta dimensionalidade (>11 características), onde métodos bayesianos tradicionais (ex: Processos Gaussianos) permanecem superiores.

Esta falha é atribuída a limitações de dados de treinamento. Os LLMs são excelentes em problemas comuns bem representados em seus corpora de treinamento, mas têm dificuldade com tarefas de SE de alta dimensionalidade e especializadas (ex: configuração de nuvem, processos de software aeroespacial), onde soluções ótimas públicas são escassas. Sem dados de treinamento suficientes, os LLMs não conseguem aprender as interações complexas de características que caracterizam espaços de alta dimensionalidade. Além disso, como projeções sugerem que os LLMs podem esgotar os dados textuais de treinamento disponíveis até 2028, domínios de otimização com escassez de dados tornam-se cada vez mais críticos. O problema central é determinar como a integração sistemática de conhecimento de domínio — seja de especialistas humanos ou de raciocínio automatizado — pode preencher essa lacuna e permitir que os LLMs gerem warm starts eficazes para otimização de alta dimensionalidade.

Metodologia

O estudo propõe e avalia quatro arquiteturas distintas projetadas para incorporar conhecimento de domínio na geração de warm start de LLMs. Estas abordagens variam de estratégicas centradas no humano a estratégias totalmente automatizadas, avaliadas no repositório MOOT de conjuntos de dados de otimização de SE estratificados por dimensionalidade (Baixa: <6, Média: 6–11, Alta: >11 características).

1. Prompt de Conhecimento de Domínio com Humano no Ciclo (H-DKP)

Esta abordagem utiliza especialistas humanos para verificar e refinar restrições iterativamente.

• Protocolo: Um sprint de refinamento iterativo assíncrono de 10 dias.
• Mecanismo: O LLM gera um "Estado de Crença" inicial de restrições. Especialistas criticam estas via e-mail, focando em "Falhas Mais Confusas" (configurações que o LLM previu como ótimas, mas que tiveram desempenho ruim).
• Processo: Especialistas respondem a uma pergunta específica: "Qual regra de domínio o modelo está perdendo que explica esta falha?" Seu feedback é analisado e anexado ao contexto do prompt para o dia seguinte, evoluindo o modelo mental do LLM sobre o domínio.
• Restrição: O recrutamento é limitado a conjuntos de dados onde Especialistas no Assunto (SMEs) estão acessíveis através da rede acadêmica dos autores.

2. Prompting Adaptativo de Múltiplos Estágios (AMP)

Este método decompõe o processo de geração em um pipeline de raciocínio sequencial para reduzir inconsistências lógicas comuns em prompting de disparo único (single-shot).

• Estágio 1 (Análise): O LLM analisa metadados e exemplos de poucos disparos (few-shot) para identificar características influentes, trade-offs e direções de melhoria.
• Estágio 2 (Descoberta de Restrições): O modelo infere restrições rígidas explícitas (regras invioláveis) e restrições suaves (heurísticas).
• Estágio 3 (Geração Restrita): O LLM gera configurações aderindo estritamente às restrições e características priorizadas descobertas.
• Estágio 4 (Auto-validação): O LLM atua como um crítico, revisando as configurações geradas contra o conjunto de restrições e revisando violações.
• Ablação: O estudo testa pipelines de 2, 3 e 4 estágios para isolar o impacto de cada etapa de raciocínio.

3. Refinamento Progressivo Consciente da Dimensão (DAPR)

Esta abordagem aborda a complexidade de alta dimensionalidade otimizando em espaços de características reduzidos e expandindo as dimensões progressivamente.

• Ranking de Características: A importância das características é calculada via um ensemble de coeficiente de Spearman, informação mútua e importância de Random Forest, normalizada e média.
• Expansão Progressiva: O algoritmo inicia com o top $k$ características. Ele solicita ao LLM que gere configurações usando apenas estas características.
• Ancoragem: Exemplos gerados são mapeados para vizinhos próximos no conjunto de dados completo para avaliação. A melhor configuração é rastreada, e o espaço de características é expandido adicionando o próximo conjunto $s$ de características mais importantes, ancoradas a valores da configuração atual de melhor desempenho.
• Objetivo: Guiar o LLM através do espaço de busca, evitando que ele seja sobrecarregado pela dimensionalidade total imediatamente.

4. Abordagem Híbrida de Conhecimento-Modelo (HKMA)

Esta estratégia sintetiza a exploração estatística com Geração Aumentada por Recuperação (RAG) para aproveitar tanto padrões baseados em dados quanto compreensão semântica.

• Fase 1 (Exploração Estatística): Um Estimador de Parzen Estruturado em Árvore (TPE) realiza uma exploração rápida e de baixo orçamento ($B_{scout}=10$) para identificar regiões de alto desempenho.
• Fase 2 (Priors Empíricos): A distribuição das configurações de melhor desempenho é analisada para extrair "Priors Empíricos" (ex: tendências direcionais, condições de contorno).
• Fase 3 (Síntese RAG): Estes priors servem como consultas para recuperar documentação de domínio relevante e literatura acadêmica de um repositório vetorial.
• Geração: O LLM é solicitado a sintetizar configurações que satisfaçam tanto a evidência estatística observada quanto as explicações semânticas recuperadas.

Métricas de Avaliação e Baselines

• Baselines: Amostragem Aleatória, Modelo de Processo Gaussiano (UCB_GPM) e Warm Start Padrão de LLM (prompting few-shot com 4 exemplos).
• Métrica Primária: Distância de Chebyshev para a solução ótima (normalizada para [0,1]), medindo a proximidade do ótimo teórico.
• Métricas Secundárias: Diversidade de exemplos gerados (Distância Euclidiana Média entre Pares) e Custo Computacional (tokens de API).
• Análise Estatística: Os resultados são classificados usando o teste de Diferença de Tamanho de Efeito Scott-Knott (ESD) com Cliff's Delta para garantir que as diferenças sejam estatisticamente significativas e praticavelmente significativas.

Contribuições Principais

1. Identificação da Barreira Dimensional: O artigo documenta sistematicamente o colapso de desempenho dos LLMs em tarefas de otimização de SE de alta dimensionalidade (>11 características), contrastando com seu sucesso em tarefas de baixa dimensionalidade.
2. Taxonomia de Integração de Conhecimento: Propõe e define quatro estratégias complementares (H-DKP, AMP, DAPR, HKMA) para injetar conhecimento de domínio em LLMs, movendo-se de um loop humano para modelos híbridos totalmente automatizados.
3. Frameworks Metodológicos:
   • Um protocolo iterativo assíncrono para extrair conhecimento tácito de especialistas (H-DKP).
   • Um pipeline de raciocínio de múltiplos estágios para impor a adesão a restrições (AMP).
   • Um algoritmo de refinamento progressivo para navegar em espaços de busca de alta dimensionalidade (DAPR).
   • Um framework híbrido combinando exploração estatística com recuperação semântica (HKMA).
4. Plano de Avaliação Rigoroso: O estudo delineia um plano de avaliação abrangente usando o repositório MOOT, estratificado por dimensionalidade, com testes estatísticos robustos (Scott-Knott/Cliff's Delta) para validar as melhorias sobre os baselines estabelecidos.

Resultados

Nota: Como este documento é uma proposta (indicado pelas seções "Perguntas de Pesquisa", "Plano de Análise" e "Plano de Execução"), ele não contém resultados experimentais finais ou conclusões empíricas sobre qual método performou melhor.

O artigo delineia o plano para avaliar estes métodos contra a "barreira dimensional". Hipotetiza-se que:

• O feedback humano no ciclo (H-DKP) fornecerá ganhos estatisticamente significativos sobre métodos automatizados, particularmente em domínios com escassez de dados públicos.
• O raciocínio estruturado (AMP) e o refinamento progressivo (DAPR) mitigarão o colapso de desempenho visto em tarefas de alta dimensionalidade comparado ao prompting de disparo único padrão.
• A abordagem Híbrida (HKMA) conectará efetivamente a compreensão semântica do LLM com a precisão quantitativa dos métodos bayesianos.

O estudo afirma explicitamente que os estudos humanos cumprirão as políticas do Conselho de Revisão Institucional (IRB) e que a análise H-DKP será restrita a conjuntos de dados onde o recrutamento de especialistas seja bem-sucedido sem desistências.

Significância e Alegações

O artigo alega que nenhum trabalho anterior explorou sistematicamente se a injeção de conhecimento específico de domínio pode superar as limitações de LLMs em domínios de otimização de alta dimensionalidade e escassez de dados.

A significância deste trabalho reside no seu potencial para:

• Estender a Utilidade dos LLMs: Permitir que os LLMs funcionem efetivamente como guias heurísticos para otimização em tarefas complexas de SE do mundo real (ex: configuração de software, ajuste de hiperparâmetros) onde eles atualmente falham.
• Abordar a Escassez de Dados: Fornecer um caminho para a otimização em domínios onde os dados de treinamento públicos estão esgotados ou são inexistentes, uma preocupação crítica dadas as projeções de esgotamento de dados de treinamento de LLMs até 2028.
• Reduzir Custos: Oferecer estratégias para gerar warm starts de alta qualidade com custos de execução mínimos, abordando o custo proibitivo de obter rótulos de verdade fundamental (ground truth) em engenharia de software.
• Unir Humano e IA: Demonstrar como o conhecimento tácito humano pode ser sistematicamente integrado com a IA para resolver problemas que nem um, nem outro pode resolver sozinhos, indo além do debate sobre se os LLMs são "assistentes" ou "autoritários" para um modelo onde atuam como otimizadores guiados.

Os autores mantêm uma postura modesta, enquadrando o trabalho como uma avaliação de estratégias para determinar se a integração de conhecimento estruturado permite que os LLMs gerem warm starts eficazes, em vez de alegar que uma solução definitiva já foi encontrada.