Resumo Técnico: Conhecimento Prévio ou Busca? Um Estudo de Agentes LLM em Otimização de Código Consciente de Hardware

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como sistemas de descoberta autônomos que operam por meio de um ciclo "proponha-avalie-revise", imitando a otimização de caixa-preta (BBO). Embora bem-sucedidos em domínios como combinatória extrema e descoberta de equações científicas, permanece incerto quais componentes desses agentes contribuem mais para o desempenho e quando a exploração falha. Especificamente, é difícil determinar se os agentes LLM têm sucesso devido à sua capacidade de adaptação via condicionamento de contexto (feedback) ou porque dependem fortemente de priores pré-treinados. Este artigo investiga os pontos de ruptura da descoberta baseada em LLMs contrastando-os com métodos clássicos de BBO e analisando seu comportamento sob variações de densidade de prior e deslocamentos de distribuição.

Metodologia

Os autores realizam três experimentos controlados para isolar os efeitos do conhecimento prévio versus mecanismos de feedback:

1. Otimização de Caixa-Preta Pura (BBO):

   • Configuração: LLMs (gpt-oss-120b, DeepSeek-V3.2) são encarregados de minimizar funções desconhecidas (sistemas sintéticos, sistemas dinâmicos físicos e benchmarks BBOB) sem acesso a priores de código.
   • Baselines: Comparados contra CMA-ES, um sistema híbrido Centaur (CMA-ES + LLM) e Busca em Árvore de Monte Carlo (MCTS) aprimorada por LLM.
   • Métricas: Avaliados quanto à velocidade de convergência (melhor passo), amplitude de exploração (cobertura) e consistência da trajetória (comprimento de trajetória normalizado).
   • Análise: O estudo investiga se os LLMs exploram ou apenas refinam localmente, examinando sua tomada de decisão após a fase inicial de amostragem aleatória.

2. Geração de Kernel Zero-Shot (Condicionamento de Forma):

   • Configuração: LLMs geram kernels GPU (Softmax, Matmul, Convolution) para tamanhos variados de tensores de entrada.
   • Variáveis: O estudo manipula a explicitação das instruções de tamanho (prompts implícitos vs. explícitos) e as temperaturas de amostragem ($T \in \{0.1, 0.5, 0.8\}$).
   • Objetivo: Determinar se os LLMs podem adaptar parâmetros de nível de hardware (tiling, tamanho de bloco) a dimensões de entrada específicas ou se colapsam para um prior fixo.

3. Otimização por Loop de Feedback Iterativo:

   • Configuração: LLMs otimizam kernels por meio de loops de feedback iterativos envolvendo erros de compilação e perfis de desempenho.
   • Variáveis:
     • Linguagem de Representação: Contraste entre CUDA (alta densidade nos dados de pré-treinamento) e Representação Intermediária (IR) do TVM (baixa densidade, ~100x menos frequente).
     • Regime de Tamanho: Tamanhos nativos do benchmark vs. tamanhos de entrada pequenos (deslocamento de distribuição).
   • Baselines: Comparados contra TVM MetaSchedule (uma abordagem BBO sem prior) e torch.compile.
   • Agentes: Dois pipelines foram testados: um "Agente de Amostragem" (geração paralela com feedback agregado) e um "Loop de Feedback" (refinamento sequencial com um consultor/diagnosticador).

Principais Contribuições e Descobertas

1. LLMs como Otimizadores Gananciosos em BBO Puro

Em tarefas de otimização de caixa-preta pura onde não existe um prior forte de código, os LLMs comportam-se como refinadores locais gananciosos em vez de exploradores.

• Comportamento: Os LLMs ancoram suas propostas na melhor solução vista até o momento, tentando imitar a descida de gradiente mesmo quando não existem gradientes. Eles falham em explorar efetivamente o espaço de busca em dimensões mais altas (por exemplo, BBOB-5D), perdendo para CMA-ES e sistemas híbridos Centaur.
• Evidência: A análise de trajetória mostra baixa cobertura e alta consistência direcional (caminhos lineares), indicando uma falta de exploração global. A análise de cadeia de pensamento confirma que os modelos justificam perturbações locais usando heurísticas semelhantes a gradientes.
• Implicação: Os LLMs requerem orquestração explícita (por exemplo, MCTS ou atualizações de estado híbridas) para escapar de ótimos locais; eles não realizam naturalmente uma exploração ampla.

2. Colapso de Prior na Geração de Kernel

Na geração de kernel zero-shot, os LLMs exibem colapso de prior, produzindo soluções agnósticas ao tamanho, independentemente das dimensões de entrada explícitas.

• Observação: Seja com prompts de instruções de tamanho explícitas ou não, os modelos convergem para o mesmo conjunto fixo de parâmetros de kernel (por exemplo, tamanho de bloco, tamanho de tile) em todos os tamanhos de entrada e temperaturas.
• Consequência: Isso leva a uma degradação significativa de desempenho sob deslocamento de distribuição. Para tamanhos de entrada pequenos, a fração de kernels acelerados cai de 59% para 31% para LLMs, enquanto o TVM MetaSchedule sem prior melhora de 41% para 69%.
• Conclusão: O prior pré-treinado sobrepõe o condicionamento do prompt; o modelo não consegue mapear formas solicitadas para configurações de hardware especializadas se esses mapeamentos específicos não estiverem fortemente representados em seus dados de treinamento.

3. Loops de Feedback Dependentes de Representação

A eficácia do feedback iterativo é estritamente determinada pela densidade do prior sobre a linguagem-alvo.

• CUDA (Prior Denso): Loops de feedback melhoram o desempenho de forma monótona. O prior forte do modelo sobre CUDA permite incorporar efetivamente erros de compilador e dados de perfil para refinar soluções.
• TVM IR (Prior Esparsos): Loops de feedback causam degradação de desempenho. Como o prior sobre TVM IR é fraco, o modelo não consegue interpretar o feedback para gerar agendamentos válidos, levando a um declínio tanto no sucesso de compilação quanto no ganho de velocidade ao longo das iterações.
• Deslocamento de Tamanho: Sob deslocamentos de distribuição de entrada pequena, o agente LLM perde para o TVM MetaSchedule. Os vieses específicos de tamanho do LLM (calibrados para formas nativas de benchmark) tornam-se enganosos, enquanto o MetaSchedule adapta-se livremente.

Significado e Alegações

O artigo argumenta que a variável central na otimização agêntica não é a existência de feedback, mas se o feedback pode ser absorvido pelo prior do modelo.

• Prior vs. Busca: Os LLMs são fortes exploradores de prior, mas fracos buscadores de fim aberto. Eles se destacam quando o espaço de soluções-alvo é densamente coberto por seus dados de pré-treinamento (por exemplo, kernels CUDA padrão), mas degradam quando a tarefa requer exploração genuína ou opera em domínios de baixa densidade (por exemplo, TVM IR, tamanhos de entrada pequenos).
• Implicações de Design: Pipelines de otimização robustos devem ser adaptativos:
  • Use refinamento por LLM onde a cobertura de prior é densa.
  • Confie em busca adaptativa à tarefa (como BBO) quando ocorrerem deslocamentos de distribuição ou priores forem esparsos.
  • Abordagens híbridas que combinam propostas guiadas por LLM com busca estruturada ou recuperação são necessárias para compensar as limitações da adaptação apenas por contexto.

Os autores concluem que pipelines agênticos atuais frequentemente falham em atribuir desempenho a fatores específicos porque confundem manipulação de contexto com busca. Ao isolar esses fatores, o estudo expõe modos de falha fundamentais: busca local gananciosa na ausência de priores, e a incapacidade de condicionar-se a novas restrições quando o prior é esparso.