Resumo Técnico: Rumo a Decisões de Feedback-para-Plano para Agentes LLM Autoevolutivos na Geração de Kernels CUDA

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram sucesso empírico como agentes autoevolutivos para geração e otimização de kernels CUDA. Esses sistemas operam tipicamente por meio de refinamento iterativo, onde sinais de feedback heterogêneos (por exemplo, análise estática, perfilamento em tempo de execução, depuração) são agregados para impulsionar decisões de planejamento para modificação de código ao longo das gerações.

No entanto, o mecanismo pelo qual componentes individuais de feedback influenciam decisões de planejamento permanece opaco. Métodos de avaliação padrão dependem de ablação de ponta a ponta (E2E), onde um componente de feedback é removido e todo o processo evolutivo é reiniciado. Os autores argumentam que essa abordagem é fundamentalmente falha para agentes autoevolutivos porque:

1. Deriva de Trajetória: O planejamento iterativo amplifica perturbações iniciais, fazendo com que os efeitos do feedback se confundam com a deriva dependente da trajetória.
2. Obscuridade Causal: A agregação de resultados não monotônicos, ao nível da geração, em um único escalar obscurece quando sinais específicos importam e como eles interagem.
3. Falta de Atribuição: Os praticantes frequentemente agregam diagnósticos indiscriminadamente, carecendo de análise consciente da utilidade para determinar quais componentes de feedback influenciam significativamente as decisões de planejamento atuais.

Metodologia: CUDAnalyst

Para abordar essas limitações, os autores introduzem o CUDAnalyst, uma camada de análise unificada projetada para atribuição controlada, ao nível da geração, de decisões de planejamento.

Princípios de Design Central

1. Congelamento de Trajetória: Em vez de reexecutar o processo evolutivo, o CUDAnalyst congela estados intermediários do programa em gerações específicas. Isso desacopla a decisão de planejamento atual da trajetória evolutiva histórica, garantindo que todas as intervenções compartilhem um contexto de programa idêntico.
2. Injeção Seletiva de Feedback: Em pontos de verificação congelados, o sistema realiza intervenções de correção controladas, retendo ou injetando seletivamente componentes de feedback específicos (depurador, analisador, perfilador), mantendo o planejador, os prompts e as configurações de decodificação fixos.
3. Atribuição Coalizional: Inspirado na teoria dos jogos cooperativa, os autores formalizam a atribuição de feedback como um jogo $G = (N, v)$. Eles utilizam o valor de Banzhaf (em vez do valor de Shapley) para quantificar a contribuição marginal de cada componente de feedback e o termo de interação par a par ($\sigma_{ij}$) para medir complementaridade ou redundância. Isso permite uma atribuição granular de como os componentes de feedback e suas interações influenciam os resultados do planejamento.

Protocolo de Avaliação

O estudo emprega um protocolo de intervenção de feedback ao nível da geração:

• Backbone Fixo: Uma trajetória de backbone de referência é gerada (por exemplo, por um modelo de terceiros) e congelada.
• Reavaliação Controlada: Amostras de programa congeladas são reavaliadas sob diferentes configurações de feedback (por exemplo, feedback completo, sem feedback, feedback aleatorizado, feedback resumido) sem reexecutar a busca evolutiva.
• Métricas: O sucesso é medido por meio de resultados ao nível da execução: compiled (executável), pass (correção funcional) e fast (ganho de desempenho sobre a linha de base).

Principais Descobertas

O estudo empírico, conduzido em várias bases de modelos (DeepSeek, Qwen), cargas de trabalho (PolyBench-ACC, NPB, XSBench, robust-kbench) e regimes de indução de referência, produz quatro descobertas primárias:

1. Planejamento Explícito é Condicionado ao Feedback

O planejamento explícito não é um aprimoramento independente da capacidade de raciocínio intrínseca. Ele é eficaz apenas quando fundamentado em feedback externo alinhado.

• Planejamento sem feedback (P+NF) degrada consistentemente o desempenho em comparação com o planejamento implícito.
• Planejamento alinhado ao feedback (P+F) produz melhorias estáveis ao nível da geração, particularmente para modelos de raciocínio mais fracos.
• Controles contrafactuais (feedback aleatorizado ou planos fictícios) confirmam que o benefício surge do alinhamento semântico do feedback, e não meramente da presença de tokens de planejamento.

2. Eficácia do Planejamento Surge de Interações Multi-ferramenta

Decisões de planejamento não são dominadas por uma única fonte de feedback, mas refletem coordenação estável entre múltiplos componentes.

• Analisador: Suporta consistentemente o sucesso da compilação.
• Perfilador: Impulsiona ganhos de desempenho (fast) em gerações posteriores.
• Depurador: Exibe contribuição marginal mínima isoladamente, mas é crítico para mediar interações.
• Sinergia: Os termos de interação ($\sigma_{ij}$) fortalecem-se ao longo das gerações, indicando que a otimização em estágios posteriores depende da disponibilidade conjunta de múltiplos sinais de feedback para resolver modos de falha acoplados.

3. Resumo Facilita, mas Não Substitui o Planejamento

• Benefício para Modelos Fracos: Feedback resumido melhora significativamente os resultados para modelos mais fracos, reduzindo a carga representacional.
• Limitação: O resumo não pode substituir o planejamento explícito. Enquanto os resumos comprimem o conteúdo, o planejamento explícito mantém e reutiliza estruturas de decisão ao longo das gerações. Modelos mais fortes derivam ganhos adicionais limitados do resumo, sugerindo que já possuem capacidade suficiente para processar feedback bruto.

4. Transferibilidade de Planos entre Modelos

Planos gerados por modelos de raciocínio mais fortes podem ser parcialmente transferidos para modelos mais fracos dentro da mesma família.

• A injeção de planos de modelos fortes (por exemplo, DeepSeek-R1) em modelos mais fracos (por exemplo, DeepSeek-V3.2) melhora consistentemente o sucesso da execução.
• Os ganhos são maiores quando os modelos compartilham a mesma distribuição de treinamento ou estrutura representacional.
• Isso sugere que planos explícitos atuam como abstrações de decisão transferíveis, funcionando como uma interface de decisão agnóstica ao modelo, em vez de uma mera reflexão do raciocínio interno.

Generalização e Robustez

A estrutura de feedback-para-plano identificada demonstra robustez em:

• Trajetórias de Backbone: Padrões de sinergia de ferramentas permanecem consistentes entre diferentes modelos subjacentes de geração de código (de modelos open-source mais fracos a modelos proprietários mais fortes), embora o foco da sinergia mude de correção (mais fracos) para otimização de desempenho (mais fortes).
• Cargas de Trabalho: Padrões qualitativos mantêm-se em diversas cargas de trabalho CUDA (NPB, XSBench, operadores de aprendizado profundo), apesar de variações no ruído de feedback e complexidade do kernel.
• Regimes de Indução de Referência: Comportamentos de planejamento permanecem invariantes entre diferentes operadores evolutivos (EoH, MCTS, Hill Climbing), sugerindo que o mecanismo de feedback-para-plano é desacoplado de dinâmicas de busca específicas.

Significado e Alegações

O artigo afirma fornecer uma metodologia principiada para analisar agentes LLM autoevolutivos, desconectando a atribuição de feedback da deriva de trajetória. As principais contribuições incluem:

1. Framework CUDAnalyst: Uma camada de análise nova e computacionalmente eficiente que permite intervenções controladas ao nível da geração e atribuição coalizional, superando as limitações da ablação E2E.
2. Insights Estruturais: A identificação de uma estrutura robusta e invariante à arquitetura de "feedback-para-plano", revelando que o planejamento eficaz é condicional ao alinhamento de feedback e à sinergia multi-ferramenta.
3. Design Acionável (CuGEdit): Os autores operacionalizam esses insights no CuGEdit, um plugin modular que usa gateamento baseado em similaridade e destilação de planos entre modelos. A validação empírica no KernelBench Nível 3 mostra que agentes aprimorados com CuGEdit alcançam aceleração de 2,08× a 10,32× sobre o torch.compile, superando a linha de base e as abordagens SOTA existentes.

Os autores concluem que seu trabalho estabelece um framework estável para atribuição de crédito em agentes autoevolutivos, oferecendo novos insights sobre as dinâmicas internas de tomada de decisão de LLMs em tarefas complexas de otimização de código de longo horizonte. Eles enfatizam que essas descobertas são específicas aos eixos controlados estudados (trajetórias congeladas, tipos específicos de feedback) e não necessariamente se generalizam para todas as arquiteturas de agentes sem validação adicional.