Resumo Técnico: Arbor – Busca em Árvore como uma Camada de Cognição para Agentes Autônomos

Declaração do Problema

Avanços recentes na otimização de código baseada em Grandes Modelos de Linguagem (LLMs) demonstraram que agentes autônomos podem descobrir soluções de alta qualidade para alvos computacionais isolados (ex: kernels individuais ou operadores específicos). No entanto, o desempenho de software em produção surge da interação complexa de múltiplas camadas (aplicação, framework, compilador, kernel, hardware). Otimizar uma camada frequentemente expõe gargalos ou regressões em outra, criando um espaço de ação estatal e de grande escala, onde intervenções podem invalidar o progresso anterior.

Abordagens existentes enfrentam três limitações primárias:

1. Escopo Isolado: Autotuners de compiladores e frameworks multi-agente tipicamente operam dentro de uma única camada ou em um único alvo, falhando em abordar dependências entre camadas.
2. Falta de Memória Estatal: Sistemas atuais não mantêm uma memória de trabalho compartilhada que evolui com cada medição, tratando falhas meramente como sinais de parada em vez de dados diagnósticos.
3. Incapacidade de Lidar com Falhas em Cascata: Quando uma otimização causa um crash no sistema ou uma regressão, os sistemas existentes carecem de mecanismos para diagnosticar a causa raiz, propagar restrições de volta para a busca e remodelar a exploração subsequente.

O desafio central muda da geração de candidatos para a seleção de candidatos: navegar em um cenário dinâmico onde cada intervenção remodela a distribuição de gargalos, exigindo um sistema capaz de detectar mudanças, diagnosticar falhas entre camadas e expandir a fronteira de busca autonomamente.

Metodologia: O Framework Arbor

O Arbor formula a otimização de stack completa como uma busca em árvore pontuada por heurísticas sobre um espaço de ação que se expande dinamicamente. Ele introduz uma camada de cognição que mantém uma árvore de busca explícita, servindo como memória de trabalho compartilhada entre agentes.

1. Procedimento de Busca e Gestão de Estado

• Estrutura da Árvore: O estado de otimização é uma árvore $T = (V, E)$ enraizada em um baseline perfilado. Cada nó representa uma ação e seu resultado (mantida, revertida ou crash). O caminho da raiz ao nó define a sequência cumulativa de intervenções.
• Expansão Dinâmica: A árvore não é estática. Após uma ação bem-sida, o sistema realiza um novo perfilamento para revelar gargalos anteriormente invisíveis, gerando novos ramos que não existiam na inicialização.
• Loop de Busca: O Orquestrador executa um loop de profundidade (depth-first):
  1. Perfil o estado atual para identificar gargalos e fatias de tempo de GPU.
  2. Pontua candidatos usando uma função heurística.
  3. Despacha a ação de maior pontuação para um Especialista de Domínio.
  4. Submete os resultados a uma verificação de precisão e benchmarking end-to-end.
  5. Atualiza a árvore: ações mantidas tornam-se o novo baseline; ações revertidas registram anotações diagnósticas; ações que causaram crash disparam análise de causa raiz.
  6. Repontua os candidatos restantes conforme a distribuição de gargalos se desloca.

2. Pontuação Heurística

Os candidatos são pontuados equilibrando o ganho esperado contra custo e risco, incorporando um bônus de exploração:
$$h(a) = \frac{g(a)}{c(a) \cdot (1 - r_{acc}) \cdot (1 - r_{crash}) \cdot m_{gap}} + C_s \frac{\ln N}{1 + n_{cat}}$$

• $g(a)$: Ganho esperado, estimado a partir da fatia de tempo de GPU do kernel alvo e priors de velocidade específicos por categoria (derivados de uma base de conhecimento persistente).
• $c(a)$: Custo estimado de tempo de parede (implementação, reinicialização, benchmarking).
• $r_{acc}, r_{crash}$: Taxas empíricas de falha para precisão e crashes, refinadas conforme a campanha progride.
• $m_{gap}$: Multiplicador de urgência que escala com a lacuna restante até o alvo de throughput.
• Termo UCB: Incentiva a exploração de categorias de ação subamostradas.

3. Arquitetura Multi-Agente com Pesos e Contrapesos

O Arbor estrutura seus agentes para mimetizar organizações de engenharia eficazes, decompondo capacidades em Habilidades Técnicas (expertise de domínio) e Habilidades Interpessoais (protocolos de coordenação).

• O Orquestrador (O "Líder Técnico"):

  • Conduz o loop de otimização através de perfilamento, pontuação e delegação.
  • Constrói dinamicamente Especialistas de Domínio em tempo de execução para tarefas específicas (kernel, framework, comunicação, compilador, dispatch).
  • Compõe prompts usando contexto de hardware, entradas da base de conhecimento e históricos de falhas.
  • Não implementa o código em si, mas decide o que tentar e quem implementa.

• O Crítico (O "Garantia de Qualidade"):

  • Salvaguarda a estabilidade e a integridade das medições.
  • Realiza Análise de Causa Raiz (RCA) em crashes, distinguindo erros de implementação de direções improdutivas.
  • Impõe Guardrails para detectar anomalias de benchmark.
  • Realiza Introspecção para avaliar se uma ideia revertida retém mérito sob diferentes restrições.
  • Monitora a saúde do sistema a longo prazo, publicando restrições para evitar a reiteração de regiões improdutivas.

• Especialistas de Domínio:

  • Construídos dinamicamente por tarefa.
  • Operam assincronamente entre as camadas, realizando refinamento iterativo com validação local antes de retornar patches prontos para integração (merge-ready).
  • Aderem às restrições publicadas pelo Crítico.

• Base de Conhecimento Persistente:

  • Acumula estratégias e modos de falha entre sessões.
  • Permite o transfer learning de warm-start para novos modelos e hardware, informando os priors de pontuação e reduzindo a variância entre execuções.

Principais Contribuições

1. Formulação de Busca em Árvore com Estado: O artigo formula a otimização cross-layer como uma busca em árvore onde a árvore serve como memória de trabalho compartilhada. As falhas propagam-se como restrições nos nós filhos, e os sucessos disparam o re-perfilamento para expandir a fronteira de busca.
2. Arquitetura Multi-Agente de Pesos e Contrapesos: Introduz um sistema de dois agentes onde um Orquestrador impulsiona a otimização agressiva enquanto um Crítico salvaguarda a estabilidade. Nenhum agente pode conduzir o sistema unilateralmente, garantindo que sacrifícios de throughput de curto prazo sejam feitos apenas quando necessários para a viabilidade da sessão.
3. Decomposição de Habilidades: Decompõe as capacidades dos agentes em habilidades técnicas (expertise de domínio) e habilidades interpessoais (protocolos de coordenação), apoiadas por uma base de conhecimento persistente para transferência entre sessões.
4. Construção Dinâmica de Especialistas: Afasta-se de agentes fixos, construindo Especialistas de Domínio dinamicamente em tempo de execução com base no alvo de otimização específico, contexto de hardware e dados históricos.

Resultados

O Arbor foi avaliado em serviço de inferência de LLM em seis modelos de produção em GPUs AMD Instinct (MI355X e MI300X).

• Melhorias de Throughput:
  • No MI355X, o Arbor alcançou +40% a +193% de melhoria de throughput sobre os baselines otimizados pelo fabricante após dias de operação totalmente autônoma.
  • No MI300X (validação entre gerações), as melhorias variaram de +62% a +99%.
• Reprodutibilidade: A variância entre execuções ficou dentro de 2 pontos percentuais, demonstrando reprodutibilidade agnóstica ao hardware.
• Ablação/Comparação: Um único agente sem o harness do Arbor (sendo o "harness" o framework de busca em árvore multi-agente) estagnou em apenas +33% de melhoria de throughput e sofreu crash irrecuperável em poucas horas.
• Estudo de Caso (gpt-oss-120b): Em uma árvore de busca específica para um modelo MoE de 120B, o sistema explorou 30 ações. 9 foram mantidas, 16 foram revertidas com insights diagnósticos e 3 sofreram crash, mas foram recuperadas via RCA. O sistema atingiu 6.515 tok/s/GPU (uma melhoria de 48% sobre o baseline de 4.405 tok/s/GPU), utilizando insights de introspecção (ex: identificando caminhos de código morto) e RCA (classificando crashes como problemas de dependência em vez de falhas algorítmicas).

Significância e Alegações

O artigo afirma que o Arbor representa uma mudança na otimização autônoma: de geração de candidatos isolados para a navegação em espaços de ação de grande escala e com estado. Ao tratar falhas como sinais diagnósticos que remodelam a exploração e manter uma memória de trabalho compartilhada, o Arbor permite campanhas multidias totalmente autônomas que seriam impossíveis devido à instabilidade do sistema.

O framework demonstra que:

1. A otimização cross-layer é viável sem intervenção humana, desde que o sistema possa detectar mudanças de gargalo e diagnosticar falhas em toda a stack.
2. Arquiteturas de pesos e contrapesos são críticas para a autonomia sustentada, impedindo que a exploração agressiva desestabilize o sistema.
3. A transferência de conhecimento entre sessões e gerações de hardware é alcançável através de memória persistente, reduzindo a barreira para implementar novos hardwares ou modelos.

Em última análise, o Arbor visa reduzir o custo operacional e a intensidade de carbono das implantações de LLM, automatizando o esforço coordenado tradicionalmente exigido de equipes de engenharia em todo o stack de software e hardware.