From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

Resumo Técnico: Da Orientação Humana à Autonomia: Sistema de Habilidades de Agente para Implantação de LLM de Ponta a Ponta em NPUs Espaciais

Declaração do Problema
As Unidades de Processamento Neural (NPUs) espaciais oferecem uma plataforma de eficiência energética para inferência de Grandes Modelos de Linguagem (LLMs) na borda (edge). No entanto, implantar LLMs de ponta a ponta nessas aceleradoras de hardware com recursos limitados permanece um processo trabalhoso que exige engenharia especializada substancial. Embora agentes de codificação de IA tenham começado a reduzir os custos de engenharia, a pesquisa existente foca primariamente na otimização de kernel único, em vez da implantação completa de ponta a ponta. Além disso, nenhum framework existente codifica o fluxo de trabalho completo de implantação como "Habilidades de Agente" compostáveis que possam ser invocadas autonomamente para lidar com o gerenciamento explícito de hardware, escalonamento de movimentação de dados e posicionamento de kernel em nível de tile exigidos por NPUs espaciais.

Metodologia
Os autores propõem uma metodologia de dois estágios instanciada na AMD XDNA™2 NPU, projetada para transitar do desenvolvimento guiado por humanos para a autonomia do agente.

• Estágio 1: Assistência de Agente Guiada por Humanos (Implantação de Referência):
  A equipe implantou um modelo Llama-3.2-1B em BF16 de ponta a ponta usando um agente de codificação de IA (Claude Code com Claude Opus 4.7) como copiloto. Para gerenciar a complexidade da documentação esparsa das ferramentas e mensagens de erro opacas, eles empregaram uma disciplina de "documentação primeiro". Um conjunto estruturado de documentos Markdown (ex: plan.md, issues.md, perf_opt_traj.md) rastreou a trajetória de otimização, etapas de depuração e o racional de design. O agente realizou edições de código, perfilamento (profiling) e execuções de ferramentas sob supervisão humana, com cada decisão sendo registrada. Este processo alcançou um aumento de velocidade de 2,2× no prefill e de 4,0× no decode em comparação com uma base otimizada manualmente (IRON). As principais otimizações incluíram vetorização, ajuste de tile específico para formas (shapes), design de kernel fundido (mesclando 15 kernels em 3 dispatches) e otimizações do lado do host, como mapeamento de buffer de cópia zero (zero-copy) e salto de transferências de dados redundantes.

• Estágio 2: Sistema de Habilidades de Agente (Implantação Autônoma):
  A documentação e a trajetória de otimização do Estágio 1 foram destiladas em um "Sistema de Habilidades de Agente" reutilizável. Este sistema orquestra a implantação de novos LLMs não encontrados anteriormente através de um pipeline de oito fases:

  1. Fase 0–3 (Corretude): Estabelece a corretude funcional de ponta a ponta decompondo o modelo em um oráculo CPU FP32, validando kernels individuais da NPU, conectando-os em um único bloco transformer e cascateando para o modelo completo de N camadas.
  2. Fase 4–5 (Otimização): Aplica habilidades de otimização específicas (ex: fusão de múltiplos kernels, reutilização de buffer, alinhamento de layout) para abordar gargalos de prefill e decode.
  3. Fase 6 (Integração): Integra o prefill e o decode em um único executor (runner) e colhe novas descobertas.
  4. Fase 7 (Avaliação Independente): Gera um agente avaliador independente (sem contexto prévio) para auditar novamente a implantação, reexecutar portões numéricos e verificar relatórios de desempenho para evitar o reward hacking.

Crucialmente, as Fases 0–6 impõem portões rigorosos de corretude numérica contra uma referência CPU FP32 (medindo erro absoluto, erro relativo e correlação de Pearson). Se um portão falhar, o sistema invoca automaticamente habilidades de depuração baseadas em padrões de falha conhecidos ou solicita intervenção humana.

Principais Contribuições

1. Implantação de Referência de Alto Desempenho: Uma implantação de ponta a ponta do Llama-3.2-1B na AMD XDNA 2 NPU que supera a base otimizada manualmente em 2,2× (prefill) e 4,0× (decode), com toda a trajetória de otimização documentada para formar a base do sistema de habilidades.
2. Sistema de Habilidades de Agente para NPUs: Um sistema inovador que compreende uma cadeia de habilidades de oito fases com portões numéricos rigorosos, um conjunto de habilidades de otimização e depuração que são acionadas automaticamente com base em padrões comuns, e um agente avaliador independente. Este é o primeiro conjunto de habilidades voltado para a implantação de LLM de ponta a ponta em NPUs espaciais.
3. Implantação Autônoma de Oito Novos Modelos: A primeira implantação de código aberto de ponta a ponta de oito LLMs adicionais de decodificador único (incluindo Llama-3.2-3B, SmolLM2-1.7B e vários modelos Qwen2.5/3) na AMD XDNA 2 NPU. Essas implantações foram concluídas autonomamente em 0,5 a 4 horas de tempo de execução do agente com quase nenhuma orientação humana.

Resultos
Usando o sistema de habilidades de agente, a equipe implantou com sucesso oito LLMs adicionais. Todos os modelos passaram pelos portões de corretude numérica e foram verificados manualmente.

• Eficiência: Três dos oito modelos (Llama-3.2-3B, SmolLM2-1.7B, Qwen2.5-3B) alcançaram um desempenho sustentado ($\eta_{scale}$) igualando ou excedendo a referência do Llama-3.2-1B (variando de 0,94 a 1,27). Esses modelos compartilham estruturas de bloco transformer semelhantes à referência, permitendo que os kernels existentes os manipulem efetivamente.
• Limitações: Os cinco modelos restantes mostraram menor eficiência ($\eta_{scale}$ 0,24–0,94). Os autores atribuem isso a cargas de trabalho por kernel menores (falhando em amortizar o overhead de dispatch) e operações não suportadas (ex: viés QKV, normalização Q/K por cabeça) que exigiram preenchimento (padding) ou impediram a fusão de kernels.
• Tempo de Implantação: As implantações autônomas foram concluídas em 0,5 a 4 horas, reduzindo significativamente o esforço de engenharia em comparação com a implantação manual.

Significância
O artigo afirma demonstrar "generalização funcional" para LLMs anteriormente não encontrados, provando que um sistema de habilidades destilado da otimização guiada por humanos pode implantar autonomamente implementações de LLM competitivas em NPUs espaciais sem engenharia humana adicional específica para o modelo. Ele aborda a lacuna nas pesquisas existentes ao ir além da otimização de kernel único para fluxos de trabalho completos de implantação de ponta a ponta. O trabalho estabelece um caminho para reduzir a barreira de engenharia para a implantação de LLM na borda em aceleradores espaciais energeticamente eficientes, sugerindo que a autonomia do agente pode eventualmente substituir a necessidade de extensa engenharia especializada neste domínio.