From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

Resumen Técnico: De la Guía Humana a la Autonomía: Sistema de Habilidades de Agentes para el Despliegue de LLM de Extremo a Extremo en NPU Espaciales

Declaración del Problema
Las Unidades de Procesamiento Neuronal (NPU) espaciales ofrecen una plataforma de bajo consumo energético para la inferencia de Modelos de Lenguaje de Gran Escala (LLM) en el borde (edge). Sin embargo, desplegar LLMs de extremo a extremo en estos aceleradores de hardware con recursos limitados sigue siendo un proceso laborioso que requiere una ingeniería experta sustancial. Si bien los agentes de codificación de IA han comenzado a reducir los costos de ingeniería, la investigación existente se centra principalmente en la optimización de un solo kernel en lugar del despliegue completo de extremo a extremo. Además, ningún marco existente codifica el flujo de trabajo de despliegue completo como "Habilidades de Agente" composibles que puedan ser invocadas autónomamente para gestionar la gestión de hardware explícita, la programación de movimiento de datos y la colocación de kernels a nivel de tile requerida por las NPU espaciales.

Metodología
Los autores proponen una metodología de dos etapas instanciada en la AMD XDNA™2 NPU, diseñada para la transición de un desarrollo guiado por humanos hacia la autonomía de los agentes.

• Etapa 1: Asistencia de Agente Guiada por Humanos (Despliegue de Referencia):
  El equipo desplegó un modelo Llama-3.2-1B en BF16 de extremo a extremo utilizando un agente de codificación de IA (Claude Code con Claude Opus 4.7) como copiloto. Para gestionar la complejidad de la documentación de herramientas dispersa y los mensajes de error opacos, emplearon una disciplina de "documentación primero". Un conjunto estructurado de documentos Markdown (p. ej., plan.md, issues.md, perf_opt_traj.md) rastreó la trayectoria de optimización, los pasos de depuración y la lógica de diseño. El agente realizó ediciones de código, perfiles y ejecuciones de herramientas bajo supervisión humana, registrando cada decisión. Este proceso logró una aceleración de 2.2× en la fase de prefill y una aceleración de 4.0× en la fase de decode en comparación con una línea base optimizada a mano (IRON). Las optimizaciones clave incluyeron la vectorización, el ajuste de tiles específico para la forma (shape-specific tile tuning), el diseño de kernels fusionados (fusionando 15 kernels en 3 dispatches) y optimizaciones del lado del host como el mapeo de buffers de copia cero (zero-copy buffer mapping) y el salto de transferencias de datos redundantes.

• Etapa 2: Sistema de Habilidades de Agente (Despliegue Autónomo):
  La documentación y la trayectoria de optimización de la Etapa 1 se destilaron en un "Sistema de Habilidades de Agente" reutilizable. Este sistema orquesta el despliegue de nuevos LLMs no encontrados previamente a través de un pipeline de ocho fases:

  1. Fase 0–3 (Corrección): Establece la corrección funcional de extremo a extremo descomponiendo el modelo en un oráculo CPU FP32, validando kernels individuales de la NPU, conectándolos en un único bloque transformer y escalando hacia el modelo completo de N capas.
  2. Fase 4–5 (Optimización): Aplica habilidades de optimización específicas (p. ej., fusión de múltiples kernels, reutilización de buffers, alineación de layouts) para abordar los cuellos de botella de prefill y decode.
  3. Fase 6 (Integración): Integra el prefill y el decode en un único ejecutor (runner) y cosecha nuevos hallazgos.
  4. Fase 7 (Evaluación Independiente): Genera un agente evaluador independiente (sin contexto previo) para auditar nuevamente el despliegue, volver a ejecutar las compuertas numéricas y verificar los informes de rendimiento para prevenir el "reward hacking".

  Crucialmente, las Fases 0–6 imponen estrictas compuertas de corrección numérica contra una referencia CPU FP32 (midiendo error absoluto, error relativo y correlación de Pearson). Si una compuerta falla, el sistema invoca automáticamente habilidades de depuración basadas en patrones de falla conocidos o solicita intervención humana.

Contribuciones Clave

1. Despliegue de Referencia de Alto Rendimiento: Un despliegue de extremo a extremo de Llama-3.2-1B en la AMD XDNA 2 NPU que supera la línea base optimizada a mano por 2.2× (prefill) y 4.0× (decode), con toda la trayectoria de optimización documentada para formar la base del sistema de habilidades.
2. Sistema de Habilidades de Agente para NPUs: Un novedoso sistema que comprende una cadena de habilidades de ocho fases con estrictas compuertas numéricas, un conjunto de habilidades de optimización y depuración que se activan automáticamente ante patrones comunes, y un agente evaluador independiente. Este es el primer conjunto de habilidades dirigido al despliegue de LLM de extremo a extremo en NPUs espaciales.
3. Despliegue Autónomo de Ocho Nuevos Modelos: El primer despliegue de código abierto de extremo a extremo de ocho modelos LLM adicionales (incluyendo Llama-3.2-3B, SmolLM2-1.7B y varios modelos Qwen2.5/3) en la AMD XDNA 2 NPU. Estos despliegues se completaron autónomamente en un tiempo de ejecución de agente de 0.5 a 4 horas con casi ninguna guía humana.

Resultos
Utilizando el sistema de habilidades de agente, el equipo desplegó con éxito ocho LLMs adicionales. Todos los modelos pasaron las compuertas de corrección numérica y fueron verificados manualmente.

• Eficiencia: Tres de los ocho modelos (Llama-3.2-3B, SmolLM2-1.7B, Qwen2.5-3B) lograron un rendimiento sostenido ($\eta_{scale}$) que iguala o supera la referencia de Llama-3.2-1B (oscilando entre 0.94 y 1.27). Estos modelos comparten estructuras de bloque transformer similares con la referencia, lo que permite que los kernels existentes los manejen eficazmente.
• Limitaciones: Los cinco modelos restantes mostraron una eficiencia menor ($\eta_{scale}$ 0.24–0.94). Los autores atribuyen esto a cargas de trabajo por kernel más pequeñas (que no logran amortizar el overhead de dispatch) y operaciones no soportadas (p. ej., QKV bias, normalización Q/K por cabeza) que requirieron padding o impidieron la fusión de kernels.
• Tiempo de Despliegue: Los despliegues autónomos se completaron en 0.5 a 4 horas, reduciendo significativamente el esfuerzo de ingeniería en comparación con el despliegue manual.

Significancia
El artículo afirma demostrar la "generalización funcional" a LLMs previamente no encontrados, probando que un sistema de habilidades destilado de la optimización guiada por humanos puede desplegar autónomamente implementaciones de LLM competitivas en NPUs espaciales sin ingeniería humana adicional específica para el modelo. Aborda la brecha en la investigación existente al ir más allá de la optimización de un solo kernel hacia flujos de trabajo de despliegue completos de extremo a extremo. El trabajo establece un camino para reducir la barrera de ingeniería para el despliegue de LLM en el borde en aceleradores espaciales de bajo consumo, sugiriendo que la autonomía de los agentes puede eventualmente reemplazar la necesidad de una extensa ingeniería experta en este dominio.