Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis

El paper presenta EvoKernel, un marco de agentes autoevolutivos que utiliza un enfoque de memoria basado en valores para superar la escasez de datos en la síntesis de kernels para NPUs, logrando mejorar la precisión de los modelos de 11.0% a 83.0% y acelerar el rendimiento mediante un refinamiento continuo.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un genio de la programación (una Inteligencia Artificial) a construir motores de carreras de Fórmula 1, pero hay un problema: nunca ha visto un motor así antes.

Aquí tienes la explicación de este paper, "EvoKernel", contada como si fuera una historia de aprendizaje y superación.

🏁 El Problema: La "Pared de Datos"

Imagina que tienes un chef de cocina muy famoso (la IA) que es un experto en hacer pizza italiana. Tiene millones de recetas y sabe exactamente cómo hacerla perfecta. Pero, de repente, le pides que cocine un plato de un país que nunca ha visitado, donde los ingredientes son extraños y no hay libros de cocina (datos) disponibles.

En el mundo de la computación, esto es lo que pasa con las NPU (un tipo de chip especial para Inteligencia Artificial).

• El éxito: En chips antiguos (como los de NVIDIA), hay millones de ejemplos de código. La IA puede copiar y pegar soluciones y funciona genial.
• El fracaso: En los chips nuevos (como los de Ascend/NPU), hay muy pocos ejemplos. Si le pides a la IA que escriba código para estos chips, se queda en blanco o hace cosas que no funcionan. A esto los autores lo llaman "Cold-Start" (arranque en frío) o la "Pared de Datos".

🚀 La Solución: EvoKernel (El Entrenador que Aprende)

Los autores crearon un sistema llamado EvoKernel. Imagina que en lugar de darle al chef un libro de recetas, le das un cuaderno de bitácora inteligente y un entrenador personal que aprende a medida que avanza.

EvoKernel funciona en dos fases principales, como un atleta que primero aprende a correr y luego a correr rápido:

1. Fase de Borrador (Cold-Start Drafting): "¡Que funcione primero!"

Al principio, la IA no sabe nada. EvoKernel le dice: "No te preocupes por ser rápido, solo asegúrate de que el código no explote y haga lo que se le pide".

• La analogía: Es como un arquitecto que dibuja un plano de una casa. Al principio, solo quiere asegurarse de que las paredes estén rectas y el techo no se caiga.
• El truco: El sistema guarda cada intento (éxito o fracaso) en su memoria. Si un intento falló porque le faltó una pieza, lo anota. Si uno funcionó, lo guarda como un "tesoro".

2. Fase de Refinamiento Continuo (Continual Refining): "¡Ahora hazlo más rápido!"

Una vez que la IA logra que el código funcione (aunque sea lento), entra la segunda fase.

• La analogía: Ahora que la casa está en pie, el arquitecto empieza a optimizar: "¿Podemos poner ventanas más grandes para que entre más luz? ¿Podemos cambiar el aislamiento para que se caliente menos?".
• El truco: El sistema toma el código que ya funciona y lo mejora iterativamente, midiendo cuánto tiempo tarda en ejecutarse y buscando formas de reducir ese tiempo.

🧠 El Superpoder: La "Memoria con Valor" (Value-Driven Memory)

Aquí está la parte más genial. La mayoría de los sistemas buscan información basándose en qué tan parecida es una palabra a otra (como buscar en Google). Pero EvoKernel es más inteligente.

Imagina que tienes una biblioteca gigante de intentos fallidos y éxitos.

• Sistema normal: Busca un libro porque el título suena parecido al problema actual.
• EvoKernel: Busca un libro basándose en cuánto le ayudó a resolver problemas similares en el pasado.

El sistema tiene un "ojo crítico" (llamado Q-Value) que aprende a decir: "¡Oye! Este intento fallido de hace dos días es muy útil para este problema nuevo porque nos enseñó a evitar un error específico". O bien: "¡Este código exitoso es perfecto para optimizar la velocidad!".

No necesita reescribir el cerebro de la IA (no necesita "entrenar" la IA de nuevo, lo cual es caro y lento). Solo necesita enseñarle a buscar mejor en su propia experiencia.

🏆 Los Resultados: De Novato a Maestro

Los autores probaron esto en un banco de pruebas llamado KernelBench (una especie de olimpiada de programación para chips).

• Antes de EvoKernel: Las mejores IAs del mundo (como GPT-5.2) tenían un éxito del 11% en estos chips nuevos. ¡Casi todas fallaban!
• Con EvoKernel: El éxito subió al 83%.
• Velocidad: Además de funcionar, el código que generaron fue, en promedio, 3.6 veces más rápido que el primer borrador que la IA intentó hacer.

💡 En Resumen

EvoKernel es como darle a un principiante un cuaderno de notas mágico que le dice: "Mira, la última vez que intentaste esto, fallaste por aquí. Intenta cambiar eso. Y por cierto, el éxito que tuviste ayer con otro problema nos puede ayudar a resolver este hoy".

Gracias a esto, las IAs pueden aprender a programar para hardware nuevo y raro sin necesidad de tener millones de ejemplos previos, simplemente aprendiendo de sus propios errores y aciertos a medida que avanzan. ¡Es como enseñar a un niño a andar en bicicleta sin caerse, dándole un soporte que se ajusta automáticamente a su progreso! 🚲✨

Resumen técnico

Resumen Técnico: EvoKernel

1. El Problema: La "Pared de Datos" en la Síntesis de Kernels

El artículo aborda un desafío crítico en la implementación de Modelos de Lenguaje Grande (LLMs) en dominios de programación de nicho, específicamente en la síntesis de kernels para Arquitecturas Específicas de Dominio (DSA) como las NPUs (Unidades de Procesamiento Neuronal).

• Escasez de Datos: A diferencia de ecosistemas maduros como CUDA, donde existen décadas de repositorios de código para el entrenamiento, las plataformas emergentes (como Ascend C de Huawei) sufren de una severa escasez de datos ("Data Wall"). La documentación es esotérica, el código público es raro y los compiladores ofrecen retroalimentación opaca.
• Fallo en el "Cold-Start": Los LLMs de vanguardia, que funcionan excepcionalmente bien en CUDA, experimentan un colapso catastrófico de rendimiento al transferirse a estos entornos con pocos datos. Por ejemplo, modelos como GPT-5.2 caen de un 92% de precisión en tareas CUDA a solo un 14% en Ascend C.
• Limitaciones de los Métodos Actuales:
  • El Fine-Tuning Supervisado (SFT) es prohibitivamente costoso debido a la falta de ejemplos etiquetados por expertos.
  • El Aprendizaje por Refuerzo (RL) paramétrico requiere muchas muestras y riesgo de olvido catastrófico.
  • La Generación Aumentada por Recuperación (RAG) tradicional falla porque la similitud semántica superficial no garantiza la utilidad en tareas de compilación binaria ("todo o nada").

2. Metodología: EvoKernel

Los autores proponen EvoKernel, un marco de trabajo de agentes auto-evolutivos que formula la síntesis de kernels como una tarea de Aprendizaje por Refuerzo basada en Memoria (M-MDP). El sistema no actualiza los pesos del modelo base, sino que aprende a recuperar experiencias útiles de una memoria que evoluciona.

Componentes Clave:

• Proceso de Dos Etapas:
  1. Borrador en Frío (Cold-Start Drafting): El objetivo es encontrar un kernel funcionalmente correcto. El agente recupera experiencias para bootstrapear la corrección.
  2. Refinamiento Continuo (Continual Refining): Una vez que existe un kernel válido, el objetivo cambia a la optimización de la latencia (velocidad).
• Recuperación Impulsada por Valor (Value-Driven Retrieval):
  • En lugar de buscar por similitud semántica, el agente aprende Q-valores específicos para cada etapa.
  • Q1 (Drafting): Estima la probabilidad de que una experiencia histórica contribuya a la corrección funcional.
  • Q2 (Refining): Estima la contribución de una experiencia a la optimización de la latencia.
  • Estos valores se actualizan mediante una regla de Monte Carlo unificada basada en la retroalimentación del verificador, permitiendo que la política de recuperación se adapte dinámicamente sin tocar los pesos del LLM.
• Memoria Heterogénea: La base de conocimientos incluye plantillas de API, experiencias de éxito/fracaso, trazas de generación y mejores prácticas. Permite el compartir memoria entre tareas, transfiriendo conocimientos de operadores simples a complejos.
• Verificación Multi-Puerta: Un verificador robusto evalúa el código generado en tres niveles:
  1. Anti-hacking: Detecta si el modelo "hace trampa" usando APIs de alto nivel de PyTorch en lugar de escribir el kernel en Ascend C.
  2. Compilación: Verifica que el código compile correctamente.
  3. Corrección: Compara la salida con una referencia de PyTorch.
  4. Latencia: Mide el tiempo de ejecución en el hardware real.

3. Contribuciones Clave

1. Pipeline Unificado de Borrado-Refinamiento: Un marco compartido que transita desde la búsqueda de factibilidad hasta la optimización de latencia utilizando una memoria común.
2. Mecanismo de Recuperación Evolutivo: Introducción de Q-valores específicos por etapa para cuantificar la utilidad de la memoria, permitiendo al agente aprender qué experiencias son valiosas en cada momento del ciclo de vida del kernel.
3. Evaluación Exhaustiva en NPU: Construcción de una variante de KernelBench para Ascend C y demostración de que el enfoque basado en memoria permite a modelos generales dominar ecosistemas de hardware con escasez de datos.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark KernelBench adaptado a Ascend C, utilizando modelos como GPT-5.2, DeepSeek-V3.2 y Qwen3-Coder-30B.

• Mejora de Precisión (Cold-Start): EvoKernel elevó la corrección funcional de los modelos de vanguardia del 11.0% al 83.0% (usando GPT-5.2), superando significativamente a los enfoques de Pass@k y refinamiento iterativo sin memoria compartida.
• Optimización de Rendimiento: Tras obtener un kernel correcto, el proceso de refinamiento logró una aceleración mediana de 3.60x sobre el primer borrador viable. Algunos operadores lograron mejoras superiores a 200x.
• Transferencia de Conocimiento:
  • Entre Niveles de Dificultad: El aprendizaje en operadores simples (Nivel 1) aceleró significativamente la resolución de operadores complejos (Nivel 2), logrando un 64% de precisión en L2 frente al 34% de un enfoque desde cero.
  • Entre Modelos: La memoria construida por un modelo fuerte (GPT-5.2) mejoró drásticamente el rendimiento de modelos más débiles (DeepSeek, Qwen), duplicando sus tasas de compilación y corrección.
• Generalización: El sistema demostró capacidad para adaptarse a cargas de trabajo fuera de la distribución de entrenamiento, como conjuntos de operadores de Attention y kernels mHC de arquitecturas DeepSeek recientes, manteniendo altas tasas de éxito.

5. Significado e Impacto

El trabajo demuestra que los LLMs no necesitan ser reentrenados masivamente para dominar nuevos dominios de hardware si se les proporciona un mecanismo de memoria auto-evolutiva guiada por valor.

• Democratización de la Programación de Nicho: EvoKernel ofrece una vía para superar la escasez de expertos en programación de kernels para hardware emergente (como NPUs), permitiendo que agentes autónomos aprendan y optimicen sin necesidad de grandes corpus de datos etiquetados.
• Paradigma No Paramétrico: Valida que las mejoras en la capacidad de aprendizaje en contexto (In-Context Learning) de los LLMs, combinadas con una gestión inteligente de la memoria, son suficientes para resolver problemas de síntesis de código rigurosos y binarios.
• Escalabilidad: El enfoque sugiere que a medida que los LLMs mejoren, los sistemas basados en memoria permitirán la maestría autónoma en una gama cada vez más amplia de tareas especializadas, reduciendo la dependencia de la fine-tuning costosa.

En resumen, EvoKernel transforma el problema de la síntesis de kernels en un proceso de aprendizaje continuo donde la experiencia acumulada y valorada actúa como el puente crítico para superar la barrera de los datos escasos en arquitecturas de hardware emergentes.