CktEvo: Repository-Level RTL Code Benchmark for Design Evolution

El artículo presenta CktEvo, un marco de referencia y un conjunto de pruebas para la evolución de código RTL a nivel de repositorio que permite a los modelos de lenguaje grandes optimizar el rendimiento, la potencia y el área de diseños de hardware completos mediante ediciones funcionales y retroalimentación automática de herramientas sin intervención humana.

Lo esencial

Imagina que diseñar un chip de computadora (como el de tu teléfono) es como construir una ciudad futurista.

En esta ciudad, hay miles de edificios (los módulos de código) que deben trabajar juntos perfectamente. Los ingenieros tradicionales son como los arquitectos que revisan cada calle, ajustan el tráfico y tratan de hacer que la ciudad sea más rápida y consuma menos energía. Pero este proceso es lento, costoso y requiere que los expertos revisen cada pequeño cambio.

Aquí es donde entra CktEvo, el "nuevo super-ayudante" que presenta este artículo.

¿Qué problema resuelve?

Antes, la Inteligencia Artificial (IA) en el diseño de chips era como un estudiante de arquitectura muy creativo pero un poco distraído:

1. Opción A: Le pedías que inventara una ciudad desde cero basándose en una descripción. A menudo, inventaba cosas que no funcionaban o que eran peligrosas (alucinaciones).
2. Opción B: Le pedías que arreglara un solo edificio. Pero en una ciudad, si cambias un edificio, puede afectar el tráfico de toda la calle. La IA no veía el "panorama completo".

El problema real es que el diseño de chips es un proyecto gigante con miles de archivos interconectados. Cambiar una cosa aquí puede romper algo allá.

¿Qué es CktEvo?

CktEvo es como un laboratorio de pruebas y un entrenador personal para la IA, diseñado específicamente para mejorar ciudades (chips) que ya existen y funcionan, pero que podrían ser más eficientes.

En lugar de inventar una ciudad nueva, CktEvo toma una ciudad ya construida (un diseño de chip real) y le dice a la IA: "Mira, esta calle es lenta y gasta mucha energía. Intenta rediseñarla para que sea más rápida, pero ¡cuidado! No puedes cambiar el tráfico ni cerrar tiendas. La ciudad debe seguir funcionando igual".

¿Cómo funciona? (La analogía del "Ciclo de Mejora")

El sistema funciona como un bucle de retroalimentación inteligente:

1. El Inspector (Herramientas EDA): Imagina un inspector de tráfico muy estricto que mide exactamente cuánto tarda un coche en cruzar la ciudad y cuánta gasolina gasta.
2. El Analista (Gráficos de Código): La IA no lee el código como un humano (que es aburrido y confuso). Primero, un analista convierte el código en un mapa visual (un gráfico) que muestra exactamente dónde están los "cuellos de botella" (tráfico lento).
3. El Arquitecto IA (LLM): Con ese mapa en la mano, la IA propone cambios específicos. "Vamos a cambiar esta señal de tráfico de rojo a verde" o "Vamos a hacer que este edificio sea más compacto".
4. El Probador (Verificación): Antes de construir el cambio, el sistema lo prueba en un simulador. Si el cambio hace que la ciudad se caiga o funcione mal, se descarta inmediatamente. Si funciona, se aplica.
5. Repetición: Esto se hace una y otra vez, como si la IA estuviera jugando un videojuego de optimización, aprendiendo de cada error y acierto.

¿Qué descubrieron?

Los autores probaron esto con 11 diseños de chips reales (desde procesadores simples hasta interfaces de alta velocidad) y usaron diferentes IAs (como modelos de DeepSeek y GPT-4).

• El resultado: ¡Funcionó! Sin que ningún humano tocara el código, la IA logró que los chips fueran más rápidos y ocuparan menos espacio (mejoraron el "PPA": Potencia, Rendimiento y Área).
• La sorpresa: En herramientas de código abierto, lograron mejorar la eficiencia general en un 10.5%. ¡Eso es mucho en el mundo de los chips!
• El matiz: Cuando usaron herramientas comerciales (las que usan las grandes empresas como Intel o Apple), la mejora fue más pequeña (alrededor del 1.7%). ¿Por qué? Porque esas herramientas comerciales ya son tan inteligentes que hacen casi todo el trabajo de "limpieza" automáticamente. Sin embargo, la IA aún logró encontrar pequeños detalles que las máquinas se habían perdido, como un 10% más rápido en un diseño de audio específico.

¿Por qué es importante?

Piensa en CktEvo como el paso de tener un ayudante que solo escribe borradores a tener un arquitecto senior autónomo.

Hasta ahora, la IA solo servía para escribir código nuevo o arreglar errores obvios. CktEvo demuestra que la IA puede evolucionar diseños complejos, entendiendo cómo un cambio en un archivo afecta a otros diez archivos diferentes, todo mientras mantiene la seguridad y la funcionalidad.

En resumen:
CktEvo es un nuevo "campo de entrenamiento" donde la IA aprende a ser un ingeniero de chips experto, capaz de tomar un diseño existente y hacerlo más rápido y eficiente sin romper nada, abriendo la puerta a que las computadoras del futuro se diseñen casi solas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "CktEvo: Repository-Level RTL Code Benchmark for Design Evolution" en español:

1. Planteamiento del Problema

El diseño de hardware a nivel de Registro-Transferencia (RTL) es un proceso iterativo y a escala de repositorio donde las métricas de Potencia, Rendimiento y Área (PPA) emergen de las interacciones entre múltiples archivos y la cadena de herramientas de diseño (toolchain). Aunque los Modelos de Lenguaje Grande (LLM) se han aplicado recientemente al diseño de hardware, existen dos brechas principales que limitan su utilidad industrial:

• Enfoque en prompts de lenguaje natural: La mayoría de los trabajos anteriores se centran en la generación o depuración desde prompts de texto. Esto introduce ambigüedad y alucinaciones, requiriendo revisión humana y limitando la automatización en bucle cerrado.
• Desconexión con dependencias cruzadas: Las líneas de trabajo que parten de entradas formales (como HLS o RTL subóptimo) suelen optimizar módulos aislados. Sin embargo, el PPA es una propiedad emergente de todo el repositorio y la herramienta de síntesis, no de archivos individuales.

Existe una desconexión entre las capacidades actuales de los LLM para codificación de hardware y la demanda industrial de optimizar diseños completos y funcionales sin intervención humana.

2. Metodología

El trabajo propone CktEvo, un marco de referencia y un benchmark para la evolución de RTL a nivel de repositorio.

Definición de la Tarea

La evolución de RTL a nivel de repositorio se formaliza como un problema de optimización multiobjetivo iterativo. Dado un repositorio inicial "golden" ($D_0$), el objetivo es generar una secuencia de diseños ($D_1, ..., D_T$) que:

1. Preserven estrictamente el comportamiento funcional (equivalencia lógica).
2. Mejoren las métricas no funcionales, específicamente el Área y el Retraso (Delay).
3. Operen sobre repositorios completos de múltiples archivos, no solo en fragmentos aislados.

Construcción del Benchmark (CktEvo)

El conjunto de datos consta de 11 repositorios RTL de alta calidad (escritos en Verilog) extraídos de proyectos de código abierto reales (como DeepCircuitX y ForgeEDA). Estos incluyen procesadores (RISC, simple_cpu), controladores (mem_ctrl, sdc_ctrl), interfaces de alta velocidad (usb, ethmac) y módulos de seguridad (hsm).

• Características clave: Son diseños completos, jerárquicos y multi-archivo, validados para ser sintetizables tanto con herramientas de código abierto (Yosys) como comerciales.

Marco de Evolución en Bucle Cerrado

Se introduce un agente automatizado que utiliza un flujo de retroalimentación de la cadena de herramientas EDA:

1. Análisis Basado en Grafos: Un analizador convierte el código RTL y los informes de la herramienta EDA (STA, síntesis lógica) en un Grafo de Flujo de Datos y Control (CDFG) anotado. Esto identifica cuellos de botella específicos (rutas críticas, áreas grandes) y los mapea a líneas de código concretas.
2. Generador de Prompts: Transforma el contexto enriquecido (anotaciones del CDFG, fragmentos de código y reportes de errores) en un prompt para el LLM, actuando como un "ingeniero de prompts" experto.
3. Mutación Guiada por LLM: El LLM propone revisiones de código (deltas) dirigidas a los cuellos de botella identificados.
4. Rectificación y Verificación:
   • Las revisiones se someten a una fase rápida de corrección de sintaxis.
   • Se ejecuta una verificación formal estricta para garantizar la equivalencia funcional con el diseño original.
   • Solo las revisiones que pasan la verificación y mejoran las métricas se aceptan.
5. Algoritmo de Evolución: Utiliza un modelo de "islas" (poblaciones independientes) y un algoritmo inspirado en AlphaEvolve. Se seleccionan diseños padres y "inspiraciones" de un archivo histórico (archive) para guiar al LLM, manteniendo la diversidad de la búsqueda.

3. Contribuciones Clave

1. Formalización de la tarea: Definen la evolución de repositorio RTL como un proceso de optimización que preserva la función y mejora el PPA, vinculado a flujos de verificación y síntesis de extremo a extremo.
2. Primer Benchmark de Nivel de Repositorio: Lanzan CktEvo, el primer conjunto de datos de 11 diseños Verilog multi-archivo y revisados por humanos, diseñado específicamente para evaluar la evolución iterativa en lugar de la generación de novo.
3. Marco de Referencia en Bucle Cerrado: Proporcionan un marco funcional que integra LLMs con retroalimentación de herramientas EDA, permitiendo ediciones cruzadas entre archivos y reparación iterativa sin intervención humana.

4. Resultados Experimentales

Los experimentos se realizaron utilizando tres LLMs (DeepSeek-v3, GPT-4o, Qwen3-coder) con dos cadenas de herramientas: código abierto (Yosys) y comercial (Synopsys Design Compiler).

• Con herramientas de código abierto:

  • El marco logró reducir las métricas PPA en todos los casos de prueba sin intervención humana.
  • Con el modelo DeepSeek-v3, se logró una reducción promedio del 10.50% en el Producto de Área por Retraso (ADP).
  • La reducción de retraso (7.92%) fue significativamente mayor que la de área (2.80%), destacando la eficacia del analizador de grafos para optimizar rutas críticas.
  • Los diseños con lógica de control compleja (como risc y mem_ctrl) mostraron las mayores mejoras, mientras que interfaces estandarizadas y maduras (usb, ethmac) mostraron mejoras marginales.

• Con herramientas comerciales:

  • Las mejoras fueron menores (reducción media de ADP del 1.77%) debido a la agresiva capacidad de optimización de las herramientas comerciales, que a menudo sintetizan el código original y el refactorizado a la misma red de puertas.
  • Sin embargo, se lograron mejoras significativas en casos específicos, como una reducción del 10.61% en el retraso crítico del diseño audio y una reducción de área de 536.77 $\mu m^2$ en hsm.

Análisis de las estrategias de evolución:
El agente identificó y aplicó consistentemente tres estrategias de alto nivel:

1. Estilo de codificación: Adaptación a patrones sintácticos que las herramientas de síntesis mapean más eficientemente.
2. Aplanamiento y poda de lógica: Refactorización de cadenas de lógica serializadas en expresiones paralelas y eliminación de registros de pipeline redundantes.
3. Optimización de máquinas de estado: Fusión de flags de estado dispersos en registros binarios unificados y simplificación de la lógica de transición.

5. Significado y Conclusión

CktEvo establece una base rigurosa y ejecutable para estudiar la optimización de RTL asistida por LLM que es relevante para la práctica de ingeniería.

• Validación de la automatización: Demuestra que los LLM pueden realizar optimizaciones de área y retraso en repositorios complejos de forma autónoma, superando el enfoque tradicional de solo generar código desde cero.
• Desafíos futuros: El trabajo señala que, para lograr mejoras significativas con herramientas comerciales, los agentes deben evolucionar de la optimización local de estilo de código hacia refactorizaciones arquitectónicas de alto nivel y la integración de reglas específicas de la tecnología (PDK) mediante técnicas como RAG o entrenamiento adaptativo.

En resumen, este trabajo marca un paso crucial hacia la ingeniería de hardware autónoma, transformando a los LLM de generadores de código a expertos de diseño capaces de iterar y optimizar sistemas completos.