HDLFORGE: A Two-Stage Multi-Agent Framework for Efficient Verilog Code Generation with Adaptive Model Escalation

HDLFORGE es un marco de trabajo multiagente de dos etapas que optimiza la generación de código Verilog equilibrando velocidad y precisión mediante la escalada adaptativa a modelos más potentes solo cuando es necesario y el uso de un agente formal guiado por contraejemplos para la depuración eficiente.

Lo esencial

Imagina que quieres construir una casa muy compleja (en este caso, un circuito electrónico descrito en código llamado Verilog), pero en lugar de contratar a un solo arquitecto, decides usar un equipo inteligente que trabaja en dos niveles para ahorrar tiempo y dinero, sin sacrificar la calidad.

Así es como funciona HDLFORGE, el sistema que presentan los autores de este artículo.

1. El Problema: ¿Arquitecto Junior o Maestro Costoso?

Antes, los sistemas de Inteligencia Artificial para escribir código de hardware tenían un dilema:

• Opción A: Usar un modelo pequeño y rápido (como un arquitecto junior). Es barato y rápido, pero a veces comete errores tontos o no entiende las instrucciones complejas.
• Opción B: Usar un modelo gigante y superinteligente (como un maestro arquitecto de renombre). Es muy preciso, pero es lento y cuesta una fortuna en tiempo de computación.

La mayoría de los sistemas anteriores elegían uno u otro y se quedaban ahí. Si elegías al junior, la casa tenía grietas. Si elegías al maestro, tardabas años en construirla.

2. La Solución: El Sistema de "Dos Niveles" de HDLFORGE

HDLFORGE es como un gerente de obra inteligente que decide cuándo usar al junior y cuándo llamar al maestro. Funciona así:

Nivel 1: El "Arquitecto Junior" (Rápido y Económico)

El sistema empieza siempre con un modelo de tamaño mediano (el "Junior").

• Lo que hace: Escribe el código, lo revisa rápidamente y lo prueba con ejercicios sencillos (como verificar que las puertas se abran o que no haya cortocircuitos obvios).
• La magia: Tiene un "detective" interno que, si encuentra un error, no solo lo arregla, sino que crea una pequeña prueba personalizada (un "micro-test") para asegurarse de que ese error nunca vuelva a ocurrir. Es como si el arquitecto aprendiera de su error y pusiera un cartel de "¡Cuidado aquí!" para la próxima vez.

El Semáforo: ¿Necesitamos al Maestro?

Aquí está la parte genial. El sistema no espera a que todo falle. Tiene un controlador de escalada que actúa como un semáforo.

• Mira señales rápidas: ¿El código compiló? ¿Hay muchos errores de estilo? ¿Las pruebas básicas funcionan?
• Si todo va bien: ¡Siguiente tarea! El junior lo resolvió.
• Si el sistema detecta que el junior está atascado: El semáforo se pone en rojo. El sistema decide: "Este problema es muy difícil, necesitamos al Maestro".

Nivel 2: El "Maestro Arquitecto" (Potente y Preciso)

Solo cuando es estrictamente necesario, el sistema llama a un modelo gigante (como Claude 3.5).

• Lo que hace: Recibe todo el contexto: el problema original, lo que intentó el junior, los errores que encontró y las pruebas que creó.
• El resultado: El Maestro da una solución de alta calidad en un solo intento, arreglando lo que el junior no pudo.

3. La Analogía del "Detective de Errores" (El Agente Formal)

Una de las innovaciones más creativas es el Agente de Amplificación Formal.
Imagina que el junior está construyendo una pared y se cae. En lugar de solo volver a construir la pared, este agente toma el "cuerpo del delito" (el error), lo analiza y crea una trampa de ratones (un micro-test) específica para ese error.

• Si el junior intenta construir la pared de nuevo y comete el mismo error, la trampa se activa inmediatamente y lo detiene.
• Esto evita que el sistema pierda tiempo probando soluciones que ya sabemos que fallan. Es como aprender de la experiencia para no cometer el mismo error dos veces.

4. ¿Por qué es tan bueno?

• Ahorro de Tiempo: Como la mayoría de las tareas son fáciles, el sistema las resuelve rápido con el "Junior". Solo gasta dinero y tiempo en el "Maestro" cuando realmente es necesario.
• Calidad: Al usar al Maestro solo para los casos difíciles y tener un sistema de pruebas constante, la calidad final es altísima (más del 90% de éxito en pruebas difíciles).
• Flexibilidad: Este sistema es como un "cinturón de herramientas" que puedes ponerle a cualquier otro sistema de IA existente. No necesitas reescribir todo el código de otros programas; simplemente les pones este "gerente" encima para que funcionen mejor.

En Resumen

HDLFORGE es como tener un equipo de construcción donde:

1. Un aprendiz rápido intenta resolver todo primero.
2. Un detective crea trampas para los errores que el aprendiz comete.
3. Un gerente inteligente decide cuándo el trabajo es tan difícil que hay que llamar al maestro experto para que lo termine.

El resultado es una casa (código) perfecta, construida en la mitad de tiempo y con la mitad del presupuesto que si hubieras contratado solo al maestro desde el principio.

Resumen técnico

Resumen Técnico: HDLFORGE

1. El Problema

La adopción de Modelos de Lenguaje Grandes (LLM) para la generación de código en Hardware Description Language (HDL), específicamente Verilog, ha crecido significativamente. Sin embargo, existen desafíos críticos:

• Incertidumbre y Errores: Los LLMs a menudo generan código con errores de sintaxis, fallos funcionales y "alucinaciones", incluso en diseños pequeños.
• Compromiso Costo-Precisión: Los sistemas existentes suelen fijar un modelo de backbone (base) único. Usar modelos pequeños es rápido pero inexacto; usar modelos grandes (ultra-grandes) es preciso pero costoso en tiempo y recursos computacionales.
• Ineficiencia en la Depuración: Los enfoques actuales carecen de mecanismos eficientes para detectar y reparar errores específicos sin iteraciones costosas o pruebas exhaustivas en cada ciclo.

El objetivo es optimizar el equilibrio entre la precisión (tasa de éxito del código) y la latencia (tiempo de generación), utilizando recursos computacionales de manera adaptativa.

2. Metodología: Arquitectura HDLFORGE

HDLFORGE es un marco de trabajo de agentes múltiples en dos etapas que decide dinámicamente cuándo escalar de un modelo económico a uno potente.

A. Arquitectura de Dos Etapas (Cascada Adaptativa):

• Etapa A (Solucionador Principal): Utiliza un modelo LLM de tamaño medio (ej. Qwen-7B) como codificador compacto. Opera en un bucle de retroalimentación guiado por herramientas para generar y reparar código iterativamente.
• Etapa B (Intento Final): Solo se activa si la Etapa A muestra progreso insuficiente. Utiliza un modelo LLM ultra-grande en la nube (ej. Claude 3.5 Sonnet) para generar una solución de alta calidad basada en el contexto de los fallos anteriores.
• Controlador de Escalación: Un módulo portátil que calcula una puntuación de escalación ($Z$) basada en diagnósticos baratos (compilación, lint, pruebas de humo, estabilidad de trazas y presupuesto restante). Si $Z$ cae por debajo de un umbral calibrado ($\tau$), se escala a la Etapa B.

B. Flujo de Trabajo de la Etapa A (6 Pasos):

1. Generación de Múltiples Planes: Un agente planificador genera diversas estrategias de implementación.
2. Implementación de Candidatos: Un agente codificador genera múltiples candidatos para cada plan.
3. Selección Rápida (Judge & Smoke): Se ejecutan verificaciones baratas (compilación, lint y simulación de "humo" con micro-pruebas) para descartar candidatos inviables.
4. Prueba Completa y Análisis de Fallos: El mejor candidato se prueba contra el testbench oficial. Si falla, se analizan los errores mediante:
   • Rastreo Guiado por AST: Un agente traza el Árbol de Sintaxis Abstracta hacia atrás desde el fallo para identificar el "cono de sospecha".
   • Propuesta de Reparación Inteligente: Un agente de reflexión sugiere parches locales en lugar de regenerar módulos completos.
5. Acumulación de Micro-Pruebas (Amplificador Formal): Un agente formal pequeño convierte las trazas de contraejemplos de la verificación de modelo acotado (BMC) en micro-pruebas deterministas reutilizables. Estas se añaden al conjunto de pruebas para evitar que futuros candidatos repitan el mismo error.
6. Reparación e Iteración: El sistema vuelve al codificador con las nuevas micro-pruebas para refinar la solución.

C. Portabilidad:
El controlador de escalación está diseñado como una capa externa que puede envolver pipelines de generación de Verilog existentes (como AutoVCoder o VerilogCoder) sin modificar sus prompts internos o mecanismos de recuperación, mejorando su relación velocidad-precisión.

3. Contribuciones Clave

1. HDLFORGE: Un marco de dos etapas que utiliza un modelo pequeño por defecto y escala a un modelo grande solo cuando es necesario, optimizando la latencia sin sacrificar la precisión.
2. Controlador Portátil: Una capa de decisión que mejora sistemas existentes sin necesidad de reentrenamiento o cambios internos.
3. Amplificador Formal CEGIS (Counterexample-Guided Inductive Synthesis): Transforma trazas de verificación formal en micro-pruebas reutilizables, reduciendo drásticamente las iteraciones de reparación y el tiempo de detección de errores.
4. Sistema de Bucle Cerrado: Integración de un codificador compacto, un especialista grande, un juez basado en herramientas y un amplificador formal que interactúan exclusivamente a través de señales de nivel de herramienta (puntuaciones, trazas, pruebas).

4. Resultados Experimentales

El sistema se evaluó en los conjuntos de datos VerilogEval Human, VerilogEval V2 y RTLLM.

• Precisión vs. Latencia:

  • HDLFORGE-Qwen (usando Qwen-7B en Etapa A y Claude 3.5 en Etapa B) logró un 91.2% de Pass@1 en VerilogEval Human y 91.8% en V2. Esto representa una mejora dramática sobre otros modelos de 7B (como AutoVCoder o CodeV) y una reducción del 50% en la latencia mediana en comparación con sistemas de una sola etapa.
  • HDLFORGE-GPT4o (usando GPT-4o en Etapa A) alcanzó un 95.5% de Pass@1 en Human y 96.8% en V2, superando a sistemas que dependen exclusivamente de llamadas repetidas a modelos grandes (como MAGE o CoopetitiveV).
  • En el benchmark RTLLM, HDLFORGE-Qwen alcanzó un 97.2% de Pass@5.

• Portabilidad:

  • Al envolver AutoVCoder y VerilogCoder con el controlador de HDLFORGE, se mejoró la precisión (Pass@1) entre un 3% y un 5% con un aumento de tiempo inferior al 10%. La escalación a la Etapa B ocurrió en menos del 15% de las tareas, demostrando que la mayoría se resuelven eficientemente en la Etapa A.

• Estudio de Inyección de Errores (Bug-Injection):

  • El uso del amplificador de micro-pruebas mejoró la tasa de detección de errores del 64-72% (línea base) al 95%.
  • Redujo las iteraciones medianas de reparación de 7.0 a 3.0 y disminuyó el tiempo total de ejecución.
  • Los mayores beneficios se observaron en errores de reinicio (reset) y máquinas de estado finito (FSM), donde las trazas de contraejemplos se convierten eficazmente en pruebas deterministas.

• Análisis de Ablación:

  • La eliminación de cualquier agente (Juez, Rastreador, Reflexión o Micro-pruebas) resultó en una caída de precisión de 4-5 puntos porcentuales y un aumento significativo en el tiempo de convergencia, demostrando que cada componente es esencial y no redundante.

5. Significado e Impacto

HDLFORGE representa un avance significativo en la automatización del diseño de hardware:

• Eficiencia de Recursos: Demuestra que no es necesario utilizar los modelos más grandes y costosos para todas las tareas; una estrategia de "escalada adaptativa" ofrece el mejor equilibrio costo-beneficio.
• Verificación Integrada: La integración de la verificación formal (BMC) en el ciclo de generación de código a través de micro-pruebas reutilizables cierra la brecha entre la generación de código y la validación rigurosa, reduciendo la necesidad de pruebas exhaustivas manuales.
• Adoptabilidad: Al ser un controlador portátil, permite mejorar inmediatamente sistemas de generación de código existentes sin necesidad de reentrenar modelos masivos, facilitando su adopción en flujos de trabajo de diseño industrial.

En conclusión, HDLFORGE establece un nuevo estándar para la generación de RTL asistida por IA, logrando alta precisión con una latencia reducida mediante una orquestación inteligente de agentes y herramientas de verificación.