🤖 AI

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

El artículo presenta STG, un marco estructurado que aprovecha la estructura inherente del diseño de hardware para generar bancos de pruebas deterministas, superando significativamente los enfoques basados en LLM existentes en velocidad, fiabilidad y cobertura, al tiempo que sirve como una herramienta eficiente para la curación de datos y el escalado en tiempo de ejecución en flujos de trabajo de RTL.

Autores originales: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Publicado 2026-06-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un arquitecto maestro (una IA) que puede dibujar instantáneamente planos para nuevas casas (chips de computadora) basándose en una descripción simple como "construye una casa con tres dormitorios". Esto es genial, pero hay un gran problema: ¿cómo sabes si el plano es realmente seguro y funciona?

Tradicionalmente, para revisar un plano, tendrías que contratar a un equipo de inspectores humanos para que construyan un modelo a escala real, lo sometan a todas las tormentas posibles y vean si colapsa. Eso toma una eternidad y cuesta una fortuna.

Recientemente, la gente intentó usar otra IA para escribir el informe de inspección. Pero esta nueva IA es como un pasante nervioso y alucinante. Adivina la prueba, a veces inventa reglas y, a menudo, dice "¡Todo está bien!" cuando la casa en realidad se está incendiando. Es lenta, costosa y poco confiable.

Entra STG (Generación de Bancos de Pruebas Estructurados).

Los autores de este artículo construyeron una nueva herramienta llamada STG. En lugar de pedirle a una IA que "imagine" una prueba, STG actúa como una línea de ensamblaje inteligente y automatizada que construye una prueba perfecta basada en la estructura real del plano.

Así es como funciona, usando analogías simples:

1. El enfoque de "Plantilla" (No más adivinanzas)

Imagina que tienes un conjunto de instrucciones de LEGO.

La forma antigua (LLM): Le pides a un robot que "escriba una prueba". El robot intenta escribir una historia sobre la prueba de la casa de LEGO. Puede que olvide un paso, invente una regla falsa o se confunda. Es creativo pero desordenado.
La forma de STG: STG mira la casa de LEGO, ve que tiene una puerta, una ventana y un techo. Luego agarra un "Kit de Inspección" prefabricado y perfecto. Llena automáticamente los detalles específicos (como "revisar la puerta", "revisar la ventana") y ejecuta la prueba. No adivina; sigue una receta estricta y lógica.

2. Tres "Kits de Inspección" diferentes

El artículo explica que diferentes tipos de chips necesitan diferentes pruebas, tal como diferentes vehículos necesitan diferentes controles de seguridad:

Diseños Combinacionales (La casa estática): Estos son chips que reaccionan instantáneamente a las entradas (como un interruptor de luz). STG los trata como una cerradura combinatoria. Intenta todas las combinaciones de botones para asegurarse de que la luz se enciende correctamente. Es exhaustivo y no deja piedra sin mover.
Diseños Secuenciales Generales (El coche en movimiento): Estos chips tienen un reloj y memoria (como el motor de un coche). STG actúa como un instructor de conducción. No solo revisa el coche en un semáforo; revisa cómo reacciona el coche mientras estás girando el volante o presionando el acelerador a mitad del ciclo. Detecta errores de tipo "Mealy" (reacciones instantáneas) que otras pruebas pasan por alto.
Diseños Dominados por FSM (El laberinto): Algunos chips son como laberintos complejos con muchos estados. Conducir al azar no te llevará a la salida. STG actúa como un GPS con un mapa. Lee el mapa interno del chip y guía la prueba específicamente a través de cada uno de los caminos en el laberinto, asegurando que ningún callejón sin salida quede sin explorar.

3. Por qué esto es importante (Los resultados)

El artículo afirma que STG es un cambio de juego por tres razones principales:

Es un demonio de la velocidad: STG es 720 veces más rápido que los antiguos métodos de IA. Si la forma antigua tardaba un día entero en revisar un lote de chips, STG lo hace en minutos. Es como cambiar un caracol por un coche de carreras.
Es un portador de la verdad: Los métodos de IA antiguos a menudo daban "Falsos Positivos" (decían que un chip roto estaba bien). STG es mucho más confiable. Encontró un 7.8% más de chips rotos que los métodos antiguos pasaron por alto. También ayudó a corregir un error oculto en las herramientas de prueba estándar utilizadas en la industria (una "condición de carrera" donde la prueba revisaba la cosa equivocada en el momento equivocado).
Ahorra una enorme cantidad de dinero y energía: Debido a que STG se ejecuta en un procesador de computadora simple (CPU) en lugar de una enorme y potente supercomputadora de IA (GPU), utiliza 127 veces menos energía. Es la diferencia entre ejecutar una fábrica con un solo trabajador eficiente frente a una fábrica con 100 robots gritones y sobreexplotados.

4. La analogía del "Profesor y el Estudiante"

El artículo también usa STG para entrenar modelos de IA más pequeños y más inteligentes (un proceso llamado "destilación").

Imagina que un Profesor (una IA enorme) intenta enseñar a un Estudiante (una IA pequeña) cómo diseñar chips.
El Profesor genera miles de problemas de práctica.
STG actúa como el calificador estricto. Revisa instantáneamente si las respuestas del Profesor son correctas o incorrectas.
Debido a que STG es tan rápido y barato, el Profesor puede generar muchísimos más problemas de práctica de alta calidad. El Estudiante aprende más rápido y se vuelve tan bueno como el Profesor, pero sin necesitar la enorme capacidad cerebral del Profesor.

Resumen

En resumen, STG deja de intentar "soñar" pruebas para los chips de computadora. En su lugar, analiza el plano y construye automáticamente una prueba perfecta y estructurada basada en el diseño real del chip. Es más rápido, más barato, más preciso y más confiable que los métodos actuales de IA, lo que lo convierte en una herramienta vital para el futuro del diseño de chips automatizado.

Resumen Técnico: Generación de Bancos de Prueba Estructurados para la Curación de Datos Orientada al Diseño y Verificación de HDL Impulsados por LLM

Definición del Problema

El artículo aborda un cuello de botella crítico en los flujos de trabajo de diseño de Registro de Transferencia de Nivel (RTL) impulsados por Grandes Modelos de Lenguaje (LLM): la generación de bancos de prueba (testbenches) fiables y de alta cobertura para verificar diseños de hardware generados. Los enfoques existentes tratan la generación de bancos de prueba como una síntesis de código sin restricciones, dependiendo de la prompting estocástica de los LLM. Esto conduce a tres limitaciones primarias:

Alto Costo y Baja Reproducibilidad: Mejorar la fiabilidad requiere una prompting iterativa o la generación de ensambles, lo que aumenta significativamente los costos de tokens.
Cobertura Insuficiente: La generación estocástica suele omitir casos de esquina (corner cases), particularmente en comportamientos de control de flujo y dependientes de estado.
Veredictos No Fiables: Los bancos de prueba inconsistentes producen veredictos de "paso falso" (false-pass) en Diseños Bajo Prueba (DUTs) incorrectos y fallan al distinguir entre diseños parcialmente correctos y totalmente incorrectos.

Estos problemas se ven exacerbados por las tendencias emergentes de los LLM, como el escalado en tiempo de prueba (donde la verificación es parte de un bucle de búsqueda iterativo) y la curación de datos orientada a la verificación (donde grandes lotes de candidatos a DUT deben ser filtrados para datos de entrenamiento). En estos contextos, la verificación ya no es solo un paso descendente, sino un mecanismo central para la mejora del modelo, exigiendo bancos de prueba de bajo costo, deterministas y con significado conductual.

Metodología: El Marco STG

Los autores proponen STG (Generación de Bancos de Prueba Estructurados), un marco que desplaza la creación de bancos de prueba de la síntesis de código sin restricciones hacia un proceso determinista y consciente de la estructura. STG aprovecha la estructura inherente de los diseños de hardware para generar bancos de prueba mediante el renderizado basado en plantillas.

Flujo de Trabajo Principal

Análisis y Parseo de Módulos: STG analiza el DUT y una referencia dorada confiable (o un modelo de referencia "plata") utilizando Icarus Verilog y heurísticas ligeras.
- Clasificación del Tipo de Diseño: Los diseños se categorizan en tres tipos: Combinacional, Secuencial General o Dominado por FSM.
- Clasificación de Señales: Los puertos de entrada se clasifican como Reloj (Clock), Reset, Control o Datos utilizando el emparejamiento difuso de la Subsecuencia Común Más Larga (LCS) contra pistas de nombres y heurísticas de ancho de banda.
- Detección de FSM: Para diseños secuenciales, STG utiliza el emparejamiento de patrones determinista (escaneando bloques always_ff con registros de estado) o análisis asistido por LLM para extraer estructuras de Máquinas de Estados Finitos (FSM).
Generación de Bancos de Prueba Específicos de Estrategia: Basándose en la clasificación, STG renderiza plantillas Jinja parametrizadas con estrategias de estímulo específicas:
- Combinacional: Enumeración exhaustiva de todas las combinaciones de señales de control ( $2^{b_c}$ ), con muestras de señales de datos aleatorias ( $N_s$ muestras) para cada vector de control.
- Secuencial General: Una estrategia de dos pasadas, consciente del reset. Impulsa las entradas dentro del periodo de reloj (no solo en los flancos) para capturar respuestas de tipo Mealy intra-ciclo y verifica las salidas tanto en los flancos de reloj como después de los cambios intra-ciclo. Maneja la recuperación de reset insertando resets probabilísticamente entre ciclos.
- Guiado por FSM: Para diseños dominados por FSM, STG extrae un grafo de transición de estados y realiza un recorrido de Búsqueda en Profundidad (DFS). Separa las condiciones de entrada accionables de las condiciones de espera internas, impulsando las entradas de forma determinista para satisfacer las guardas de transición, asegurando una cobertura total de transiciones sin exploración aleatoria.
Extensión de Referencia Plata: Aunque está diseñado principalmente para entornos de referencia conocida (DUT vs. RTL Dorado), STG puede extenderse a escenarios sin una referencia dorada confiable reemplazando el módulo dorado con un modelo de referencia "plata" en C++/SystemC generado por un LLM.

Contribuciones Clave

Marco STG: Un marco de generación de bancos de prueba determinista y consciente de la estructura que supera a la generación basada en prompts de LLM en eficiencia, cobertura y fiabilidad.
Curación de Datos Orientada a la Verificación: Demostración de que STG permite filtrar eficientemente conjuntos de datos de entrenamiento a gran escala, apoyando el entrenamiento de modelos de generación de RTL destilados fuertes mediante un flujo de trabajo simple de Ajuste Fino Supervisado (SFT).
Backend de Escalado en Tiempo de Prueba: Evidencia de que STG sirve como un backend de verificación efectivo para bucles de refinamiento guiados por LLM (por ejemplo, MCTS), mejorando la calidad y eficiencia de la búsqueda a través de múltiples modelos base.

Resultados Experimentales

El marco fue evaluado en benchmarks de generación de Verilog (VerilogEval, RTLLM-v2, CVDP) en tres escenarios:

1. Calidad y Eficiencia del Banco de Prueba

Velocidad: STG genera bancos de prueba 720× más rápido que un pipeline iterativo basado en LLM (0.13s vs. 92.4s por banco de prueba).
Cobertura: STG logra una mayor cobertura de líneas (95.88% vs. 93.97%) y cobertura de conmutación (toggle coverage) (95.77% vs. 85.40%).
Fiabilidad: STG reduce los veredictos de paso falso en DUTs incorrectos. En un estudio de 3,046 DUTs, STG identificó correctamente 7.8% más diseños incorrectos que el enfoque basado en LLM, principalmente al evitar pasos falsos en errores sutiles.
Cobertura de FSM: En diseños FSM de estados profundos, el estímulo aleatorio falló en alcanzar estados profundos (S11–S14), mientras que el recorrido guiado por FSM de STG logró una cobertura de transición del 100%.

2. Curación de Datos Orientada a la Verificación

Eficiencia de Recursos: Filtrar 115k problemas usando STG en un solo núcleo de CPU tomó 5.6 horas y consumió 0.56 kWh de energía. En contraste, un enfoque de LLM puro en una GPU de gama alta tomó 59.1 horas y consumió 70.9 kWh (una reducción de energía de 127× y una aceleración de 10.6×).
Rendimiento del Modelo: Los modelos destilados entrenados con datos curados por STG (usando solo una etapa de SFT) alcanzaron un rendimiento de vanguardia o competitivo en VerilogEval, RTLLM-v2 y el desafiante benchmark CVDP. Estos modelos superaron o igualaron a pipelines complejos que involucran SFT de múltiples etapas y Aprendizaje por Refuerzo (RL), sugiriendo que los flujos de trabajo complejos de RL pueden no generar ganancias consistentes en nuevos benchmarks.

3. Escalado en Tiempo de Prueba

Eficiencia de Búsqueda: Al integrarse en un bucle de refinamiento basado en MCTS, STG redujo el número de nodos de búsqueda requeridos para resolver problemas en un 14–47% a través de cuatro modelos base (que van desde 7B hasta 685B de parámetros).
Calidad de Señal: La naturaleza determinista e informativa de las señales de verificación de STG permitió al bucle de búsqueda rechazar candidatos débiles más temprano y converger en diseños correctos con menos iteraciones.

Hallazgos Adicionales

Corrección de Benchmarks: La generación determinista de STG y la inspección humana revelaron una condición de carrera sistemática en los bancos de prueba de VerilogEval (donde el estímulo y los verificadores se activaban en el mismo flanco de reloj sin garantías de orden). Los autores corrigieron esto, señalando que las evaluaciones previas podrían haber estado comprometidas por estos fallos falsos.
Reproducibilidad: Los autores señalaron problemas significativos de reproducibilidad con el método VeriRL, donde su checkpoint replicado se comportó de manera inconsistente en los benchmarks en comparación con las afirmaciones del artículo original.

Significancia y Reivindicaciones

El artículo afirma que STG establece un backbone de verificación práctico y de bajo costo para los flujos de trabajo de diseño de hardware impulsados por LLM. Al tratar la verificación como un problema de generación estructurada en lugar de una síntesis de código sin restricciones, STG aborda los problemas de escalabilidad y fiabilidad que actualmente dificultan la adopción de los LLM en el diseño de hardware.

Los autores argumentan que la efectividad de los flujos de trabajo recientes de entrenamiento complejo y aprendizaje por refuerzo sigue siendo cuestionable, particularmente en nuevos benchmarks, donde su pipeline más simple impulsado por STG proporciona un rendimiento competitivo o superior con un overhead computacional significativamente menor. Posicionan a STG como un habilitador crítico para los ciclos de aprendizaje continuo en el diseño de hardware, donde la curación de datos eficiente y fiable es esencial para el reentrenamiento iterativo de modelos.