OpenRTLSet: A Fully Open-Source Dataset for Large Language Model-based Verilog Module Design

Resumen Técnico: OPENRTLSET

Declaración del Problema
La aplicación de Modelos de Lenguaje de Gran Escala (LLMs) al diseño de hardware, específicamente la generación de código Verilog a partir de especificaciones de alto nivel, se ve actualmente obstaculizada por una escasez crítica de conjuntos de datos de gran escala, alta calidad y totalmente de código abierto. A diferencia de los dominios de software, donde existen abundantes repositorios de código abierto, el código Verilog suele estar restringido dentro de dominios industriales propietarios o carece de la transparencia necesaria para la investigación reproducible. Los conjuntos de datos existentes, como MG-Verilog o PyraNet, sufren de una escala limitada, licencias restrictivas que impiden el uso comercial o una falta de emparejamientos de lenguaje natural estandarizados y de alta calidad. Esta brecha impide el desarrollo de modelos específicos de dominio capaces de generar diseños de hardware sintáctica y funcionalmente correctos tanto para aplicaciones académicas como comerciales.

Metodología
Los autores presentan OPENRTLSET, un flujo de trabajo integral de extremo a extremo para la construcción de un conjunto de datos totalmente de código abierto de más de 131,000 módulos Verilog diversos. La metodología consta de tres etapas primarias:

1. Recopilación y Curación de Datos:

   • Fuentes: El conjunto de datos agrega código de tres fuentes distintas: repositorios de GitHub que contienen Verilog/SystemVerilog nativo (aprox. 102k módulos), repositorios de VHDL convertidos a Verilog (aprox. 5k módulos) y repositorios de C/C++ sintetizables convertidos mediante herramientas de Síntesis de Alto Nivel (HLS) (aprox. 24k módulos).
   • Licenciamiento: Un riguroso proceso de filtrado garantiza que todo el código esté licenciado para uso gratuito tanto en entornos académicos como comerciales, eliminando repositorios con licencias restrictivas o propietarias.
   • Preprocesamiento: Los archivos de múltiples módulos se descomponen en módulos individuales. Se eliminan comentarios y espacios en blanco redundantes, y se extrae la metadata (nombres de módulos, pines de E/S) para crear un formato JSONL estructurado.

2. Etiquetado del Conjunto de Datos:

   • Modelo: Los autores utilizan DeepSeek-R1 70B, un LLM de código abierto enfocado en el razonamiento, para generar descripciones en lenguaje natural para cada módulo Verilog.
   • Aumento de Contexto: Un aspecto novedoso del flujo de etiquetado implica el uso de Verilator para generar representaciones en C++ de los módulos Verilog. Los autores experimentan con el suministro al LLM tanto del código Verilog como del contexto en C++ generado por Verilator para mejorar la comprensión semántica durante el proceso de generación de descripciones.
   • Cuantización: El proceso de etiquetado evalúa las compensaciones entre la cuantización INT4 y BF16 del modelo DeepSeek-R1 para equilibrar la eficiencia computacional con la fidelidad del etiquetado.

3. Ajuste Fino (Fine-Tuning) y Evaluación:

   • El conjunto de datos etiquetado se utiliza para realizar el ajuste fino de varias familias de LLM de código abierto, incluyendo las series Granite (8B) y Qwen (7B y 32B).
   • El rendimiento se evalúa utilizando el benchmark VerilogEval (variantes Machine y Human), midiendo las métricas Pass@1, Pass@5 y Pass@10.

Contribuciones Clave

• Conjunto de Datos OPENRTLSET: La creación del mayor conjunto de datos de Verilog totalmente de código abierto (131k módulos), asegurando una reproducibilidad completa mediante orígenes de GitHub trazables y licencias permisivas.
• Flujo de Etiquetado de Extremo a Extremo: Un pipeline totalmente de código abierto que integra LLMs impulsados por razonamiento (DeepSeek-R1) y contexto opcional en C++ generado por Verilator para producir descripciones de alta calidad en lenguaje natural para código de hardware.
• Estudios de Ablación Sistemáticos: El artículo proporciona un análisis extenso sobre el impacto de la composición del conjunto de datos (Verilog vs. Verilog+C++), el tamaño del modelo (7B–32B) y las estrategias de cuantización en el rendimiento de la generación de código.
• Benchmarking: Un análisis comparativo que demuestra que los modelos ajustados con OPENRTLSET superan a aquellos entrenados con conjuntos de datos existentes como MG-Verilog, incluso cuando estos últimos son re-etiquetados utilizando el mismo flujo.

Resultados
Los resultados experimentales resaltan varios hallazgos clave:

• Ganancias de Rendimiento: El ajuste fino con OPENRTLSET produce mejoras significativas sobre los modelos base. En el benchmark VerilogEval-Machine, el ajuste fino de Qwen2.5-32B con el conjunto completo de 131k datos resultó en un Pass@10 del 89.3%, una mejora absoluta del 5.4% sobre la configuración de submuestreo de 11k.
• Calidad del Conjunto de Datos vs. Flujo: Aunque el re-etiquetado del conjunto de datos MG-Verilog existente con el flujo de los autores mejoró el rendimiento, el conjunto de datos OPENRTLSET lo superó consistentemente. Esto sugiere que la diversidad y la calidad del código fuente en OPENRTLSET son tan críticas como la metodología de etiquetado.
• Aumento de Contexto: El estudio de ablación sobre las estrategias de etiquetado reveló que, para modelos más pequeños (7B–8B), aumentar el Verilog con C++ generado por Verilator ("Verilog & C++") a menudo producía mejores resultados. Sin embargo, para el modelo más grande Qwen2.5-32B, el uso de solo Verilog a veces funcionaba mejor, indicando que la capacidad del modelo influye en la utilidad del contexto adicional.
• Cuantización: Se seleccionó la cuantización INT4 para la fase de etiquetado para ahorrar recursos computacionales sin comprometer significativamente el rendimiento final del modelo ajustado.
• Eficiencia del Modelo: El estudio señaló que los modelos más pequeños (por ejemplo, Granite3.3-8B) podrían superar a modelos cerrados más grandes (por ejemplo, Claude 3.7, GPT-3.5-turbo) en tareas de Verilog tras el ajuste fino, aunque los modelos de 32 mil millones de parámetros alcanzaron las puntuaciones absolutas más altas.

Significancia
El artículo postula que OPENRTLSET establece un nuevo fundamento para la investigación accesible y el uso comercial en el diseño de hardware impulsado por LLM. Al eliminar las barreras propietarias y proporcionar un conjunto de datos estandarizado y de alta calidad, los autores pretenden acelerar el desarrollo de herramientas capaces de generar diseños de hardware correctos. El trabajo demuestra que los enfoques de código abierto, cuando se combinan con una curación de datos rigurosa y un etiquetado basado en el razonamiento, pueden lograr un rendimiento superior en tareas de diseño de hardware. El conjunto de datos y los modelos ajustados asociados se ponen a disposición de la comunidad para fomentar la innovación adicional en la ingeniería de hardware automatizada.