Resumen Técnico: RTL-BenchLS

Planteamiento del Problema

El campo de la automatización del diseño de hardware está aprovechando cada vez más los Modelos de Lenguaje de Gran Escala (LLMs) para la generación y el razonamiento de Nivel de Transferencia de Registros (RTL). Sin embargo, el progreso en este dominio se ve obstaculizado por las limitaciones de los benchmarks existentes. Los benchmarks actuales, como VerilogEval y RTLLM, sufren dos deficiencias primarias:

1. Escala y Complejidad Limitadas: Los conjuntos de datos actuales contienen un número reducido de diseños (típicamente <200) que son predominantemente tareas simples de un solo módulo con menos de 100 líneas de código (LoC). No logran representar la complejidad de los subsistemas de hardware del mundo real.
2. Alcance de Tarea Estrecho y Escasez de Datos: La mayoría de los benchmarks se centran exclusivamente en la generación de especificación a RTL. Escalar estos benchmarks es fundamentalmente difícil porque requieren datos "alineados"; específicamente, la tríada de especificaciones en lenguaje natural, código RTL y testbenches escritos manualmente. Tales datos de alta calidad y alineados son escasos en el dominio público, lo que causa que los modelos de frontera saturen su rendimiento en las tareas actuales y hace imposible distinguir entre las capacidades de los modelos o guiar el desarrollo posterior.

Metodología

Para abordar estas limitaciones, los autores presentan RTL-BenchLS, un benchmark a gran escala que comprende más de 10,000 diseños Verilog verificados formalmente. La metodología se centra en dos pilares: la construcción de datos y el diseño de tareas novedosas.

Construcción de Datos

El conjunto de datos agrega 10,028 diseños de cinco fuentes:

• Repositorios del Mundo Real (S1): 971 módulos extraídos de más de 25 proyectos de código abierto (por ejemplo, NVIDIA DLA, OpenC910, HummingBird E200), que proporcionan complejidad específica de dominio.
• C corpora generadas por LLM (S2–S5): ~9,000 módulos destilados de corpora de entrenamiento existentes (OriGen, AutoVCoder, RTLPP, MG-Verilog) para proporcionar escala y diversidad estructural.

Los autores emplean un riguroso pipeline de filtrado para asegurar la calidad:

• Filtrado de Complejidad: Los diseños se filtran basados en Líneas de Código (LoC) y Número de Módulos (NoM), resultando en un promedio de 63 LoC (máximo 479 LoC), significativamente mayor que los benchmarks previos.
• Poda de Similitud: Se calcula la similitud por pares (usando TF-IDF y similitud de coseno) para eliminar duplicados cercanos.
• Verificación Formal: Cada diseño retenido se somete a una comprobación de equivalencia lógica (LEC) o comprobación de equivalencia secuencial (SEC) mediante el uso de herramientas industriales (Cadence Conformal y JasperGold). Esto asegura que todos los diseños sean funcionalmente correctos sin depender de testbenches curados manualmente.

Tareas de Benchmark Novedosas

RTL-BenchLS introduce tres tareas que evalúan conjuntamente el razonamiento y la generación, yendo más allá de la simple generación de especificación a RTL:

1. Razonamiento de Viaje de Ida y Vuelta (Autosupervisado) [Round-Trip Reasoning]: El LLM debe comprimir un diseño RTL original $D$ en un abstracto intermedio $A$ (en formatos como Lenguaje Natural, Diagrama-estilo NL, Código Ejecutable o Formato Libre) y luego reconstruir un RTL $D'$ funcionalmente equivalente a partir de $A$. El éxito se define por $D' \equiv D$ mediante la comprobación de equivalencia formal. Esto elimina la necesidad de etiquetas externas.
2. Razonamiento de Contenido Enmascarado (Autosupervisado) [Masked-Content Reasoning]: Se enmascara un bloque de código o un submódulo en el diseño. El LLM debe generar una descripción concisa de la lógica enmascarada y luego reconstruir el código faltante basándose en el contexto circundante. El éxito se verifica comprobando si el diseño reconstruido es equivalente al original.
3. Razonamiento de Problemas de Repositorio [Repository-Issue Reasoning]: Al LLM se le entrega un reporte de problema (comentario) del mundo real y el contexto del repositorio (incluyendo el código con errores) y debe generar una corrección que sea funcionalmente equivalente al parche dorado del desarrollador. Esta tarea evalúa la comprensión de contexto largo y la depuración de artefactos cruzados.

Contribuciones Clave

• Escala Sin Precedentes: El benchmark proporciona más de 10,000 diseños verificados formalmente, dos órdenes de magnitud más grandes que los benchmarks que soportan la verificación funcional.
• Complejidad Diversa: Los diseños abarcan un rango más amplio de complejidad (hasta 495 LoC) en comparación con los módulos predominantemente simples de los benchmarks existentes.
• Paradigma Autosupervisado: Dos de las tres tareas son autosupervisadas, resolviendo el cuello de botella de la alineación de datos que históricamente ha impedido el escalado de los benchmarks.
• Infraestructura de Verificación Formal: El marco de evaluación depende enteramente de la comprobación de equivalencia formal (LEC/SEC), eliminando la dependencia de testbenches manuales y asegurando una verificación de corrección rigurosa y automatizada.
• Evaluación Exhaustiva: El artículo evalúa ocho LLMs de vanguardia (incluyendo GPT-4o, Claude Sonnet/Haiku, DeepSeek, Qwen y LLaMA) a través de todas las tareas.

Resultados Experimentales

La evaluación revela que los LLMs actuales enfrentan desafíos significativos en el razonamiento y la generación de RTL, con un rendimiento muy por debajo de los niveles de saturación vistos en benchmarks más simples:

• Razonamiento de Viaje de Ida y Vuelta: Incluso el mejor modelo (Claude Sonnet-4.5) logra una tasa de paso de solo ~23% en el razonamiento de viaje de ida y vuelta con lenguaje natural. El rendimiento varía significativamente según el formato abstracto; los abstracts de código ejecutable (Python/C) funcionan mejor (~39–52%) que el lenguaje natural puro.
• Razonamiento de Contenido Enmascarado: El rendimiento es más uniforme entre los modelos, con el mejor (LLaMA-3.3-70B) alcanzando el ~28%.
• Corrección de Problemas de Repositorio: Esta es la tarea más desafiante. Incluso con un entorno simplificado donde se proporciona la región con errores, el mejor modelo (DeepSeek-v3.2) logra solo un ~12%.
• Comparación: Cuando los mismos modelos son probados en los benchmarks existentes (VerilogEval, RTLLem) utilizando la nueva tarea de viaje de ida y vuelta, el rendimiento cae drásticamente (por ejemplo, LLaMA-3.3 cae de 53.2% a 12.2%), confirmando que RTL-BenchLS es sustancialmente más desafiante.

Significado y Reivindicaciones

Los autores afirman que RTL-BenchLS representa un paso crítico hacia adelante para la comunidad de automatización del diseño de hardware. Al proporcionar un conjunto de datos a gran escala, verificado formalmente y con tareas autosupervisadas, el benchmark:

1. Rompe el Cuello de Botella de Escalamiento: Demuestra que el diseño de tareas efectivas puede superar la escasez de etiquetas alineadas, permitiendo la creación de benchmarks mucho más grandes y diversos.
2. el Revela Brechas de Capacidad Reales: Las bajas tasas de éxito (12–28%) en comparación con la casi saturación en los benchmarks anteriores indican que los LLMs actuales carecen de la profundidad de razonamiento necesaria para tareas de diseño de hardware complejas y del mundo real.
3. Guía el Desarrollo Futuro: Los resultados resaltan áreas específicas de mejora, como la necesidad de un mejor manejo del razonamiento de contexto largo, la lógica precisa a nivel de bits y la integración de la verificación formal en los agentes de LLM.

El artículo concluye que RTL-BenchLS deja un amplio margen para mejoras futuras y sirve como una infraestructura fundacional para desarrollar métodos más capaces basados en LLM para el diseño de hardware. El conjunto de datos, los scripts de evaluación y las herramientas de verificación se ponen a disposición pública para apoyar la investigación reproducible.