Resumen Técnico: Evaluación de LLMs para Generación de RTL con Síntesis en el Bucle

Declaración del Problema

La generación de código a Nivel de Transferencia de Registro (RTL) utilizando Modelos de Lenguaje Grande (LLM) presenta un desafío único, distinto de la síntesis de software. Mientras que la generación de software requiere validez sintáctica y corrección funcional, la generación de RTL exige que los diseños sean sintácticamente válidos, sintetizables en listas de conexiones a nivel de puerta, funcionalmente correctos bajo simulación y eficientes en hardware en términos de área y temporización. Las benchmarks existentes (por ejemplo, VerilogEval, RTLLM) evalúan principalmente los modelos basándose en las tasas de aprobación de simulación ($pass@k$), las cuales no logran distinguir entre diseños que simplemente superan un banco de pruebas y aquellos que se compilan en hardware eficiente y sintetizable. Además, el auge de la IA Agéntica, que orquesta flujos de trabajo completos de Automatización de Diseño Electrónico (EDA), requiere un cambio de la evaluación de la capacidad "mejor de $k$" a la evaluación de la calidad de un solo intento ($pass@1$), ya que los agentes autónomos no pueden permitirse la explosión combinatoria de las estrategias de múltiples muestras. Los métodos de evaluación actuales no capturan las métricas de "calidad de resultados" (QoR) (área, retardo, advertencias) necesarias para la fiabilidad del despliegue.

Metodología

Los autores proponen un marco de evaluación con Síntesis en el Bucle para abordar estas brechas.

• Benchmark y Modelos: El estudio evalúa 32 modelos de lenguaje (incluyendo variantes propietarias y de pesos abiertos de OpenAI, Google, Anthropic, Meta, DeepSeek, etc.) en 202 tareas de Verilog extraídas de VerilogEval (155 tareas de módulo único) y RTLLM (47 tareas del mundo real de múltiples módulos). Cada modelo es solicitado con cinco intentos independientes por tarea.
• Pipeline de Evaluación: Un diseño generado debe superar tres puertas secuenciales para ser evaluado en cuanto a calidad:
  1. Validez Sintáctica: Verificada mediante Icarus Verilog.
  2. Sintetizabilidad: Verificada mediante elaboración y mapeo de Yosys bajo la biblioteca de celdas estándar Nangate45 de 45nm.
  3. Corrección Funcional: Verificada mediante simulación de banco de pruebas con coincidencia de fallo primero.
• Índice de Calidad de Hardware (HQI): Para los diseños que superan todas las puertas, se calcula una puntuación de 0–100 basada en métricas post-síntesis en relación con una referencia "dorada" experta. La puntuación se deriva del área normalizada ($\hat{a}$), el retardo ($\hat{d}$) y el exceso de recuento de advertencias ($\hat{w}$):
  $$\text{cost} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$$
  $$\text{HQI} = \min\left(\frac{100}{\text{cost}}, 100\right)$$
  Los diseños que fallan en cualquier puerta reciben un HQI de 0.
• Métricas Agregadas: El estudio define Cobertura Ponderada por Complejidad (tasa de resolución de tareas), HQI Global (techo de capacidad mejor de 5) y HQI Esperado (calidad de un solo intento). La brecha entre el HQI Global y el HQI Esperado cuantifica la brecha de "listo para el despliegue".
• Taxonomía de Fallos: Los fallos de síntesis (que superan Icarus pero fallan en Yosys) se clasifican en una taxonomía de nueve clases basada en la salida de diagnóstico de Yosys.

Resultados Clave

1. Panorama de Capacidades de Tres Niveles

El agrupamiento K-means de los 32 modelos revela tres niveles de capacidad distintos:

• Nivel 1 (Frontera): 14 modelos con HQI Global $\ge$ 66. Liderado por Gemini-3-Pro (87.5% de cobertura, 85.1 HQI), seguido por GPT-5.4-Pro y Gemini-3-Flash. Este nivel incluye las variantes principales de OpenAI, Google y Anthropic.
• Nivel 2 (Cúspide Densa): 15 modelos con HQI Global entre 43 y 66. Incluye modelos de pesos abiertos fuertes como DeepSeek-V3.2 y Qwen3.5-397B-OSS, así como modelos propietarios de nivel medio.
• Nivel 3 (Bajo Rendimiento): 3 modelos con HQI Global < 43, incluyendo Mistral-Nemo y GPT-5-Nano.

2. Discrepancia entre Simulación y Síntesis

Las tasas de aprobación basadas en simulación exageran sistemáticamente la preparación para hardware. En promedio, la tasa de aprobación mejor de 5 supera al HQI Global en 7.5 puntos, con brechas que alcanzan hasta 14.9 puntos para algunos modelos. Confiar únicamente en las tasas de aprobación de simulación conduce a inversiones en la clasificación; por ejemplo, GPT-4.1 ocupa el puesto 14 por tasa de aprobación pero el 17 por HQI, mientras que GPT-5.4-Pro pasa del puesto 9 al 2 cuando se considera la calidad.

3. La Brecha de Listo para el Despliegue

Un hallazgo crítico es la brecha significativa entre el HQI Global (mejor de 5) y el HQI Esperado (un solo intento).

• En el Nivel 1, la brecha oscila entre 3.7 y 17.8 puntos (mediana 8.7).
• En niveles inferiores, las brechas superan los 15 puntos, alcanzando un máximo de 22.1 puntos.
  Esto indica que una sola llamada al modelo puede retener solo la mitad de la calidad de una estrategia de múltiples intentos, lo que plantea una barrera para la integración en pipelines agénticas autónomas.

4. Taxonomía de Modos de Fallo

El análisis de 195 fallos de síntesis revela diferencias sistemáticas entre los tipos de modelos:

• Modelos Propietarios: Fallan tarde en el pipeline. Los modos de fallo dominantes son "errores sintácticos tardíos" (el código pasa el analizador pero falla en la elaboración debido a problemas estructurales) y "tiempos de espera de síntesis" (listas de conexiones complejas). Esto sugiere exposición a RTL de grado de síntesis en los datos de entrenamiento.
• Modelos de Pesos Abiertos: Fallan temprano. Los modos dominantes son "referencias a módulos no definidos" (envoltorios faltantes) y "constructos no sintetizables" (por ejemplo, bucles while, bloques initial). Este patrón se alinea con corpus de entrenamiento sesgados hacia código orientado a la simulación en lugar de RTL de grado de síntesis.

5. Características de Inferencia

El costo y la calidad muestran una pobre correlación. Los modelos de alto costo con una sobrecarga de razonamiento pesada (por ejemplo, GPT-5-Pro) no garantizan una calidad de RTL superior. Gemini-3-Flash emerge como un modelo de frontera eficiente en costos, entregando calidad de Nivel 1 (81.2 HQI) a una fracción del costo de los modelos de razonamiento de primer nivel.

Significado y Contribuciones

El artículo afirma tres contribuciones principales:

1. Un Marco con Síntesis en el Bucle: Introduce un pipeline y el Índice de Calidad de Hardware (HQI) que va más allá de las métricas binarias de aprobado/reprobado para evaluar la calidad de la implementación (área, retardo, advertencias) frente a referencias expertas.
2. Caracterización Empírica: Proporciona una evaluación exhaustiva de 32 modelos, revelando un panorama estructurado de tres niveles y cuantificando la "brecha de listo para el despliegue" donde la calidad de un solo intento se queda significativamente atrás del potencial mejor de $k$.
3. Taxonomía de Fallos: Expone una divergencia sistemática en los modos de fallo entre modelos propietarios y de pesos abiertos, vinculando estas diferencias a la composición de los datos de entrenamiento (grado de síntesis vs. grado de simulación).

Los autores concluyen que, aunque los LLM muestran promesa para la generación de RTL, los modelos actuales aún no pueden integrarse en pipelines agénticas autónomas sin mejorar la fiabilidad de un solo disparo. La brecha entre las tasas de aprobación de simulación y las métricas de calidad conscientes de la síntesis requiere un cambio en los estándares de evaluación para la automatización del diseño de hardware. El trabajo futuro debe centrarse en la refinamiento iterativo con retroalimentación de síntesis y en la curación de corpus de entrenamiento de grado de síntesis para abordar los modos de fallo específicos de los modelos de pesos abiertos.