Resumen Técnico: EstRTL – Generación de Código RTL Guiada por Estimación Funcional

Planteamiento del Problema

El diseño manual de Nivel de Transferencia de Registros (RTL) es un proceso lento y propenso a errores, particularmente para sistemas complejos como los procesadores modernos. Aunque los Modelos de Lenguaje Extensos (LLMs) han mostrado resultados prometedores en la generación de código sintácticamente correcto a partir de prompts en lenguaje natural, los métodos existentes para la generación de RTL enfrentan limitaciones significativas con respecto a la corrección funcional. Los enfoques actuales se centran principalmente en el ajuste fino (fine-tuning) del modelo, el aumento de datos (por ejemplo, RAG) o la verificación de sintaxis. Sin embargo, a menudo carecen de mecanismos para asegurar que el código generado se comporte como se pretende en una implementación de hardware real.

Un cuello de botella crítico es la dependencia de los bancos de pruebas (testbenches) para la verificación. La creación manual de bancos de pruebas es laboriosa, mientras que los bancos de pruebas generados automáticamente suelen carecer de exhaustividad. En consecuencia, muchos métodos existentes se centran únicamente en la corrección sintáctica en lugar de la funcionalidad. Además, la generación de código y la corrección de código se estudian a menudo por separado, y los métodos de corrección existentes suelen depender de evaluaciones binarias de aprobado/reprobado, sin ofrecer una retroalimentación intermedia para la optimización iterativa.

Metodología: El Marco de Trabajo EstRTL

Para abordar estos desafíos, los autores proponen EstRTL, un marco de agentes colaborativos impulsado por LLM basado en la estimación estática de la puntuación funcional. EstRTL opera bajo un paradigma de tres etapas: Generación, Estimación y Corrección.

1. Generación (Agente de Generación de Código)

El proceso comienza con un Agente de Generación de Código que produce código RTL basado en especificaciones de lenguaje natural.

• Verificación de Sintaxis: El código generado se somete a una comprobación de sintaxis utilizando Icarus Verilog. Si se encuentran errores, el agente recibe los mensajes de error y regenera el código. Este bucle está limitado a tres iteraciones para evitar bucles infinitos.
• Recordatorios de Error: El sistema incorpora "recordatorios de error" que resumen errores comunes ya corregidos (por ejemplo, preferir bloques assign sobre bloques always para lógica combinacional simple) para guider al agente durante la regeneración.

2. Estimación (Agente de Estimación Funcional)

Una vez que el código supera las comprobaciones de sintaxis, se redirige al Agente de Estimación Funcional, que actúa como el núcleo de toma de decisiones. Este agente realiza una estimación estática de la puntuación funcional sin ejecutar bancos de pruebas.

• Generación Inversa de Requisitos: El agente utiliza un LLM para realizar ingeniería inversa del código RTL generado, convirtiéndolo nuevamente en requisitos de lenguaje natural.
• Mecanismo de Puntuación: El agente calcula una puntuación de VFCS (Corrección Funcional) basada en tres componentes:
  1. Similitud Semántica: Calculada mediante modelos preentrenados (por ejemplo, all-MiniLM-L6-v2, roberta-large) para medir la similitud entre las especificaciones originales y los requisitos invertidos, tanto a nivel de token como de oración.
  2. Puntuación de Completitud: Una métrica basada en penalizaciones ($C$) que evalúa palabras clave faltantes o adicionales (sustantivos/verbos) entre los requisitos originales y los invertidos.
  3. Puntuación de Comprensión del LLM ($L_{LLM}$): Una evaluación basada en LLM de la corrección funcional del código dados los puntajes anteriores.
• Lógica de Decisión:
  • Puntuación Inaceptablemente Baja: El código se devuelve al Agente de Generación para una regeneración completa.
  • Fallido pero Mejorable: El código se envía al Agente de Corrección.
  • Puntuación Alta: El código se acepta como funcionalmente correcto.

3. Corrección (Agente de Corrección de Código)

Para el código considerado "fallido pero mejorable", se emplea un Agente de Corrección de Código basado en el razonamiento de Cadena de Pensamiento (CoT).

• Etapa de Razonamiento: El LLM analiza el código frente a las especificaciones para identificar señales de salida específicas con errores, las condiciones de entrada que disparan estos errores y las causas lógicas subyacentes.
• Etapa de Corrección: Basándose en el razonamiento, el agente modifica el código RTL, incorporando salvaguardas para prevenir la recurrencia de problemas conocidos y asegurar un estilo de codificación consistente.
• Bucle Iterativo: El código corregido es reevaluado por el Agente de Estimación Funcional. Este bucle continúa hasta que el código supere la comprobación funcional.

Contribuciones Clave

1. Marco de Trabajo de Agentes LLM: Se desarrolló un marco colaborativo que aumenta la tasa de éxito de los LLM genéricos en el conjunto de datos VerilogEval en un 3.2% a 9.0%.
2. Estimación Funcional Libre de Bancos de Pruebas: Se introdujo un método para estimar la funcionalidad de RTL sin bancos de pruebas, aprovechando la generación inversa de requisitos y la similitud semántica, logrando una precisión promedio del 84.2% al distinguir entre código correcto e incorrecto.
3. Bucle de Retroalimentación Integrado: Se creó una integración fluida de generación, estimación y corrección, donde el agente de estimación proporciona puntuaciones cuantitativas y guía detallada, logrando corregir con éxito más del 12% del código RTL erróneo.
4. Marco de Código Abierto: El marco EstRTL es de código abierto y está diseñado para ser agnóstico al modelo, aplicable a varios LLM (tanto genéricos como específicos del dominio) para mejorar la corrección del código.

Resultados Experimentales

El marco fue evaluado en los conjuntos de datos VerilogEval-v1-Human y VerilogEval-v2 utilizando cuatro LLM de última generación (Qwen-Plus, Qwen3-32B, DeepSeek-Chat, GPT-4o) y se comparó contra líneas base que incluyen RTLFixer, VeriAssistant y modelos especializados como OriGen y CodeV.

• Precisión de Generación: EstRTL mejoró la precisión Pass@1 de los LLM genéricos entre un 3.2% y un 9.0%. Por ejemplo, DeepSeek-Chat mejoró del 73.1% al 76.3% en VerilogEval-v1-Human.
• Desempeño de la Estimación: El Agente de Estimación Funcional demostró una alta precisión (hasta el 88.9% para DeepSeek-Chat) y exactitud (hasta el 78.2% para Qwen3-32B) en la clasificación de la corrección funcional.
• Capacidad de Corrección: El Agente de Corrección de Código logró una tasa de corrección neta del 12% al 17%, corrigiendo con éxito una parte significativa de los errores mientras introducía regresiones mínimas.
• Extensibilidad: El marco se integró con éxito con modelos de RTL especializados (OriGen, RTLCoder, CodeV-QC), obteniendo mejoras de rendimiento consistentes (por ejemplo, CodeV-QC mejoró un 11.5% en VerilogEval-v2) sin requerir reentrenamiento o ajuste de parámetros.
• Robustez: El sistema mostró robustez ante el umbral de decisión utilizado para la clasificación, manteniendo un desempeño estable a través de un rango de valores de umbral (0.38 a 0.54), lo que sugiere que se puede utilizar un umbral fijo en diferentes modelos.

Significado y Reivindicaciones

El artículo afirma que EstRTL aborda la brecha crítica entre la corrección sintáctica y la corrección funcional en el diseño asistido por IA. Al reemplazar la creación laboriosa de bancos de pruebas con la estimación estática de la puntuación funcional, el marco cierra la brecha entre la generación y la corrección de código.

Los autores enfatizan que su enfoque proporciona puntuaciones cuantitativas y comparaciones de requisitos legibles por humanos, mejorando así la transparencia de la generación de RTL asistida por IA. Afirman que el marco no es simplemente un modelo competidor, sino una mejora plug-and-play que puede aplicarse a varios LLM existentes para aumentar significativamente su fiabilidad en tareas de diseño de hardware. El trabajo se presenta como un paso fundamental hacia flujos de trabajo de diseño de hardware más robustos y automatizados, desplazando el enfoque de la mera generación de código hacia descripciones de hardware funcionales y verificadas.