Resumo Técnico: Avaliação em Loop de Síntese para LLMs na Geração de RTL

Declaração do Problema

A geração de código em Nível de Registro de Transferência (RTL) usando Modelos de Linguagem de Grande Escala (LLMs) apresenta um desafio único, distinto da síntese de software. Enquanto a geração de software exige validade sintática e correção funcional, a geração de RTL demanda que os projetos sejam sintaticamente válidos, sintetizáveis em netlists de nível de porta, funcionalmente corretos sob simulação e eficientes em hardware em termos de área e temporização. Benchmarks existentes (por exemplo, VerilogEval, RTLLM) avaliam principalmente os modelos com base em taxas de aprovação em simulação ($pass@k$), o que falha em distinguir entre projetos que apenas passam em um banco de testes e aqueles que compilam em hardware eficiente e sintetizável. Além disso, o surgimento da IA Agêntica, que orquestra fluxos de trabalho completos de Automação de Projeto Eletrônico (EDA), exige uma mudança da avaliação da capacidade "melhor-de-$k$" para a avaliação da qualidade de uma única tentativa ($pass@1$), pois agentes autônomos não podem arcar com a explosão combinatória de estratégias de múltiplas amostras. Os métodos de avaliação atuais não capturam as métricas de "Qualidade de Resultados" (QoR) (área, atraso, avisos) necessárias para a confiabilidade de implantação.

Metodologia

Os autores propõem um framework de avaliação em Loop de Síntese para abordar essas lacunas.

• Benchmark e Modelos: O estudo avalia 32 modelos de linguagem (incluindo variantes proprietárias e de pesos abertos da OpenAI, Google, Anthropic, Meta, DeepSeek, etc.) em 202 tarefas em Verilog extraídas do VerilogEval (155 tarefas de módulo único) e RTLLM (47 tarefas do mundo real de múltiplos módulos). Cada modelo é solicitado com cinco tentativas independentes por tarefa.
• Pipeline de Avaliação: Um projeto gerado deve passar por três portões sequenciais para ser avaliado quanto à qualidade:
  1. Validade Sintática: Verificada via Icarus Verilog.
  2. Sintetizabilidade: Verificada via elaboração e mapeamento do Yosys sob a biblioteca de células padrão Nangate45 de 45nm.
  3. Correção Funcional: Verificada via simulação de banco de testes com correspondência de falha imediata.
• Índice de Qualidade de Hardware (HQI): Para projetos que passam em todos os portões, uma pontuação de 0–100 é calculada com base em métricas pós-síntese em relação a uma referência "dourada" de especialista. A pontuação é derivada da área normalizada ($\hat{a}$), atraso ($\hat{d}$) e contagem excessiva de avisos ($\hat{w}$):
  $$\text{custo} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$$
  $$\text{HQI} = \min\left(\frac{100}{\text{custo}}, 100\right)$$
  Projetos que falham em qualquer portão recebem um HQI de 0.
• Métricas Agregadas: O estudo define Cobertura Ponderada por Complexidade (taxa de resolução de tarefas), HQI Global (teto de capacidade melhor-de-5) e HQI Esperado (qualidade de tentativa única). A lacuna entre HQI Global e HQI Esperado quantifica a lacuna de "prontidão para implantação".
• Taxonomia de Falhas: Falhas de síntese (passando no Icarus mas falhando no Yosys) são classificadas em uma taxonomia de nove classes com base na saída de diagnóstico do Yosys.

Principais Resultados

1. Paisagem de Capacidade em Três Níveis

O agrupamento K-means dos 32 modelos revela três níveis distintos de capacidade:

• Nível 1 (Fronteira): 14 modelos com HQI Global $\ge$ 66. Liderado pelo Gemini-3-Pro (87,5% de cobertura, 85,1 HQI), seguido por GPT-5.4-Pro e Gemini-3-Flash. Este nível inclui as principais variantes da OpenAI, Google e Anthropic.
• Nível 2 (Agrupamento Denso): 15 modelos com HQI Global entre 43 e 66. Inclui modelos de pesos abertos robustos como DeepSeek-V3.2 e Qwen3.5-397B-OSS, bem como modelos proprietários de nível médio.
• Nível 3 (Baixo Desempenho): 3 modelos com HQI Global < 43, incluindo Mistral-Nemo e GPT-5-Nano.

2. Discrepância entre Simulação e Síntese

As taxas de aprovação baseadas em simulação superestimam sistematicamente a prontidão de hardware. Em média, a taxa de aprovação melhor-de-5 excede o HQI Global em 7,5 pontos, com lacunas atingindo até 14,9 pontos para alguns modelos. Confiar apenas nas taxas de aprovação de simulação leva a inversões de classificação; por exemplo, o GPT-4.1 ocupa o 14º lugar pela taxa de aprovação, mas o 17º pelo HQI, enquanto o GPT-5.4-Pro sobe do 9º para o 2º lugar quando a qualidade é considerada.

3. A Lacuna de Prontidão para Implantação

Uma descoberta crítica é a lacuna significativa entre o HQI Global (melhor-de-5) e o HQI Esperado (tentativa única).

• No Nível 1, a lacuna varia de 3,7 a 17,8 pontos (mediana 8,7).
• Nos níveis inferiores, as lacunas excedem 15 pontos, atingindo um máximo de 22,1 pontos.
  Isso indica que uma única chamada de modelo pode reter apenas metade da qualidade de uma estratégia de múltiplas tentativas, representando uma barreira para a integração em pipelines agênticos autônomos.

4. Taxonomia de Modos de Falha

A análise de 195 falhas de síntese revela diferenças sistemáticas entre os tipos de modelos:

• Modelos Proprietários: Falham tarde no pipeline. Os modos de falha dominantes são "erros de sintaxe tardios" (o código passa no analisador, mas falha na elaboração devido a problemas estruturais) e "timeouts de síntese" (netlists complexas). Isso sugere exposição a RTL de nível de síntese nos dados de treinamento.
• Modelos de Pesos Abertos: Falham cedo. Os modos dominantes são "referências a módulos indefinidos" (wrappers ausentes) e "construções não sintetizáveis" (por exemplo, loops while, blocos initial). Esse padrão alinha-se com corpora de treinamento inclinados para código orientado à simulação em vez de RTL de nível de síntese.

5. Características de Inferência

Custo e qualidade mostram baixa correlação. Modelos de alto custo com sobrecarga pesada de raciocínio (por exemplo, GPT-5-Pro) não garantem qualidade superior de RTL. O Gemini-3-Flash surge como um modelo de fronteira eficiente em custos, entregando qualidade de Nível 1 (81,2 HQI) a uma fração do custo dos modelos de raciocínio de ponta.

Significado e Contribuições

O artigo reivindica três contribuições principais:

1. Um Framework em Loop de Síntese: Introduz um pipeline e o Índice de Qualidade de Hardware (HQI) que vai além das métricas binárias de aprovação/falha para avaliar a qualidade de implementação (área, atraso, avisos) em relação a referências de especialistas.
2. Caracterização Empírica: Fornece uma avaliação abrangente de 32 modelos, revelando uma paisagem estruturada em três níveis e quantificando a "lacuna de prontidão para implantação", onde a qualidade de tentativa única fica significativamente atrás do potencial melhor-de-$k$.
3. Taxonomia de Falhas: Expõe uma divergência sistemática nos modos de falha entre modelos proprietários e de pesos abertos, vinculando essas diferenças à composição dos dados de treinamento (nível de síntese vs. nível de simulação).

Os autores concluem que, embora os LLMs mostrem promessa para a geração de RTL, os modelos atuais ainda não podem ser integrados em pipelines agênticos autônomos sem melhorar a confiabilidade de tiro único. A lacuna entre as taxas de aprovação de simulação e as métricas de qualidade conscientes de síntese exige uma mudança nos padrões de avaliação para a automação de projeto de hardware. Trabalhos futuros devem focar no refinamento iterativo com feedback de síntese e na curadoria de corpora de treinamento de nível de síntese para abordar os modos de falha específicos dos modelos de pesos abertos.