Resumo Técnico: Geração de Testbenches Estruturados para Design de HDL Impulsionado por LLM e Curadoria de Dados Orientada à Verificação

Definição do Problema

O artigo aborda um gargalo crítico nos fluxos de trabalho de Register Transfer Level (RTL) impulsionados por Large Language Models (LLMs): a geração de testbenches confiáveis e de alta cobertura para verificar designs de hardware gerados. As abordagens existentes tratam a geração de testbenches como síntese de código não estruturada, dependendo de prompting estocástico de LLM. Isso leva a três limitações primárias:

1. Alto Custo e Baixa Reprodutibilidade: Melhorar a confiabilidade exige prompting iterativo ou geração de ensemble, aumentando significativamente os custos de tokens.
2. Cobertura Insuficiente: A geração estocástica frequentemente perde casos de borda (corner cases), particularmente em comportamentos de controle de fluxo e dependentes de estado.
3. Vereditos Não Confiáveis: Testbenches inconsistentes produzem vereditos de aprovação falsos (false-pass) em Designs Under Test (DUTs) incorretos e falham em distinguir entre designs parcialmente corretos e totalmente incorretos.

Esses problemas são exacerbados por tendências emergentes de LLM, como o test-time scaling (onde a verificação é parte de um loop de busca iterativo) e a curadoria de dados orientada à verificação (onde grandes lotes de candidatos a DUT devem ser filtrados para dados de treinamento). Nesses contextos, a verificação não é mais apenas uma etapa downstream, mas um mecanismo central para a melhoria do modelo, exigindo testbenches de baixo custo, determinísticos e comportamentalmente significativos.

Metodologia: O Framework STG

Os autores propõem o STG (Structured Testbench Generation), um framework que desloca a criação de testbenches da síntese de código não estruturada para um processo determinístico e consciente da estrutura. O STG explora a estrutura inerente dos designs de hardware para gerar testbenches via renderização baseada em templates.

Fluxo de Trabalho Principal

1. Parsing e Análise de Módulo: O STG faz o parsing do DUT e de uma referência de ouro confiável (ou um modelo de referência "silver") usando Icarus Verilog e heurísticas leves.

   • Classificação de Tipo de Design: Os designs são categorizados em três tipos: Combinacional, Sequencial Geral ou Dominado por FSM.
   • Classificação de Sinais: Portas de entrada são classificadas como Clock, Reset, Controle ou Dados usando correspondência difusa (fuzzy matching) baseada em Longest Common Subsequence (LCS) contra dicas de nomes e heurísticas de largura.
   • Detecção de FSM: Para designs sequenciais, o STG usa correspondência de padrões determinística (escaneando blocos always_ff com registradores de estado) ou análise assistida por LLM para extrair estruturas de Máquina de Estados Finitos (FSM).

2. Geração de Testbench Específica por Estratégia: Com base na classificação, o STG renderiza templates Jinja parametetrizados com estratégias de estímulo específicas:

   • Combinacional: Enumeração exaustiva de todas as combinações de sinais de controle ($2^{b_c}$), com sinais de dados randomizados ($N_s$ amostras) para cada vetor de controle.
   • Sequencial Geral: Uma estratégia de duas passagens, consciente de reset. Ele aplica entradas dentro do período de clock (não apenas nas bordas) para capturar respostas do tipo Mealy intra-ciclo e verifica saídas tanto nas bordas de clock quanto após mudanças intra-ciclo. Ele lida com a recuperação de reset inserindo resets probabilisticamente entre os ciclos.
   • Guiado por FSM: Para designs dominados por FSM, o STG extrai um grafo de transição de estados e realiza uma travessia por Busca em Profundidade (DFS). Ele separa condições de entrada acionáveis de condições de espera internas, aplicando entradas deterministicamente para satisfazer guardas de transição, garantindo cobertura total de transição sem exploração aleatória.

3. Extensão de Referência Silver: Embora projetado primariamente para cenários com referência conhecida (DUT vs. Golden RTL), o STG pode se estender a cenários sem uma referência de ouro confiável, substituindo o módulo golden por um modelo de referência "silver" em C++/SystemC gerado por LLM.

Principais Contribuições

1. Framework STG: Um framework de geração de testbench determinístico e consciente da estrutura que supera a geração de prompt baseada em LLM em eficiência, cobertura e confiabilidade.
2. Curadoria de Dados Orientada à Verificação: Demonstração de que o STG permite a filtragem eficiente de conjuntos de dados de treinamento em larga escala, suportando o treinamento de modelos de geração de RTL destilados fortes usando um pipeline simples de Supervised Fine-Tuning (SFT).
3. Backend de Test-Time Scaling: Evidência de que o STG serve como um backend de verificação eficaz para loops de refinamento guiados por LLM (ex: MCTS), melhorando a qualidade e eficiência da busca em múltiplos modelos de backbone.

Resultados Experimentais

O framework foi avaliado em benchmarks de geração de Verilog (VerilogEval, RTLLM-v2, CVDP) em três cenários:

1. Qualidade e Eficiência do Testbench

• Velocidade: O STG gera testbenches 720× mais rápido que um pipeline iterativo baseado em LLM (0.13s vs. 92.4s por testbench).
• Cobertura: O STG alcança maior cobertura de linha (95.88% vs. 93.97%) e cobertura de toggle (95.77% vs. 85.40%).
• Confiabilidade: O STG reduz vereditos de falso-passo em DUTs incorretos. Em um estudo de 3.046 DUTs, o STG identificou corretamente 7.8% mais designs incorretos do que a abordagem baseada em LLM, principalmente ao evitar falsos positivos em bugs sutis.
• Cobertura de FSM: Em designs de FSM com estados profundos, o estímulo aleatório falhou em atingir estados profundos (S11–S14), enquanto a travessia guiada por FSM do STG alcançou 100% de cobertura de transição.

2. Curadoria de Dados Orientada à Verificação

• Eficiência de Recursos: Filtrar 115k problemas usando STG em um único núcleo de CPU levou 5.6 horas e consumiu 0.56 kWh de energia. Em contraste, uma abordagem puramente LLM em uma GPU de alto desempenho levou 59.1 horas e consumiu 70.9 kWh (uma redução de energia de 127× e aceleração de 10.6×).
• Desempenho do Modelo: Modelos destilados treinados em dados curados pelo STG (usando apenas um estágio de SFT) alcançaram desempenho de ponta ou competitivo no VerilogEval, RTLLM-v2 e no desafiador benchmark CVDP. Esses modelos superaram ou igualaram pipelines complexos envolvendo múltiplos estágios de SFT e Aprendizado por Reforço (RL), sugerindo que fluxos de trabalho complexos de RL podem não gerar ganhos consistentes em novos benchmarks.

3. Test-Time Scaling

• Eficiência de Busca: Quando integrado a um loop de refinamento baseado em MCTS, o STG reduziu o número de nós de busca necessários para resolver problemas em 14–47% em quatro modelos de backbone (variando de 7B a 685B parâmetros).
• Qualidade de Sinal: A natureza determinística e informativa dos sinais de verificação do STG permitiu que o loop de busca rejeitasse candidatos fracos mais cedo e convergisse para designs corretos com menos iterações.

Descobertas Adicionais

• Correção de Benchmark: A geração determinística do STG e a inspeção humana revelaram uma condição de corrida (race condition) sistemática nos testbenches do VerilogEval (onde o estímulo e os checkers disparavam no mesmo ciclo de clock sem garantias de ordenação). Os autores corrigiram isso, observando que avaliações anteriores podem ter sido comprometidas por essas falhas falsas.
• Reprodutibilidade: Os autores observaram problemas significativos de reprodutibilidade com o método VeriRL, onde seu checkpoint replicado apresentou desempenho inconsistente entre os benchmarks em comparação com as afirmações do artigo original.

Significância e Alegações

O artigo afirma que o STG estabelece um backbone de verificação prático e de baixo custo para fluxos de trabalho de design de HDL impulsionados por LLM. Ao tratar a verificação como um problema de geração estruturada em vez de síntese de código não estruturada, o STG aborda os problemas de escalabilidade e confiabilidade que atualmente dificultam a adoção de LLMs no design de hardware.

Os autores argumentam que a eficácia dos recentes e complexos fluxos de trabalho de treinamento e aprendizado por reforço permanece questionável, particularmente em novos benchmarks, onde seu pipeline mais simples, impulsionado pelo STG, fornece desempenho competitivo ou superior com um overhead computacional significativamente menor. Eles posicionam o STG como um habilitador crítico para ciclos de aprendizado contínuo em design de hardware, onde a curadoria de dados eficiente e confiável é essencial para o retreinamento iterativo de modelos.