Resumo Técnico: RTL-BenchLS

Declaração do Problema

O campo da automação de projeto de hardware está aproveitando cada vez mais os Grandes Modelos de Linguagem (LLMs) para a geração e o raciocínio de Nível de Transferência de Registrador (RTL). No entanto, o progresso neste domínio é dificultado pelas limitações dos benchmarks existentes. Os benchmarks atuais, como VerilogEval e RTLLem, sofrem de duas deficiências primárias:

1. Escala e Complexidade Limitadas: Os conjuntos de dados atuais contêm um pequeno número de designs (tipicamente <200) que são predominantemente tarefas simples de módulo único com menos de 100 linhas de código (LoC). Eles falham em representar a complexidade de subsistemas de hardware do mundo real.
2. Escopo de Tarefa Estreito e Escassez de Dados: A maioria dos benchmarks foca exclusivamente na geração de especificação-para-RTL. Escalar esses benchmarks é fundamentalmente difícil porque eles exigem dados "alinhados" — especificamente, o trio de especificações em linguagem natural, código RTL e testbenches escritos manualmente. Tais dados de alta qualidade e alinhados são escassos no domínio público, fazendo com que modelos de fronteira saturem o desempenho nos tarefas atuais e tornando impossível distinguir entre as capacidades dos modelos ou guiar o desenvolvimento futuro.

Metodologia

Para abordar essas limitações, os autores introduzem o RTL-BenchLS, um benchmark de larga escala composto por mais de 10.000 designs Verilog formalmente verificados. A metodologia foca em dois pilares: construção de dados e design de tarefas inovadoras.

Construção de Dados

O conjunto de dados agrega 10.028 designs de cinco fontes:

• Repositórios do Mundo Real (S1): 971 módulos extraídos de mais de 25 projetos de código aberto (ex: NVIDIA DLA, OpenC910, HummingBird E200), fornecendo complexidade específica de domínio.
• Corpora Gerados por LLM (S2–S5): ~9.000 módulos destilados de corpora de treinamento existentes (OriGen, AutoVCoder, RTLPP, MG-Verilog) para fornecer escala e diversidade estrutural.

Os autores empregam um pipeline de filtragem rigoroso para garantir a qualidade:

• Filtragem de Complexidade: Os designs são filtrados com base em Linhas de Código (LoC) e Número de Módulos (NoM), resultando em uma média de 63 LoC (máximo de 479 LoC), significativamente maior que os benchmarks anteriores.
• Poda de Similaridade: A similaridade pareada (usando TF-IDF e similaridade de cosseno) é calculada para remover duplicatas próximas.
• Verificação Formal: Cada design retido passa por verificação de equivalência lógica formal (LEC) ou verificação de equivalência sequencial (SEC) usando ferramentas industriais (Cadence Conformal e JasperGold). Isso garante que todos os designs sejam funcionalmente corretos sem depender de testbenches curados manualmente.

Tarefas de Benchmark Inovadoras

O RTL-BenchLS introduz três tarefas que avaliam conjuntamente o raciocínio e a geração, indo além da simples geração de especificação-para-RTL:

1. Raciocínio de Ida e Volta (Auto-supervisionado): O LLM deve comprimir um design RTL original $D$ em um abstrato intermediário $A$ (em formatos como Linguagem Natural, Diagrama-estilo NL, Código Executável ou Forma Livre) e então reconstruir um RTL $D'$ funcionalmente equivalente a partir de $A$. O sucesso é definido por $D' \equiv D$ via verificação de equivalência formal. Isso elimina a necessidade de rótulos externos.
2. Raciocínio de Conteúdo Mascarado (Auto-supervisionado): Um bloco de código ou sub-módulo é mascarado no design. O LLM deve gerar uma descrição concisa da lógica mascarada e então reconstruir o código ausente com base no contexto circundante. O sucesso é verificado checando se o design reconstruído é equivalente ao original.
3. Raciocínio de Problemas de Repositório: O LLM recebe um relatório de problema real (comentário) e o contexto do repositório (incluindo o código bugado) e deve gerar uma correção que seja funcionalmente equivalente ao patch de ouro do desenvolvedor. Esta tarefa avalia a compreensão de contexto longo e depuração entre artefatos.

Principais Contribuições

• Escala Sem Precedentes: O benchmark fornece mais de 10.000 designs formalmente verificados, duas ordens de magnitude maiores que os benchmarks que suportam verificação funcional.
• Complexidade Diversa: Os designs abrangem uma gama mais ampla de complexidade (até 495 LoC) comparado aos módulos predominantemente simples nos benchmarks existentes.
• Paradigma Auto-supervisionado: Duas das três tarefas são auto-supervisionadas, resolvendo o gargalo de alinhamento de dados que historicamente impediu a escala dos benchmarks.
• Infraestrutura de Verificação Formal: A estrutura de avaliação depende inteamente da verificação de equivalência formal (LEC/SEC), removendo a dependência de testbenches manuais e garantindo a verificação de correção rigorosa e automatizada.
• Avaliação Abrangente: O artigo avalia oito LLMs de última geração (incluindo GPT-4o, Claude Sonnet/Haiku, DeepSeek, Qwen e LLaMA) em todas as tarefas.

Resultados Experimentais

A avaliação revela que os LLMs atuais enfrentam desafios significativos no raciocínio e geração de RTL, com o desempenho muito abaixo dos níveis de saturação vistos em benchmarks mais simples:

• Raciocínio de Ida e Volta: Mesmo o melhor modelo (Claude Sonnet-4.5) atinge apenas ~23% de taxa de passagem no raciocínio de ida e volta em linguagem natural. O desempenho varia significamente pelo formato do abstrato; abstratos de código executável (Python/C) performam melhor (~39–52%) do que linguagem natural pura.
• Raciocínio de Conteúdo Mascarado: O desempenho é mais uniforme entre os modelos, com o melhor (LLaMA-3.3-70B) atingindo ~28%.
• Correção de Problemas de Repositório: Esta é a tarefa mais desafiadora. Mesmo com uma configuração simplificada onde a região bugada é fornecida, o melhor modelo (DeepSeek-v3.2) atinge apenas ~12%.
• Comparação: Quando os mesmos modelos são testados em benchmarks existentes (VerilogEval, RTLLM) usando a nova tarefa de ida e volta, o desempenho cai drasticamente (ex: LLaMA-3.3 cai de 53.2% para 12.2%), confirmando que o RTL-BenchLS é substancialmente mais desafiador.

Significância e Alegações

Os autores afirmam que o RTL-BenchLS representa um passo crítico à frente para a comunidade de automação de projeto de hardware. Ao fornecer um conjunto de dados de larga escala, formalmente verificado, com tarefas auto-supervisionadas, o benchmark:

1. Quebra o Gargalo de Escala: Demonstra que o design de tarefas eficaz pode superar a escassez de rótulos alinhados, permitindo a criação de benchmarks muito maiores e mais diversos.
2. Revela Lacunas Reais de Capacidade: As baixas taxas de passagem (12–28%) em comparação com a quase saturação em benchmarks antigos indicam que os LLMs atuais carecem da profundidade de raciocínio necessária para tarefas de projeto de hardware complexas e do mundo real.
3. Guia o Desenvolvimento Futuro: Os resultados destacam áreas específicas de melhoria, como a necessidade de melhor manipulação de raciocínio de contexto longo, lógica de nível de bit precisa e a integração de verificação formal em agentes de LLM.

O artigo conclui que o RTL-BenchLS deixa amplo espaço para melhorias futuras e serve como uma infraestrutura fundamental para o desenvolvimento de métodos mais capazes baseados em LLM para o projeto de hardware. O conjunto de dados, os scripts de avaliação e as ferramentas de verificação são disponibilizados publicamente para apoiar a pesquisa reprodutível.