CktEvo: Repository-Level RTL Code Benchmark for Design Evolution

O artigo apresenta o CktEvo, um benchmark e framework de referência que permite a otimização automática de nível de repositório em projetos RTL, utilizando modelos de linguagem para realizar edições que preservam a funcionalidade e melhoram métricas de Potência, Desempenho e Área (PPA) com base em feedback da cadeia de ferramentas.

O essencial

Imagine que você é um arquiteto de cidades. Você já desenhou um bairro inteiro (o projeto do chip), com ruas, casas e sistemas de energia. Tudo funciona, as pessoas podem se locomover e a cidade é segura. Mas, você sabe que o trânsito está lento em alguns cruzamentos e que o consumo de energia poderia ser menor.

No mundo dos chips de computador, esse "bairro" é escrito em uma linguagem chamada RTL (que é como o código de construção do chip). Tradicionalmente, para melhorar esse código, engenheiros humanos precisavam ler milhares de linhas, tentar adivinhar onde estavam os gargalos e fazer ajustes manuais, um por um. É um processo lento e cansativo.

Aqui entra o CktEvo, a nova ferramenta apresentada neste artigo. Pense nele como um assistente de IA superinteligente que não apenas "conserta" o código, mas evolui o projeto inteiro de forma automática.

Aqui está como funciona, usando analogias do dia a dia:

1. O Problema: "Consertar um único tijolo" vs. "Melhorar a Cidade"

Antes do CktEvo, as IAs (chamadas de Grandes Modelos de Linguagem) eram usadas de duas formas limitadas:

• Criar do zero: Elas tentavam escrever um código novo baseado em uma descrição em texto. O problema? Elas muitas vezes "alucinavam" (inventavam coisas que não funcionavam) e o código precisava ser revisado por um humano.
• Consertar um único cômodo: Elas tentavam melhorar apenas um pequeno arquivo de código isolado. O problema? Em chips, o desempenho (velocidade e tamanho) depende de como todos os arquivos conversam entre si. Melhorar uma sala não adianta se a cozinha estiver travando o fluxo.

O CktEvo muda o jogo. Ele olha para o projeto inteiro (o repositório de código) como uma cidade viva. O objetivo não é criar algo novo, mas pegar um projeto que já funciona e torná-lo mais rápido, menor e mais eficiente (o que os engenheiros chamam de PPA: Potência, Desempenho e Área).

2. A Solução: O Ciclo de Evolução Automática

O CktEvo funciona como um ciclo de feedback contínuo, similar a um treinador de atletas que ajusta a técnica do atleta em tempo real:

1. O Analista (O "Olho Clínico"): Primeiro, o sistema usa ferramentas de engenharia para escanear o código e encontrar os "gargalos". É como um médico que faz um raio-X e diz: "O problema está no corredor da sala de estar, ele está muito estreito".
2. O Arquiteto (A IA): Com essa informação, a IA (o modelo de linguagem) recebe um pedido específico: "Alargue o corredor da sala de estar, mas sem derrubar as paredes ou mudar a função da sala". Ela sugere alterações no código.
3. O Fiscal de Obras (A Verificação): Antes de aceitar a mudança, o sistema testa rigorosamente. Ele verifica se a cidade ainda funciona (se o chip ainda faz o que deve fazer) e se a mudança realmente melhorou o trânsito (reduziu o tempo e o espaço).
4. A Evolução: Se passar no teste, a mudança é salva. Se falhar, a IA tenta de novo. Esse processo se repete muitas vezes, como uma evolução natural, onde apenas as versões mais eficientes sobrevivem.

3. O Resultado: A Cidade que se Melhora Sozinha

Os pesquisadores testaram essa ideia em 11 projetos reais de chips (como processadores, controladores de memória e interfaces USB).

• O que aconteceu? Sem que nenhum humano tocasse no código, o sistema conseguiu reduzir o tamanho do chip e aumentar sua velocidade.
• A analogia: Imagine que você tem um carro. O CktEvo não troca o motor por um novo (o que seria arriscado); ele apenas ajusta a injeção de combustível, alinha as rodas e remove peças desnecessárias do porta-malas, fazendo o carro andar mais rápido e gastar menos gasolina, mantendo o mesmo modelo original.

4. Por que isso é importante?

Até hoje, a IA era vista como uma "máquina de escrever" que precisava de um editor humano para corrigir erros. O CktEvo mostra que a IA pode ser um engenheiro sênior autônomo.

• Para chips pequenos: A IA encontrou melhorias de até 10% no desempenho.
• Para chips grandes e complexos: Mesmo com ferramentas industriais já muito avançadas, a IA conseguiu encontrar pequenos "ganhos" que os humanos não viram, economizando espaço e tempo.

Resumo Final

O CktEvo é como um laboratório de evolução digital. Ele pega projetos de chips existentes, usa uma IA para fazer pequenas alterações inteligentes, testa se elas funcionam e repete o processo até encontrar a versão mais eficiente possível.

É um passo gigante para o futuro, onde a criação de chips não dependerá apenas da sorte e do cansaço dos engenheiros, mas de um ciclo automático onde o design "aprende" e "evolui" sozinho para se tornar perfeito.

Resumo técnico

Resumo Técnico: CktEvo

1. O Problema

O desenvolvimento de código em Nível de Transferência de Registradores (RTL) é um processo iterativo e complexo em escala de repositório, onde as métricas de Potência, Desempenho e Área (PPA) emergem das interações entre múltiplos arquivos e a cadeia de ferramentas de projeto (EDA). Embora os Modelos de Linguagem Grandes (LLMs) tenham sido aplicados à designação de hardware, a maioria das abordagens atuais foca em:

• Geração ou depuração a partir de prompts de linguagem natural: O que frequentemente resulta em ambiguidade, alucinações e código que falha em requisitos funcionais ou de segurança, exigindo revisão humana extensiva.
• Otimização de módulos isolados ou síntese de alto nível (HLS): Que ignora dependências entre arquivos e não captura como o PPA é uma propriedade emergente de todo o repositório.

Existe uma lacuna significativa entre as capacidades atuais dos LLMs para codificação de hardware e a demanda industrial por otimização iterativa de repositórios completos, mantendo a equivalência funcional.

2. Metodologia

Os autores propõem o CktEvo, um benchmark e um framework de referência para a evolução de RTL em nível de repositório.

• Formulação da Tarefa: A evolução é definida como um problema de otimização multi-objetivo iterativo. Dado um repositório inicial "dourado" (golden design) $D_0$, o objetivo é gerar uma sequência de designs $D_1, ..., D_T$ que preservem o comportamento funcional (equivalência) enquanto melhoram as métricas não funcionais (principalmente Área e Atraso/Delay).
• Construção do Benchmark (CktEvo):
  • O conjunto de dados consiste em 11 repositórios RTL de alta qualidade (arquivos Verilog multi-arquivo), extraídos de projetos de código aberto e revisados por especialistas.
  • Os designs abrangem diversas categorias: processadores (RISC), controladores, interfaces de alta velocidade e codificadores/decodificadores.
  • Os repositórios variam de pequenos (centenas de linhas) a grandes (ex: um núcleo RISC com 42 módulos), exigindo raciocínio cruzado entre arquivos.
• Framework de Evolução em Loop Fechado:
  O sistema propõe um agente automatizado que opera em um ciclo iterativo (ver Figura 1 do artigo):
  1. Análise Baseada em Grafos: O código RTL e os relatórios da ferramenta EDA (Síntese Lógica e Análise de Tempo Estática - STA) são convertidos em um Control Data Flow Graph (CDFG). Isso identifica gargalos críticos (caminhos de tempo, módulos de área máxima).
  2. Gerador de Prompts: Traduz os gargalos identificados e os snippets de código relevantes em prompts contextuais ricos para o LLM.
  3. LLM como Operador de Mutação: O LLM propõe edições de código (patches) focadas nos gargalos.
  4. Retificação e Verificação: As alterações propostas passam por uma fase rápida de correção de sintaxe e, crucialmente, por verificação formal para garantir equivalência funcional com o design original.
  5. Algoritmo de Evolução: Utiliza um modelo de "ilhas" (populações independentes) e o algoritmo MAP-Elites para manter a diversidade da busca e armazenar os melhores designs encontrados em diferentes "bins" de características estruturais.

3. Principais Contribuições

1. Formalização da Tarefa: Definição rigorosa da evolução de RTL em nível de repositório, focada na preservação de função e otimização de PPA, integrada a fluxos de verificação e síntese.
2. Primeiro Benchmark de Evolução de Repositório: Lançamento do CktEvo, contendo 11 designs multi-arquivo complexos e prontos para uso, superando benchmarks anteriores baseados em snippets isolados.
3. Framework de Loop Fechado: Apresentação de um sistema funcional que integra feedback de ferramentas EDA, edição cruzada de arquivos e reparo iterativo, demonstrando que LLMs podem otimizar PPA sem intervenção humana direta.
4. Análise de Estratégias de Otimização: Identificação de padrões de sucesso, como mudança de estilo de codificação para ser mais amigável à síntese, achatamento lógico (logic flattening) e otimização de máquinas de estado.

4. Resultados Experimentais

Os experimentos foram realizados utilizando LLMs de ponta (DeepSeek-v3, GPT-4o, Qwen3-coder) com duas cadeias de ferramentas: uma de código aberto (Yosys) e uma comercial (Synopsys Design Compiler).

• Com Ferramentas de Código Aberto (Yosys):

  • O framework demonstrou eficácia universal, reduzindo as métricas PPA em todos os casos de teste.
  • O modelo DeepSeek-v3 alcançou uma redução média de 10,50% no Produto Área-Delay (ADP).
  • Houve uma redução significativa no atraso (7,92% em média), quase três vezes maior que a redução de área, indicando que o analisador de código guiou bem a otimização de caminhos críticos.
  • Designs focados em controle (como controladores e processadores) apresentaram as maiores melhorias, enquanto designs de interface maduros (como USB) tiveram ganhos menores.

• Com Ferramentas Comerciais (Synopsys):

  • As melhorias foram menores (redução média de ADP de 1,77%), devido à agressividade das ferramentas comerciais de síntese que muitas vezes otimizam o código original e o refatorado para a mesma netlist de portas.
  • No entanto, mesmo com margens apertadas, o framework conseguiu reduzir o atraso crítico do design audio em 10,61% e a área do design hsm em mais de 500 $\mu m^2$, provando que há espaço de otimização mesmo em designs maduros.

5. Significado e Conclusão

O trabalho CktEvo estabelece uma fundação rigorosa para o estudo de otimização de RTL assistida por LLMs que é relevante para a prática de engenharia.

• Transição de Geradores para Especialistas: O estudo mostra que LLMs podem evoluir de meros geradores de código para "especialistas de design" capazes de realizar otimizações iterativas em escala de repositório.
• Validação Prática: Demonstra que a evolução automática, sem intervenção humana, pode liberar margens de PPA valiosas, mesmo após a aplicação de ferramentas de síntese lógica padrão.
• Desafios Futuros: O artigo aponta que o próximo passo é mover-se de otimizações locais (estilo de codificação) para refatorações arquitetônicas de alto nível, exigindo modelos base mais poderosos e conhecimento específico do domínio (PDK e ferramentas EDA).

Em suma, o CktEvo fornece o ambiente e as ferramentas necessários para que a comunidade de pesquisa avance em direção à automação completa do ciclo de vida de design de hardware.