Resumo Técnico: HighTide – Um Conjunto de Benchmarks de VLSI de Código Aberto Curado por Agentes

Declaração do Problema

O artigo identifica uma estagnação crítica nos atuais conjuntos de benchmarks de Automação de Projeto Eletrônico (EDA) de código aberto. As coleções atuais, como o OpenROAD Flow Scripts (ORFS) e o EDALearn, sofrem de três deficiências primárias:

1. Falta de Diversidade e Modernidade: Elas são fortemente enviesadas para núcleos de CPU RISC-V (ex: Ariane, CVA6) e arquiteturas legadas, falhando em representar a natureza heterogênea dos designs modernos de System-on-Chip (SoC), que incluem aceleradores de ML, NoCs e diversos controladores periféricos.
2. Snapshots Estáticos: Os conjuntos existentes frequentemente rastreiam snapshots estáticos de Verilog de designs escritos em linguagens de nível superior (Chisel, geradores Python). À medida que as linguagens e ferramentas upstream evoluem, esses benchmarks tornam-se desatualizados, perdendo correções de bugs e atualizações arquitetônicas (ex: recursos da BlackParrot v2 estão ausentes no ORFS).
3. Foco em Ferramentas Pontuais: Muitos benchmarks visam estágios individuais do fluxo (ex: roteamento ou posicionamento) em vez de fornecer fluxos de ponta a ponta de RTL-para-GDS, impedindo a avaliação das interações entre os estágios do fluxo.

Essas limitações comprometem a credibilidade das avaliações de modelos de Machine Learning (ML) treinados em dados de EDA, levando ao overfitting em padrões obsoletos e dificultando o desenvolvimento de ferramentas generalizáveis.

Metodologia

O HighTide aborda essas lacunas através de uma infraestrutura abrangente projetada para evolução, diversidade e automação.

1. Conjunto de Designs Diversos

O conjunto abrange múltiplas linguagens de design (Verilog, SystemVerilog, Chisel e geradores baseados em Python como VerilogGen e MiGen) e nós tecnológicos (ASAP7, NanGate45 e SkyWater 130nm).

• Variedade Arquitetônica: Reduz a dominância de CPUs RISC-V de ~59% no ORFS para ~30%, introduzindo eixos arquitetônicos distintos como aceleradores de ML (Gemmini, NVDLA, Eyeriss v2, Coral NPU), NoCs e datapath criptográficos.
• Variação Estrutural: Os designs variam significativamente em contagem de células (20k a 1.5M) e composição estrutural, variando de layouts densos em macros (Eyeriss v2 com 193 macros) a grandes matrizes sistólicas livres de macros (Gemmini).
• Manutenção Dinâmica: Ao contrário de coleções estáticas, o HighTide utiliza Git submodules para rastrear fontes upstream. Ele suporta uma flag opcional update_rtl para regenerar Verilog a partir do HDL nativo, garantindo que os designs reflitam as mudanças mais recentes do upstream.

2. Infraestrutura e Compilação

• Fluxo Baseado em Bazel: O conjunto utiliza bazel-orfs para integrar-se ao OpenROAD Flow Scripts. Isso permite builds herméticos, compilação incremental (reexecutando apenas os estágios alterados) e cache remoto via uma instância bazel-remote.
• Execução Distribuída: A integração com Kubernetes permite builds paralelos entre múltiplos designs e plataformas, com artefatos compartilhados via cache remoto.
• Verificação: A infraestrutura inclui verificações automatizadas de compilação de RTL em atualizações upstream para capturar problemas de integração antes do lançamento.

3. Curadoria Assistida por IA

Uma inovação central é o uso de agentes Claude Code equipados com doze "skills" especializadas para gerenciar o ciclo de vida do conjunto, reduzindo o fardo manual de curadoria:

• Ciclo de Vida do Design: Skills para descobrir novos designs, integrá-los (gerando scripts e macros de memória), portabilidade entre plataformas e rastreamento de atualizações upstream.
• Otimização de Fluxo: Skills para depurar falhas de build (analisando logs, mapas de congestionamento), otimizar PPA (Power-Performance-Area) e gerar macros de SRAM abstratas.
• Referência de Ferramenta: Skills que fornecem referências em cache para comandos OpenROAD TCL e SDC/STA.
• Meta-Manutenção: Skills para rastrear bugs de ferramentas upstream, publicar resultados e "sonhar" (analisar sessões passadas para melhorar as próprias skills).
• Memória de Decisão: Todas as ações do agente são respaldadas por uma memória compartilhada e persistente (DECISIONS.md) que registra a razão por trás das escolhas de configuração (ex: tamanhos de halo específicos ou períodos de clock). Isso permite que padrões de ajuste se propaguem entre designs e plataformas, evitando a rederivação de correções.

Principais Contribuições

1. Conjunto HighTide: Um conjunto de benchmarks evolutivo e publicamente disponível que cobre diversas arquiteturas, linguagens e nós tecnológicos, projetado para crescer com o ecossistema de hardware de código aberto.
2. Infraestrutura de Compilação Incremental: Um sistema baseado em Bazel que permite a compilação eficiente e reprodutível de RTL-para-GDS com suporte a cache remoto e Kubernetes.
3. Fluxo de Trabalho Curado por Agentes: A implementação de doze skills de agentes de IA que automatizam a descoberta, integração, portabilidade e otimização de designs, apoiadas por uma memória de decisão de longo prazo para transferência de conhecimento.
4. Logs de Decisão: Um mecanismo para registrar e reutilizar a razão de ajuste em todo o conjunto, permitindo que uma pequena equipe mantenha uma coleção de benchmarks complexa e multiplataforma.

Resultados e Observações

• Cobertura: O lançamento inicial inclui designs com contagens de células variando de menos de 20k a mais de 1.5M, abrangendo três PDKs (ASAP7, NanGate45, SkyWater 130nm).
• Diversidade Estrutural: O conjunto captura com sucesso uma ampla gama de perfis estruturais, incluindo designs dominantes em macros (até 83% de área de macro em CNN), designs pesados em sequencial e datapath pesados em combinacional.
• Eficiência: A curadoria assistida por IA permitiu que a equipe portasse designs através de três plataformas e expandisse a cobertura (ex: adicionando suporte a SkyWater 130nm para múltiplos designs) sem um aumento proporcional no esforço manual.
• Rastreamento de Bugs: O agente identificou e documentou com sucesso defeitos de ferramentas upstream (ex: falhas de posicionamento de macro OpenROAD MPL-0040), levando a contornos (workarounds) e registros de problemas no upstream.

Significância e Alegações

O artigo afirma que o HighTide representa uma mudança de snapshots estáticos de benchmarks para um conjunto de avaliação vivo que evolui junto com os ecossistemas de hardware e EDA de código aberto. Sua significância reside em:

• Reprodutibilidade e Estabilidade: Fornecer lançamentos com tags semestrais com configurações fixas (SDC, macros de memória) para garantir comparações justas (apples-to-apples) enquanto ainda rastreia a evolução upstream.
• Generalização para ML: Ao oferecer um dataset diverso e contemporâneo, o HighTide visa evitar que modelos de ML sofram overfitting em padrões de design estreitos e obsoletos, apoiando assim o desenvolvimento de comportamentos de circuitos generalizáveis.
• Escalabilidade de Manutenção: A abordagem de curadoria por agentes demonstra que conjuntos de benchmarks complexos e multiplataforma podem ser mantidos e expandidos de forma eficiente, superando a "obsolescência" que assola os recursos atuais.

Os autores posicionam o HighTide não como um substituto para os conjuntos existentes como o ORFS, mas como um recurso complementar que aborda as lacunas específicas de diversidade, recência e avaliação de fluxo de ponta a ponta exigidas pela pesquisa moderna de ML-para-EDA.