Resumo Técnico: EDATracer

Declaração do Problema

O design de semicondutores moderno depende fortemente de ferramentas de Automação de Projeto Eletrônico (EDA), que geram coleções vastas e heterogêneas de artefatos, incluindo código-fonte (RTL), scripts de síntese, logs, netlists e relatórios de PPA (Potência-Desempenho-Área). Analisar esses artefatos é crítico para depuração, otimização e compreensão dos fluxos de design. No entanto, este processo enfrenta três desafios principais:

1. Falta de Benchmarks: Os conjuntos de dados existentes focam em geração de código ou análise de log único, carecendo de benchmarks públicos para análise de larga escala e entre múltiplos artefatos, onde a evidência está distribuída através de vários tipos de arquivos e estágios de design.
2. Complexidade e Escala: Um único design pode produzir milhares de arquivos e milhões de linhas de saída. O prompting de contexto total é impraticável devido aos limites de tokens e à heterogeneidade dos dados.
3. Falhas de Fundamentação (Grounding): Uma análise eficaz muitas vezes requer a ligação de evidências de fontes díspares (por exemplo, uma mensagem de erro em um arquivo de log vinculada a um módulo específico em um arquivo de origem ou a um relatório anterior). Sem uma referência confiável ao contexto da ferramenta EDA, agentes de Grandes Modelos de Linguagem (LLMs) tendem a alucinar ou depender de correspondências superficiais de palavras-chave em vez de um raciocínio fundamentado.

Metodologia

Os autores propõem o EDATracer, um framework agêntico projetado para análise de artefatos de EDA baseada em evidências. O sistema opera através de dois estágios distintos:

1. Curadoria e Construção do Conjunto de Dados

Para enfrentar a falta de dados públicos, os autores construíram um conjunto de dados abrangente compreendendo 2.787 designs de chips de código aberto sintetizáveis e seus artefatos associados, totalizando 18,9 GB.

• Coleta: Um processo de filtragem de quatro fases (descoberta, filtragem heurística, avaliação baseada em LLM e verificações de viabilidade de síntese) foi aplicado a repositórios públicos do GitHub para identificar designs RTL válidos e sintetizáveis.
• Geração: Um pipeline automatizado sintetizou cada design usando ferramentas padrão da indústria (Synopsys Design Compiler) e bibliotecas de tecnologia de código aberto (NanGate45, SkyWater130, ASAP7). Este processo envolveu um loop iterativo de reparo de erros para lidar com falhas de síntese, ajustando a seleção do módulo topo, sinais de clock ou configurações de script.
• Artefatos: O conjunto de dados final inclui código-fonte, scripts de síntese, logs, netlists de nível de porta e relatórios de PPA.

2. Arquitetura do Framework Agêntico

O EDATracer organiza esses artefatos em uma representação estruturada para permitir recuperação e raciocínio:

• Estágio Offline (Grafo de Conhecimento & Índice):
  • Grafo de Conhecimento (KG): Os artefatos são mapeados em um grafo de conhecimento tipado ($G$), onde os nós representam entidades (designs, módulos, logs, relatórios) e as arestas codificam hierarquia, proveniência e relações estruturais.
  • Índice Vetorial Semântico: Nós que contêm texto (ex: trechos de logs, documentação) são incorporados e indexados ($Z$) para suportar busca semântica enquanto mantêm o vínculo de volta à estrutura do grafo.
• Estágio Online (Interação Agêntica):
  • Agente de Recuperação: Interage com a consulta do usuário para gerar requisições de informação. Ele utiliza dois modos: Recuperação Semântica (busca vetorial sobre trechos de texto) e Recuperação Estruturada (consultas Cypher sobre o grafo de conhecimento para extrair métricas específicas, relacionamentos ou proveniência).
  • Agente de Raciocínio: Sintetiza a evidência recuperada. Ele avalia iterativamente se o contexto acumulado é suficiente para responder à consulta. Se não for, ele solicita mais evidências; caso contrário, gera uma resposta fundamentada apoiada por artefatos específicos.

Principais Contribuições

1. Framework EDATracer: Um sistema agêntico que combina um grafo de conhecimento específico do domínio com raciocínio de LLM para realizar análise de artefatos de design de chips de forma fundamentada e cross-artifact.
2. Conjunto de Dados de Larga Escala de EDA: Um conjunto de dados curado de 2.787 designs com 18,9 GB de artefatos heterogêneos, capturando hierarquias de design e dependências entre artefatos.
3. Benchmark de 90 Perguntas: Um benchmark verificado manualmente cobrindo tarefas factuais, estatísticas e de raciocínio em vários níveis de dificuldade para avaliar as capacidades de análise de artefatos de EDA.
4. Avaliação Abrangente: Uma comparação rigorosa contra agentes comerciais de última geração (Cursor, Claude Code) e vários backbones de LLM (Claude Opus, Sonnet, Haiku, GPT-5, Qwen).

Resultados

A avaliação demonstra que o EDATracer supera os frameworks agênticos comerciais existentes tanto em precisão quanto em eficiência:

• Precisão: O EDATracer alcançou a melhor acurácia pass@1 geral, superando o Cursor em uma média de 6,4 pontos percentuais e o Claude Code em 7,2 pontos percentuais. O sistema mostrou força particular em perguntas estatísticas, onde agregou dados de múltiplos artefatos com sucesso, preservando unidades e prefixos corretos.
• Eficiência: O EDATracer utilizou de 2,0× a 3,2× menos tokens do que o Cursor e o Claude Code. Essa redução é atribuída ao mecanismo de recuperação estruturada, que evita passar contextos grandes e irrelevantes para o LLM, recuperando em vez disso nós e relacionamentos específicos do grafo.
• Implantação Local: O framework permitiu que modelos menores de pesos abertos (ex: Qwen 3.5-9B) performassem de forma eficaz em tarefas factuais e estatísticas, aproximando-se do desempenho de modelos proprietários maiores quando fundamentados pelo grafo de conhecimento.

Significância e Alegações

O artigo posiciona o EDATracer como uma solução para o gargalo prático da análise de artefatos de EDA no design de chips moderno. Os autores afirmam que, ao organizar artefatos heterogêneos em um grafo de conhecimento estruturado, o framework permite que agentes de LLM realizem raciocínio fundamentado em vez de depender de alucinação ou correspondência de padrões superficiais.

A significância reside em demonstrar que a recuperação baseada em grafos pode melhorar significamente a eficiência de custo e a precisão da análise de EDA baseada em LLM. Os autores observam que, embora o framework atual foque em artefatos do estágio de síntese, a metodologia fornece uma base para estender a análise para estágios mais amplos do fluxo de design (floorplanning, roteamento, sign-off) e artefatos multimodais (layouts, formas de onda) em trabalhos futuros. O artigo enfatiza que a representação estruturada é crucial para ligar evidências através do fluxo de design, uma capacidade que abordagens de geração aumentada por recuperação (RAG) de plano plano carecem.