Bridging the Last Mile of Circuit Design: PostEDA-Bench, a Hierarchical Benchmark for PPA Convergence and DRC Fixing

Resumo Técnico: POSTEDA-BENCH

Declaração do Problema
Agentes baseados em Modelos de Linguagem de Grande Escala (LLM) estão sendo cada vez mais aplicados à "última milha" da Automação de Design Eletrônico (EDA): reparar violações residuais de Verificação de Regras de Design (DRC) de aprovação final e convergir para metas de Potência–Desempenho–Área (PPA) após execuções de ferramentas automatizadas. No entanto, os benchmarks existentes para agentes EDA-LLM sofrem de lacunas críticas. A maioria foca na geração de scripts a partir de linguagem natural em vez de otimização orientada a objetivos, depende de hierarquias de tarefas planas, está vinculada a cadeias de ferramentas únicas e, mais significativamente, omite completamente o reparo de DRC. Consequentemente, não há um benchmark unificado e realista para avaliar se os agentes podem lidar com o raciocínio geométrico necessário para o reparo de DRC ou com o raciocínio complexo de trade-offs necessário para a convergência multiobjetivo de PPA.

Metodologia: POSTEDA-BENCH
Para abordar essas lacunas, os autores introduzem o POSTEDA-BENCH, um benchmark hierárquico composto por 145 tarefas em duas dimensões principais: DRC-Bench e PPA-Bench. O benchmark suporta cadeias de ferramentas de código aberto (OpenROAD) e comerciais (Synopsys DC + Cadence Innovus), com avaliação verificável por máquina.

1. DRC-Bench (Verificação de Regras de Design):

   • DRC-Essential: Casos sintéticos projetados para isolar competências específicas. Inclui três níveis:
     • L1: Compreensão de regras atômicas (violações de regra única).
     • L2: Abrangência contextual (injetar uma violação em um layout realista para testar a filtragem de geometria relevante).
     • L3: Reparo sequencial (resolver cadeias de violações interagentes onde edições desencadeiam novas violações).
   • DRC-Reasoning: Violações práticas e residuais remanescentes após fluxos completos de EDA e reparos integrados às ferramentas. Estes exigem raciocínio geométrico não trivial. As tarefas são estratificadas pelo número mínimo de etapas de edição necessárias (L1: etapa única, L2: múltiplas etapas, L3: depuração de múltiplas violações).
   • Métricas: Taxa de Sucesso (SR) e Taxa de Redução de Violações (VRR).

2. PPA-Bench (Potência-Desempenho-Área):

   • PPA-Mono: Otimização de objetivo único (Desempenho, Potência ou Área) sem restrições em outras métricas. As tarefas envolvem perturbar botões de configuração (L1/L2) ou exigir re-arquitetura de RTL (L3) para fechar lacunas de desempenho.
   • PPA-Multi: Otimização multiobjetivo testando raciocínio de trade-off. As tarefas visam pontos em frentes de Pareto 2D e 3D, exigindo que os agentes equilibrem métricas concorrentes sem regredir os pisos de restrição.
   • Métricas: Taxa de Sucesso (SR) e Pontuação de Melhoria Normalizada (NIS), que penaliza a regressão em métricas não-alvo.

Configuração Experimental
Os autores avaliaram oito LLMs (três comerciais: GPT-5, GPT-5-mini, Gemini-3-Flash-preview; cinco de código aberto: DeepSeek-V3.2, Qwen3.5-122B, Qwen3.5-27B, Gemma-4-31B, Qwen3.5-9B) sob múltiplos andaimes de agentes (ReAct, Proposer–Critic, ORFS-Agent, Reflexion, Tree-of-Thought). Os experimentos foram conduzidos com temperatura 0 em cinco execuções independentes por tarefa.

Principais Resultados

• Assimetria Sintética vs. Prática: Os agentes desempenham razoavelmente bem em tarefas sintéticas DRC-Essential (melhor SR 85,50%) e PPA-Mono de objetivo único (melhor SR 64,56%). No entanto, o desempenho degrada-se drasticamente em tarefas práticas: DRC-Reasoning (melhor SR 36,66%) e PPA-Multi (melhor SR 20,00%).
• Aumento por Visão: Adicionar um canal de imagem de layout (modelos linguagem-visão) melhora consistentemente o desempenho no DRC-Bench, gerando ganhos tanto em SR quanto em VRR, particularmente para modelos com baselines de texto apenas mais fracas.
• Gargalo de Raciocínio de Trade-off: No PPA-Multi, o modo de falha dominante não é a falta de conhecimento sobre botões, mas uma falha no raciocínio de trade-off. Vários modelos exibiram pontuações NIS negativas, indicando que otimizaram gananciosamente uma métrica enquanto regrediam métricas de restrição, em vez de equilibrar objetivos concorrentes.
• Sensibilidade do Framework: A eficácia dos andaimes de agentes é condicionada pela dimensão. Por exemplo, o framework Proposer–Critic melhorou o desempenho de DRC ao validar edições, mas prejudicou o desempenho de PPA ao restringir excessivamente a exploração. Por outro lado, a otimização bayesiana (ORFS-Agent) aumentou significativamente o desempenho do PPA-Multi para backbones específicos (por exemplo, Qwen3.5-122B), mas amplificou erros para outros (por exemplo, Gemma-4) quando o espaço de busca inferido era subótimo.
• Iteração e Reflexão: O aumento dos orçamentos de iteração mostrou retornos decrescentes para tarefas fáceis, mas ganhos contínuos para tarefas difíceis (DRC-Reasoning e PPA-Multi). A reflexão verbal (Reflexion) melhorou o desempenho em todas as dimensões ao transferir lições entre ensaios independentes.

Significado e Alegações
O artigo afirma que o POSTEDA-BENCH fornece um campo de testes fundamentado para impulsionar pesquisas futuras em duas áreas específicas: reparo de DRC consciente de geometria e otimização de PPA fiel a trade-offs. Os autores identificam que a lacuna de capacidade primária nos agentes LLM atuais não é a recuperação de regras ou o ajuste de objetivo único, mas sim a capacidade de realizar planejamento geométrico acoplado para DRC e raciocínio de trade-off multiobjetivo para PPA. O benchmark destaca que, embora os agentes possam lidar com tarefas sintéticas ou isoladas, eles lutam com as restrições complexas e interdependentes do fechamento pós-EDA do mundo real. O trabalho enfatiza que o progresso futuro exige agentes capazes de equilibrar objetivos concorrentes e raciocinar sobre interações geométricas, em vez de simplesmente recuperar botões de ferramentas.