RefEvo: Agentic Design with Co-Evolutionary Verification for Agile Reference Model Generation

1. Declaração do Problema

À medida que a complexidade do System-on-Chip (SoC) aumenta, a estratégia de "shift-left" da indústria exige o desenvolvimento rápido de modelos de referência de alta fidelidade (por exemplo, em SystemC) para exploração e verificação de arquitetura iniciais. Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa na geração de código, sua aplicação à modelagem de hardware enfrenta três obstáculos críticos:

• Fluxos de Trabalho Rígidos: Processos de geração estáticos e lineares falham em adaptar-se a complexidades de design variáveis, levando a ineficiência e erros em lógicas complexas.
• Esquecimento Catastrófico: Sessões de interação longas, necessárias para refinamento iterativo, excedem as janelas de contexto dos LLMs, fazendo com que o modelo perca o rastreamento de especificações iniciais críticas (por exemplo, mapas de registradores, protocolos).
• Falha de Validação Acoplada: Um problema crítico de confiabilidade onde um LLM gera tanto o Dispositivo Sob Teste (DUT) quanto o Testbench (TB). O TB é frequentemente inadvertidamente adaptado para corresponder às alucinações do DUT, resultando em um "PASS" falso-positivo, apesar de o modelo estar defeituoso. Fluxos de verificação estáticos atuais não conseguem detectar essa alucinação compartilhada.

2. Metodologia: O Framework RefEvo

O RefEvo é um framework multiagente dinâmico projetado para tratar a modelagem de hardware como um processo co-evolutivo, em vez de uma tarefa de geração estática. Ele compreende três inovações centrais:

A. Planejador de Design Dinâmico (Agente 1)

Em vez de um fluxo de trabalho fixo, um agente "Cérebro" analisa autonomamente a complexidade semântica da especificação do design.

• Função: Avalia o design em três dimensões: Protocolo de Interface (por exemplo, AXI vs. GPIO), Espaço de Estados (por exemplo, complexidade de FSM) e Concorrência (por exemplo, múltiplos domínios de clock).
• Saída: Gera um Plano de Execução estruturado (JSON) que decompõe tarefas e seleciona a estratégia de roteamento apropriada, garantindo que lógicas simples sejam tratadas eficientemente, enquanto sistemas complexos recebem fluxos de trabalho personalizados.

B. Loop de Verificação Simbiótica (Agentes 2, 3 e 4)

Este é o mecanismo central que aborda a "Falha de Validação Acoplada". Emprega um Árbitro Dialético para supervisionar uma relação simbiótica entre geração e verificação.

• Configuração de Geração Dual: O Agente Modelador gera o Modelo de Referência em SystemC, enquanto o Agente Verificador constrói o Testbench (TB) simultaneamente.
• Arbitragem Dialética: Um Agente Árbitro dedicado atua como autoridade central, comparando os traços de simulação contra o Oráculo de Especificação Imutável. Resolve incompatibilidades através de quatro caminhos de roteamento:
  1. Reparo de Sintaxe: Corrige erros de compilação.
  2. Refinamento de Design (Caminho Vermelho): Se o modelo violar a especificação, o Árbitro direciona o Modelador a corrigir a lógica.
  3. Realinhamento do TB (Caminho Azul): Se o modelo corresponder à especificação, mas o TB falhar (indicando uma alucinação na lógica de verificação), o Árbitro direciona o Verificador a corrigir o TB. Este é o mecanismo chave para quebrar alucinações compartilhadas.
  4. Sucesso: Confirma a equivalência funcional e produz o Modelo Dourado (Golden Model).

C. Gerenciamento de Contexto com Ancoragem de Especificação

Para prevenir o esquecimento catastrófico durante interações de muitas voltas:

• A Âncora (Imutável): A Especificação de Design inicial é fixada no topo da janela de contexto e nunca é removida, servindo como o Oráculo de verdade fundamental.
• O Resumo (Comprimido): Rodadas históricas de interação são resumidas para preservar a cadeia de raciocínio enquanto economiza tokens.
• O Espaço de Trabalho (Dinâmico): Logs de erros recentes e trechos de código são processados aqui.
  Esta estratégia garante 100% de recuperação de restrições críticas, independentemente do comprimento da sessão.

3. Contribuições Principais

1. Planejamento Dinâmico Ágil: Introdução de um planejador que decompõe autonomamente especificações com base na complexidade semântica, superando fluxos de trabalho lineares rígidos.
2. Verificação Co-evolutiva: Um mecanismo dialético inovador que valida tanto o modelo quanto o testbench contra um oráculo de especificação, resolvendo efetivamente o problema de "Falha de Validação Acoplada" onde fluxos estáticos falham.
3. Estratégia de Ancoragem de Especificação: Uma técnica de compressão de contexto que garante a recuperação sem perdas de especificações, permitindo raciocínio de longo horizonte sem esquecimento catastrófico.
4. Benchmarking Abrangente: Avaliação em 20 módulos de hardware diversos (desde lógica simples até protocolos complexos como AXI DMA e FFT) usando cinco LLMs de última geração.

4. Resultados Experimentais

O RefEvo foi avaliado contra quatro baselines (Naive, Flow Only, FixedTB e RefEvo) em cinco LLMs (incluindo Gemini-2.5-Pro, GPT-5.1 e Claude-Opus-4.1).

• Taxa de Sucesso: O RefEvo alcançou uma taxa de aprovação de 95% no benchmark, superando significativamente as baselines estáticas (que variaram de 0% a 35%). Notavelmente, resolveu módulos complexos (por exemplo, fpu_div, keccak) que falharam consistentemente nos modos baseline.
• Estudo de Ablação:
  • A transição de "Flow Only" para "FixedTB" eliminou erros de sintaxe, mas deixou falhas funcionais.
  • Habilitar a "Co-evolução" (RefEvo) reduziu significativamente as falhas funcionais, provando que muitos erros deveram-se a lógica de verificação incorreta (alucinações do TB) e não a modelos defeituosos.
• Eficiência: A estratégia de Ancoragem de Especificação reduziu o consumo de tokens em uma média de 71,04%. Para designs complexos, isso resultou em economias absolutas de mais de 73.900 tokens por sessão, mantendo 100% de recuperação de especificações.
• Robustez: O framework demonstrou melhorias agnósticas ao modelo, aumentando consistentemente as taxas de aprovação em todos os LLMs testados, independentemente de suas capacidades baseline.

5. Significado

O RefEvo representa uma mudança de paradigma na EDA auxiliada por LLMs. Ao migrar da geração estática de código para um sistema de agentes dinâmico e co-evolutivo, ele aborda os problemas fundamentais de confiabilidade da modelagem de hardware.

• Confiabilidade: Resolve o problema de validação "sycophantic" (servil), onde LLMs validam suas próprias alucinações, garantindo que os modelos de referência gerados sejam verdadeiramente "dourados".
• Escalabilidade: A estratégia de gerenciamento de contexto torna a modelagem de alta fidelidade viável para SoCs complexos sem incorrer em custos de tokens proibitivos.
• Impacto: O framework abre caminho para verificação de SoC totalmente automatizada e de alta fidelidade, permitindo fluxos de trabalho de co-design hardware-software mais eficientes na era do "shift-left".