Resumo Técnico: EstRTL – Geração de Código RTL Guiada por Estimativa Funcional

Definição do Problema

O design manual de Nível de Transferência de Registradores (RTL) é um processo demorado e propenso a erros, particularmente para sistemas complexos como processadores modernos. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na geração de código sintaticamente correto a partir de prompts em linguagem natural, os métodos existentes para geração de RTL enfrentam limitações significativas em relação à corretude funcional. As abordagens atuais focam principalmente no ajuste fino (fine-tuning) do modelo, aumento de dados (ex: RAG) ou verificação de sintaxe. No entanto, elas frequentemente carecem de mecanismos para garantir que o código gerado se comporte conforme pretendido em implementações reais de hardware.

Um gargalo crítico é a dependência de testbenches para verificação. A criação manual de testbenches é trabalhosa, enquanto testbenches gerados automaticamente muitas vezes carecem de abrangência. Consequentemente, muitos métodos existentes focam apenas na corretude sintática, e não na funcionalidade. Além disso, a geração de código e a correção de código são frequentemente estudadas separadamente, e os métodos de correção existentes normalmente dependem de avaliações binárias de passar/falhar, não oferecendo feedback intermediário para otimização iterativa.

Metodologia: O Framework EstRTL

Para enfrentar esses desafios, os autores propõem o EstRTL, um framework de agentes colaborativos baseado em LLM fundamentado em estimativa de pontuação funcional estática. O EstRTL opera em um paradigma de três estágios: Geração, Estimativa e Correção.

1. Geração (Agente de Geração de Código)

O processo começa com um Agente de Geração de Código que produz o código RTL com base em especificações de linguagem natural.

• Verificação de Sintaxe: O código gerado passa por uma verificação de sintaxe usando o Icarus Verilog. Se erros forem encontrados, o agente recebe mensagens de erro e regenera o código. Este loop é limitado a três iterações para evitar loops infinitos.
• Lembretes de Erro: O sistema incorpora "lembretes de erro" que resumem erros comuns corrigidos (ex: preferir blocos assign em vez de blocos always para lógica combinacional simples) para guiar o agente durante a regeneração.

2. Estimativa (Agente de Estimativa Funcional)

Uma vez que o código passa nas verificações de sintaxe, ele é enviado ao Agente de Estimativa Funcional, que atua como o núcleo de tomada de decisão. Este agente realiza a estimativa de pontuação funcional estática sem executar testbenches.

• Geração Reversa de Requisitos: O agente utiliza um LLM para realizar a engenharia reversa do código RTL gerado de volta para requisitos em linguagem natural.
• Mecanismo de Pontuação: O agente calcula uma pontuação de VFCS (Corretude Funcional) baseada em três componentes:
  1. Similaridade Semântica: Calculada usando modelos pré-treinados (ex: all-MiniLM-L6-v2, roberta-large) para medir a similaridade entre as especificações originais e os requisitos revertidos, tanto em nível de token quanto de sentença.
  2. Pontuação de Completude: Uma métrica baseada em penalidade ($C$) que avalia palavras-chave ausentes ou extras (substantivos/verbos) entre os requisitos originais e os revertidos.
  3. Pontuação de Compreensão do LLM ($L_{LLM}$): Uma avaliação baseada em LLM da corretude funcional do código, considerando as pontuações acima.
• Lógica de Decisão:
  • Pontuação Inaceitavelmente Baixa: O código é devolvido ao Agente de Geração para regeneração completa.
  • Falha, mas Melhorável: O código é encaminhado para o Agente de Correção.
  • Pontuação Alta: O código é aceito como funcionalmente correto.

3. Correção (Agente de Correção de Código)

Para códigos considerados "falhos, mas melhoráveis", é empregado um Agente de Correção de Código baseado em raciocínio de Cadeia de Pensamento (CoT - Chain of Thought).

• Estágio de Raciocínio: O LLM analisa o código contra as especificações para identificar sinais de saída específicos com erros, as condições de entrada que disparam esses erros e as causas lógicas subjacentes.
• Estágio de Correção: Com base no raciocínio, o agente modifica o código RTL, incorporando salvaguardas para evitar a recorrência de problemas conhecidos e garantir um estilo de codificação consistente.
• Loop Iterativo: O código corrigido é reavaliado pelo Agente de Estimativa Funcional. Este loop continua até que o código passe na verificação funcional.

Principais Contribuições

1. Framework de Agentes de LLM: Desenvolveu um framework colaborativo que aumenta a taxa de sucesso de LLMs genéricos no dataset VerilogEval em 3,2% a 9,0%.
2. Estimativa Funcional Livre de Testbench: Introduziu um método para estimar a funcionalidade do RTL sem testbenches, utilizando a geração reversa de requisitos e similaridade semântica, alcançando uma precisão média de 84,2% ao distinguir código correto de incorreto.
3. Loop de Feedback Integrado: Criou uma integração contínua de geração, estimativa e correção, onde o agente de estimativa fornece pontuações quantitativas e orientação detalhada, corrigindo com sucesso mais de 12% do código RTL errôneo.
4. Framework de Código Aberto: O framework EstRTL é de código aberto e projetado para ser agnóstico ao modelo, aplicável a vários LLMs (tanto genéricos quanto de domínio específico) para aumentar a corretude do código.

Resultados Experimentais

O framework foi avaliado nos datasets VerilogEval-v1-Human e VerilogEval-v2 usando quatro LLMs de última geração (Qwen-Plus, Qwen3-32B, DeepSeek-Chat, GPT-4o) e comparado com baselines incluindo RTLFixer, VeriAssistant e modelos especializados como OriGen e CodeV.

• Precisão de Geração: O EstRTL melhorou a precisão Pass@1 de LLMs genéricos em 3,2% a 9,0%. Por exemplo, o DeepSeek-Chat melhorou de 73,1% para 76,3% no VerilogEval-v1-Human.
• Desempenho de Estimativa: O Agente de Estimativa Funcional demonstrou alta precisão (até 88,9% para o DeepSeek-Chat) e acurácia (até 78,2% para o Qwen3-32B) na classificação de corretude funcional.
• Capacidade de Correção: O Agente de Correção de Código alcançou uma taxa de correção líquida de 12% a 17%, corrigindo com sucesso uma parte significativa dos erros enquanto introduzia mínimas novas regressões.
• Extensibilidade: O framework integrou-se com sucesso a modelos especializados de RTL (OriGen, RTLCoder, CodeV-QC), gerando melhorias de desempenho consistentes (ex: CodeV-QC melhorou em 11,5% no VerilogEval-v2) sem exigir retreinamento ou ajuste de parâmetros.
• Robustez: O sistema mostrou-se robusto ao limiar de decisão usado para classificação, mantendo um desempenho estável através de uma gama de valores de limiar (0,38 a 0,54), sugerindo que um limiar fixo pode ser usado em diferentes modelos.

Significância e Alegações

O artigo afirma que o EstRTL aborda a lacuna crítica entre a corretude sintática e a corretude funcional no design de hardware assistido por IA. Ao substituir a criação de testbenches trabalhosa pela estimativa de pontuação funcional estática, o framework preenche a lacuna entre a geração e a correção de código.

Os autores enfatizam que sua abordagem fornece pontuações quantitativas e comparações de requisitos legíveis por humanos, melhorando assim a transparência da geração de RTL assistida por IA. Eles afirmam que o framework não é meramente um modelo concorrente, mas um melhoramento plug-and-play que pode ser aplicado a vários LLMs existentes para aumentar significativamente sua confiabilidade em tarefas de design de hardware. O trabalho é apresentado como um passo fundamental para fluxos de trabalho de design de hardware mais robustos e automatizados, mudando o foco da mera geração de código para descrições de hardware funcionais e verificadas.