Resumo Técnico: Como os LLMs Falham e Generalizam na Codificação RTL para Design de Hardware

Declaração do Problema

Traduzir os priors de programação sequencial dos Grandes Modelos de Linguagem (LLMs) para a lógica temporal paralela exigida pelo design de hardware em Nível de Transferência de Registrador (RTL) continua sendo um gargalo crítico. Diferente das linguagens sequenciais (ex: Python, C), o RTL descreve fluxos de sinais concorrentes onde condições de corrida (race conditions) e dependências temporais são primordiais. Além disso, o código RTL é subrepresentado nos dados de pré-treinamento públicos em comparação com o código de propósito geral.

Os autores investigam duas questões primárias:

1. Podem os LLMs alavancar o conhecimento de pré-treinamento para resolver tarefas de codificação RTL?
2. O ajuste fino por Aprendizado por Reforço (RL) pode ajudar os modelos a generalizar competências de codificação de domínios gerais para o domínio de hardware?

Benchmarks existentes e modelos especializados frequentemente relatam altas taxas de aprovação, mas carecem de uma análise granular de por que os modelos falham, obscurecendo se as falhas derivam de sintaxe, mal-entendidos semânticos ou lacunas fundamentais de conhecimento.

Metodologia

1. Taxonomia de Erros de Quatro Níveis

O artigo introduz uma nova taxonomia de erros fundamentada no pipeline de compilação e verificação de Linguagem de Descrição de Hardware (HDL). Este framework categoriza as falhas em quatro níveis mutuamente exclusivos:

• L1 (Sintática): O código é rejeitado pelo parser (ex: palavras-chave ausentes, expressões malformadas).
• L2 (Semântica): O código faz o parse, mas viola restrições semânticas estáticas (ex: alvos de wire em blocos procedurais, confusão entre atribuições bloqueantes/não-bloqueantes, listas de sensibilidade incompletas, inferência indesejada de latch).
• L3 (Funcional): O código é sintaticamente e semanticamente válido, mas falha no teste de simulação (testbench). Isso é subdividido por solubilidade do problema:
  • L3S (Solúvel): O modelo falha na execução específica, mas passa no testbench em pelo menos outra execução para o mesmo problema. Isso indica uma falha estocástica endereçável por escalonamento em tempo de inferência (ex: amostragem Best-of-N).
  • L3U (Irresolúvel): O modelo falha no testbench em todas as execuções amostradas para um problema. Isso indica uma lacuna de conhecimento persistente que requer melhoria do modelo (ex: melhor pré-treinamento ou arquitetura).

2. Framework de Avaliação

Os autores avaliaram um conjunto diversificado de modelos no benchmark VerilogEval-Human (156 problemas):

• Modelos de Fronteira Proprietários: 9 modelos (ex: variantes do GPT-5, Claude Opus, Gemini).
• Modelos de Código Aberto: 5 modelos (ex: Qwen2.5-Coder, DS-R1).
• Modelos Especializados em RTL: 3 modelos ajustados especificamente para RTL (ex: CodeV-R1, ScaleRTL).
• Experimentos de Ajuste Fino de RL: Dois experimentos usando a família de modelos K2-Think (pré-treinados em dados não-RTL) com GRPO (Otimização de Política Relativa de Grupo).
  • E1: GRPO aplicado diretamente após o Ajuste Fino Supervisionado (SFT).
  • E2: GRPO aplicado após o RL de domínio geral, seguido de GRPO específico para RTL.

Todas as avaliações foram conduzidas em um cenário de turno único, sem uso iterativo de ferramentas ou feedback de compilação, para isolar o conhecimento internalizado dos modelos.

Resultados Principais

1. O Teto Empírico e Lacunas de Conhecimento

Os modelos de fronteira estagnam em uma taxa de 90.8% de Pass@1 (Claude Opus 4.6). Este teto é definido pelos erros L3U (Irresolúveis), que persistem através de todos os paradigmas de treinamento.

• Piso L3U: Mesmo os melhores modelos exibem uma taxa de 4.2% de L3U.
• Lacunas de Conhecimento: Esses erros representam "lacunas de conhecimento reais" imunes ao escalonamento de computação em tempo de teste. A união de todos os 17 modelos avaliados resolve 96.2% dos problemas, sugerindo que a maioria dos erros L3U é específica do modelo e não intrinsecamente irresolúvel.

2. O Fenômeno "Compilar vs. Entender"

O Ajuste Fino Supervisionado (SFT) e o RL reduzem primariamente os erros L1 e L2, mas frequentemente aumentam as falhas L3.

• Efeito SFT: O SFT atua como um "resgate sintático", convertendo falhas de compilação em Pass ou falhas funcionais L3. Por exemplo, o SFT em um modelo de 7B reduziu os erros L1 em 58.7 pontos percentuais, mas aumentou os erros totais de L3 em 4.4 pontos.
• Efeito RL: O ajuste fino por RL também reduz erros L1/L2 enquanto aumenta L3S e L3U. O código recém-compilável falha na etapa funcional, revelando que o modelo aprendeu a produzir sintaxe válida sem adquirir uma compreensão holística de hardware.
• Conclusão: Técnicas de alinhamento (SFT/RL) ensinam os modelos a compilar, não necessariamente a projetar.

3. Oportunidades de Escalonamento em Tempo de Inferência

Modelos especializados em RTL exibem as maiores taxas de L3S (11–12%), significativamente superiores aos modelos de fronteira (1.2–8.8%).

• Isso indica que os modelos especializados possuem o conhecimento necessário, mas o aplicam de forma inconsistente.
• Consequentemente, modelos especializados em RTL beneficiam-se mais do escalonamento em tempo de inferência (amostragem Best-of-N) do que modelos de fronteira gerais, pois seus erros são majoritariamente recuperáveis.

4. Generalização e Estabilidade de RL

• Transferência de Domínio Cruzado: O ajuste fino de RL em modelos pré-treinados não-RTL (K2-Think) transfere com sucesso competências de codificação para RTL, reduzindo erros de compilação.
• Estabilização: Modelos com pré-treinamento de RL de domínio geral prévio (E2) mostraram estabilidade quase perfeita, retendo problemas anteriormente resolvidos enquanto ganhavam novas capacidades. Em contraste, modelos sem esse pré-treinamento (E1) exibiram regressões significativas (ex: 13 problemas mudando de Pass para L3U), sugerindo que o RL de domínio geral atua como um estabilizador de capacidade.

Significância e Alegações

O artigo argumenta que as limitações atuais dos LLMs no design de hardware não são meramente uma questão de volume de dados ou ajuste de alinhamento, mas uma restrição fundamental do conhecimento de pré-treinamento.

1. Limites do Alinhamento: SFT e RL não criam novo entendimento de hardware; eles apenas expõem lacunas de conhecimento existentes ao permitir que os modelos passem nas verificações sintáticas e semânticas necessárias para alcançar a etapa de verificação funcional.
2. Taxonomia Acionável: A divisão L3S/L3U fornece uma ferramenta de diagnóstico crítica. Erros L3S podem ser mitigados via escalonamento em tempo de inferência, enquanto erros L3U exigem melhorias no nível do modelo (ex: pré-treinamento específico de RTL com padrões de raciocínio temporal).
3. Diversidade de Modelos: A alta complementaridade entre famílias de modelos (onde a união dos modelos resolve 96.2% dos problemas) sugere que métodos de ensemble ou estratégias de roteamento poderiam quase eliminar falhas funcionais sem a necessidade de avanços arquiteturais.
4. Direções Futuras: Os autores concluem que avançar o campo exige uma mudança das intervenções de alinhamento para estudos de raciocínio de modelos, focando especificamente em estratégias de pré-treinamento que incorporem o raciocínio temporal de hardware e no aproveitamento da diversidade de modelos para abordar lacunas de conhecimento complementares.

Os autores mantêm uma postura modesta, reconhecendo que seus achados são limitados pelo número de execuções (K=10) e pelo cenário de avaliação de turno único, o que pode não refletir fluxos de trabalho agênticos e iterativos capazes de resolver muitos erros L1/L2 automaticamente.