Resumo Técnico: De Miragem para Fundamentação

1. Definição do Problema e o Fenômeno "Miragem"

O artigo aborda a confiabilidade dos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) na geração de código Verilog a partir de circuitos, uma tarefa em que diagramas visuais de circuitos devem ser traduzidos em código de Nível de Transferência de Registradores (RTL) sintetizável. Os autores identificam um defeito crítico e oculto denominado fenômeno Miragem.

Em protocolos de avaliação padrão, os MLLMs recebem um diagrama de circuito e um module_header (contendo o nome do módulo, portas e parâmetros). Os autores demonstram que muitos MLLMs de última geração não "leem" genuinamente a topologia visual. Em vez disso, eles exploram semântica de identificadores dentro do module_header para recuperar modelos de RTL canônicos.

• Evidência: Quando o diagrama de circuito é substituído por uma imagem em branco (mantendo o module_header), o desempenho dos modelos (Pass@k) permanece inalterado ou até melhora.
• Implicação: Pontuações elevadas em benchmarks frequentemente mascaram a falta de fundamentação visual. Os modelos contornam totalmente a entrada visual, confiando em atalhos textuais. Isso cria um risco de segurança no design de hardware, onde um único esquema mal interpretado pode propagar-se silenciosamente através da cadeia de ferramentas, causando defeitos no nível de silício.

2. Metodologia

A. Construção do Benchmark: C2VEVAL

Para quantificar o fenômeno Miragem, os autores construíram o C2VEVAL, um benchmark que garante correspondência exata entre imagem e código.

• Fonte de Dados: 169 amostras derivadas de benchmarks Verilog estabelecidos (VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench), renderizadas em diagramas de circuito usando NETLISTSVG.
• Protocolo Emparelhado: O benchmark avalia os modelos sob duas variantes:
  1. Normal: Identificadores originais tanto no diagrama quanto no cabeçalho.
  2. Anony (Anonimizado): Todos os identificadores semanticamente carregados (nomes de módulos, nomes de portas, parâmetros) são substituídos por espaços reservados posicionais (ex: val_0, val_1). O diagrama é re-renderizado para corresponder a esses espaços reservados, removendo pistas semânticas enquanto preserva a topologia.
• Modos de Avaliação:
  • Original: Diagrama de circuito real fornecido.
  • Miragem: Diagrama substituído por uma imagem em branco; cabeçalho mantido.

B. Solução Proposta: VeriGround

Os autores propõem o VeriGround, um MLLLM de 4B de parâmetros treinado para impor uma fundamentação visual genuína e equilibrar o compromisso entre alucinação e recusa excessiva. O pipeline de treinamento consiste em três etapas:

1. Coleta de Dados e Anonimização:

   • Um corpus em grande escala (~54k amostras) é minerado do GitHub, verificado quanto à síntese e filtrado por dificuldade.
   • O corpus é dividido em variantes Normal e Anony, forçando o modelo a aprender a partir da topologia visual em vez da memorização de identificadores.

2. Ajuste Fino Supervisionado Misto (SFT):

   • O modelo é ajustado finamente no corpus misto Normal + Anony. Isso obriga o modelo a fundamentar as previsões na estrutura visual do circuito, em vez de confiar em atalhos semânticos no cabeçalho.

3. Alinhamento ORPO Focado em Decisão (D-ORPO):

   • Para abordar a tendência dos modelos de alucinar código sem entrada visual ou recusar excessivamente entradas válidas, os autores introduzem o D-ORPO.
   • Pares de Preferência: Três categorias são construídas:
     • MATCH: Diagrama válido + Recusa (rejeitada) vs. Código Correto (escolhido).
     • BLANK: Imagem em branco + Código (rejeitado) vs. Recusa (escolhida).
     • MISMATCH: Diagrama não relacionado + Código (rejeitado) vs. Recusa (escolhida).
   • Mecanismo: O ORPO padrão trata todos os tokens igualmente, o que viés o modelo para respostas de recusa mais curtas devido à assimetria de comprimento. O D-ORPO aumenta o peso dos primeiros $K$ tokens de resposta (o limite de decisão) com um peso $\alpha > 1$. Isso concentra o sinal de preferência na decisão gerar-ou-recusar, mitigando a recusa excessiva enquanto mantém altas taxas de recusa para entradas inválidas.

3. Principais Contribuições

1. Identificação do Fenômeno: O artigo documenta que o fenômeno Miragem é universal em oito MLLMs avaliados (incluindo GPT-5.4, Opus-4.6 e modelos de código aberto). No modo Normal, remover o diagrama frequentemente melhora as pontuações; a fundamentação visual genuína representa apenas ~8–9% das amostras.
2. Benchmark e Avaliação: O C2VEVAL introduz um protocolo emparelhado Normal/Anony × Original/Miragem que isola a semântica dos identificadores como o principal motor do desempenho, servindo como diagnóstico para pipelines de visão-para-código.
3. Metodologia: O VeriGround (4B) integra anonimização de identificadores, aumento de recusa e alinhamento D-ORPO.
4. Desempenho: O VeriGround alcança um Functional Pass@1 de 46,11% (Normal) e 42,51% (Anony).
   • Ele se aproxima do desempenho do GPT-5.4 (45,51%) sob condições Normais.
   • Ele supera significativamente todas as linhas de base sob condições Anony (ex: +31,13% sobre o Opus-4.6), confirmando a fundamentação visual genuína.
   • Ele mantém uma Taxa de Recusa Falsa (FRR) de apenas 1,20% (Normal) e 0,00% (Anony), enquanto mantém a Taxa de Recusa em imagens em branco acima de 92%.

4. Resultados e Significância

• Fundamentação Visual vs. Atalhos: O estudo empírico revela que, sob o protocolo Anony, a "vantagem Miragem" (onde imagens em branco produzem melhores resultados) se inverte para 7 dos 8 modelos. Isso confirma que as altas pontuações padrão são impulsionadas principalmente por atalhos baseados em cabeçalhos, e não por compreensão visual.
• Eficiência: O VeriGround, com apenas 4B de parâmetros, rivaliza com modelos proprietários de escala de fronteira (ex: GPT-5.4, ~200B+ estimados) no modo Normal e supera-os decisivamente no modo Anony.
• Equilíbrio: O componente D-ORPO resolve com sucesso a tensão entre alucinação e recusa excessiva. O ORPO padrão alcançou recusa quase perfeita em imagens em branco, mas sofreu com altas taxas de recusa falsa (~9%) em entradas válidas. O D-ORPO reduziu a FRR para quase zero, mantendo alta precisão de recusa em entradas inválidas.
• Generalizabilidade: Os autores afirmam que a metodologia (anonimização + aumento de recusa + alinhamento focado em decisão) é transferível para outras tarefas de visão-para-código (ex: UI-para-HTML, Gráfico-para-Python) onde prompts textuais podem vazar atalhos semânticos.

5. Alegações e Limitações

O artigo afirma modestamente que o VeriGround oferece uma solução transferível para calibrar alucinação e recusa excessiva na geração de código por IA. Não alega resolver todos os desafios de design de hardware, mas fornece um quadro de avaliação rigoroso e uma receita de treinamento para garantir que os modelos dependam de evidências visuais.

• Ameaças à Validade: Os autores reconhecem que o C2VEVAL é limitado a 169 amostras e categorias específicas de circuitos. As descobertas podem não generalizar totalmente para VHDL, SystemVerilog ou circuitos em escala industrial. Além disso, a correção funcional depende da simulação de bancada de teste, o que pode não cobrir todos os casos extremos.
• Trabalho Futuro: Os autores planejam escalar o VeriGround para arquiteturas maiores e menores e expandir o benchmark com circuitos em escala industrial para validar ainda mais a generalizabilidade de sua abordagem.