🤖 AI

From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation

Questo lavoro espone un fenomeno critico di "Miraggio" in cui i modelli multimodali aggirano i diagrammi dei circuiti visivi per generare codice basandosi esclusivamente sugli identificatori testuali, e introduce VeriGround, un modello da 4 miliardi di parametri addestrato con anonimizzazione e allineamento delle preferenze per ottenere una generazione affidabile e genuinamente fondata da circuito a Verilog.

Autori originali: Guang Yang, Xing Hu, Xiang Chen, Xin Xia

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Guang Yang, Xing Hu, Xiang Chen, Xin Xia

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: L'Effetto "Miraggio"

Immagina di sostenere un esame in cui devi disegnare una mappa di una città basandoti su una fotografia di quella città. Tuttavia, le istruzioni dell'esame includono anche un elenco di nomi di strade (come "Main St" e "Oak Ave").

I ricercatori hanno scoperto che molti modelli di intelligenza artificiale stanno barando. Invece di guardare effettivamente la fotografia della città per capire dove vanno le strade, l'IA legge l'elenco dei nomi delle strade e semplicemente recita una mappa memorizzata che già conosce.

Il Fenomeno del "Miraggio":
Gli autori chiamano questo fenomeno Miraggio. È come vedere acqua nel deserto che in realtà non c'è.

Il Test: Hanno mostrato all'IA un vero diagramma di circuito (la fotografia) e le hanno chiesto di scrivere il codice (la mappa).
Il Trucco: Hanno poi sostituito la vera fotografia con un'immagine bianca vuota, mantenendo esattamente lo stesso elenco dei nomi delle strade (l'intestazione del modulo).
Il Risultato: Sorprendentemente, l'IA ha performato altrettanto bene, o talvolta addirittura meglio, con l'immagine vuota!

Questo dimostra che l'IA non stava effettivamente "vedendo" il circuito. Ignorava completamente l'immagine e indovinava il codice basandosi solo sui nomi delle parti. Se i nomi erano "Sum" e "Carry", l'IA sapeva di dover costruire un "Half-Adder" senza mai guardare i fili nel diagramma.

Perché Questo Importa: La Trappola del Silicio

Perché questo è importante? Il documento paragona questa situazione alla costruzione di una casa.

Codice Normale: Se un web designer commette un errore, il sito web sembra brutto. Puoi correggerlo facilmente.
Codice per Circuiti: Se un'IA commette un errore in un diagramma di circuito, quel codice viene inciso su un chip fisico (silicio). Una volta realizzato il chip, non puoi fare "Ctrl+Z" per correggere l'errore. È come colare il cemento per le fondamenta e accorgersi che la porta è sul lato sbagliato. Devi abbattere l'intero edificio.

Se l'IA sta allucinando (inventando cose) basandosi su indizi testuali piuttosto che sulla realtà visiva, potrebbe creare chip che sembrano perfetti sulla carta ma falliscono nel mondo reale.

La Soluzione: Il Test "Amnesia" e una Nuova IA

Per risolvere il problema, i ricercatori hanno costruito due cose: un nuovo test e un nuovo modello di intelligenza artificiale chiamato VeriGround.

1. Il Nuovo Test: "C2VEVAL" (Il Test dell'Amnesia)

Hanno creato un benchmark in cui hanno "anonimizzato" il test.

Modalità Normale: L'IA vede il diagramma e i nomi (ad esempio, "Clock", "Reset").
Modalità Anonimizzata: Hanno cambiato tutti i nomi in segnaposto generici come "Val_0", "Val_1" e "Val_2".
L'Obiettivo: Se l'IA comprende davvero l'immagine, dovrebbe funzionare ancora con i nomi generici. Se stava solo barando con i nomi, dovrebbe fallire.

Il Risultato: Quando hanno rimosso i nomi, le prestazioni della maggior parte dei grandi modelli di IA sono crollate. Questo ha confermato che il "Miraggio" era reale. Solo circa l'8–9% delle volte i modelli stavano effettivamente guardando l'immagine.

2. La Nuova IA: "VeriGround" (Lo Studente Onesto)

I ricercatori hanno addestrato una nuova IA più piccola (solo 4 miliardi di parametri, che è minuscola rispetto a giganti come GPT-5) per smettere di barare. Hanno utilizzato tre trucchi specifici di addestramento:

Trucco A: L'Addestramento "con la benda" (Anonimizzazione): Hanno costretto l'IA a imparare dai dati anonimizzati. Poiché non poteva affidarsi ai nomi, doveva imparare a leggere le linee e le forme reali nel diagramma.
Trucco B: L'Addestramento "Di' No" (Refusal Augmentation): Hanno insegnato all'IA a dire "Non posso farlo" quando l'immagine era vuota o non corrispondeva alle istruzioni. Questo impedisce all'IA di indovinare quando non è sicura.
Trucco C: Il Focus sulla "Prima Impressione" (D-ORPO): Questa è una modifica tecnica. Quando un'IA decide di rispondere o rifiutarsi, prende quella decisione nelle primissime parole della sua risposta. I ricercatori hanno fatto sì che l'IA prestasse un'attenzione extra a quelle prime parole per assicurarsi che facesse la scelta giusta (Generare vs Rifiutare) senza confondersi con la lunghezza della risposta.

I Risultati: Piccola ma Potente

La nuova IA, VeriGround, ha raggiunto risultati impressionanti:

Guarda davvero: Sotto il test "Anonimizzato" (dove barare è impossibile), VeriGround ha ottenuto punteggi molto più alti di tutti gli altri modelli, dimostrando che stava effettivamente leggendo i diagrammi.
Non indovina alla cieca: Ha imparato a rifiutare le immagini vuote il 92% delle volte, ma raramente ha rifiutato un'immagine valida (solo l'1,2% di falsi rifiuti).
Supera le sue dimensioni: Anche se VeriGround è un modello "piccolo" (4 miliardi di parametri), ha performato tanto bene quanto il massiccio e costoso modello "GPT-5.4" quando i nomi erano presenti, e li ha schiacciati quando i nomi sono stati rimossi.

Riepilogo

Il documento rivela che molti modelli di intelligenza artificiale stanno "fingendo" quando trasformano immagini di circuiti in codice; stanno semplicemente leggendo le etichette e ignorando l'immagine. Gli autori hanno costruito un nuovo test per esporre questo "Miraggio" e hanno addestrato una nuova IA onesta (VeriGround) che guarda effettivamente l'immagine, si rifiuta di indovinare quando è confusa e performa meglio dei giganti nel compito.

Riepilogo Tecnico: Dal Miraggio al Grounding

1. Definizione del Problema e il Fenomeno del "Miraggio"

Il documento affronta l'affidabilità dei Modelli Linguistici Multimodali su larga scala (MLLM) nella generazione di codice da circuiti a Verilog, un compito in cui i diagrammi circuitali visivi devono essere tradotti in codice sintetizzabile a livello Register-Transfer-Level (RTL). Gli autori identificano un difetto critico e covert denominato fenomeno del Miraggio.

Nei protocolli di valutazione standard, agli MLLM viene fornito un diagramma circuitale e un module_header (contenente il nome del modulo, le porte e i parametri). Gli autori dimostrano che molti MLLM all'avanguardia non "leggono" genuinamente la topologia visiva. Invece, sfruttano la semantica degli identificatori all'interno del module_header per recuperare template RTL canonici.

Evidenza: Quando il diagramma circuitale viene sostituito con un'immagine vuota (mantenendo il module_header), le prestazioni dei modelli (Pass@k) rimangono invariate o addirittura migliorano.
Implicazione: I punteggi elevati nei benchmark spesso mascherano una mancanza di grounding visivo. I modelli bypassano completamente l'input visivo, affidandosi a scorciatoie testuali. Ciò crea un rischio di sicurezza nella progettazione hardware, dove un singolo schema errato può propagarsi silenziosamente attraverso la catena di strumenti causando difetti a livello di silicio.

2. Metodologia

A. Costruzione del Benchmark: C2VEVAL

Per quantificare il fenomeno del Miraggio, gli autori hanno costruito C2VEVAL, un benchmark che garantisce una corrispondenza esatta tra immagine e codice.

Fonte Dati: 169 campioni derivati da benchmark Verilog consolidati (VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench), resi come diagrammi circuitali utilizzando NETLISTSVG.
Protocollo Accoppiato: Il benchmark valuta i modelli sotto due varianti:
1. Normale: Identificatori originali sia nel diagramma che nell'intestazione.
2. Anony (Anonimizzato): Tutti gli identificatori carichi di significato (nomi di modulo, nomi di porte, parametri) sono sostituiti da segnaposto posizionali (es. val_0, val_1). Il diagramma viene ridisegnato per corrispondere a questi segnaposto, rimuovendo gli indizi semantici ma preservando la topologia.
Modalità di Valutazione:
- Originale: Fornito il diagramma circuitale reale.
- Miraggio: Il diagramma sostituito da un'immagine vuota; l'intestazione mantenuta.

B. Soluzione Proposta: VeriGround

Gli autori propongono VeriGround, un MLLM da 4B di parametri addestrato per imporre un genuino grounding visivo e bilanciare il compromesso tra allucinazione e rifiuto eccessivo. La pipeline di addestramento consta di tre fasi:

Raccolta Dati e Anonimizzazione:
- Un corpus su larga scala (~54k campioni) viene estratto da GitHub, verificato per la sintesi e filtrato per difficoltà.
- Il corpus viene suddiviso in varianti Normali e Anony, costringendo il modello ad apprendere dalla topologia visiva piuttosto che dalla memorizzazione degli identificatori.
Fine-Tuning Supervisito Misto (SFT):
- Il modello viene fine-tuned sul corpus misto Normale + Anony. Ciò costringe il modello a basare le previsioni sulla struttura visiva del circuito piuttosto che affidarsi a scorciatoie semantiche nell'intestazione.
Allineamento D-ORPO Focalizzato sulla Decisione:
- Per affrontare la tendenza dei modelli ad allucinare codice senza input visivo o a rifiutare eccessivamente input validi, gli autori introducono D-ORPO.
- Coppie di Preferenza: Vengono costruite tre categorie:
  - MATCH: Diagramma valido + Rifiuto (rifiutato) vs Codice Corretto (scelto).
  - BLANK: Immagine vuota + Codice (rifiutato) vs Rifiuto (scelto).
  - MISMATCH: Diagramma non correlato + Codice (rifiutato) vs Rifiuto (scelto).
- Meccanismo: L'ORPO standard tratta tutti i token in modo uguale, il che spinge il modello verso risposte di rifiuto più brevi a causa dell'asimmetria di lunghezza. D-ORPO aumenta il peso dei primi $K$ token di risposta (il confine decisionale) con un peso $\alpha > 1$ . Ciò concentra il segnale di preferenza sulla decisione genera-o-rifiuta, mitigando il rifiuto eccessivo mantenendo alti tassi di rifiuto per input non validi.

3. Contributi Chiave

Identificazione del Fenomeno: Il documento documenta che il fenomeno del Miraggio è universale tra otto MLLM valutati (inclusi GPT-5.4, Opus-4.6 e modelli open-source). In modalità Normale, la rimozione del diagramma spesso migliora i punteggi; il genuino grounding visivo rappresenta solo circa l'8–9% dei campioni.
Benchmark e Valutazione: C2VEVAL introduce un protocollo accoppiato Normale/Anony × Originale/Miraggio che isola la semantica degli identificatori come principale motore delle prestazioni, fungendo da strumento diagnostico per le pipeline da visione a codice.
Metodologia: VeriGround (4B) integra anonimizzazione degli identificatori, aumento del rifiuto e allineamento D-ORPO.
Prestazioni: VeriGround raggiunge un Functional Pass@1 del 46,11% (Normale) e del 42,51% (Anony).
- Si avvicina alle prestazioni di GPT-5.4 (45,51%) in condizioni Normali.
- Supera significativamente tutti i baseline in condizioni Anony (es. +31,13% rispetto a Opus-4.6), confermando un genuino grounding visivo.
- Mantiene un Tasso di Rifiuto Falso (FRR) di soli 1,20% (Normale) e 0,00% (Anony) mantenendo il Tasso di Rifiuto sulle immagini vuote superiore al 92%.

4. Risultati e Significato

Grounding Visivo vs Scorciatoie: Lo studio empirico rivela che, sotto il protocollo Anony, il "vantaggio del Miraggio" (dove le immagini vuote producono risultati migliori) si inverte per 7 modelli su 8. Ciò conferma che i punteggi elevati standard sono guidati in larga misura da scorciatoie basate sull'intestazione, non dalla comprensione visiva.
Efficienza: VeriGround, con soli 4B di parametri, rivaleggia con modelli proprietari su scala frontier (es. GPT-5.4, ~200B+ stimati) in modalità Normale e li supera decisamente in modalità Anony.
Bilanciamento: La componente D-ORPO risolve con successo la tensione tra allucinazione e rifiuto eccessivo. L'ORPO standard ha raggiunto un rifiuto quasi perfetto sulle immagini vuote ma ha sofferto di alti tassi di rifiuto falso (~9%) su input validi. D-ORPO ha ridotto l'FRR a quasi zero mantenendo un'alta accuratezza nel rifiuto per input non validi.
Generalizzabilità: Gli autori affermano che la metodologia (anonimizzazione + aumento del rifiuto + allineamento focalizzato sulla decisione) è trasferibile ad altre attività da visione a codice (es. UI-to-HTML, Chart-to-Python) dove i prompt testuali potrebbero rivelare scorciatoie semantiche.

5. Affermazioni e Limitazioni

Il documento afferma con modestia che VeriGround offre una soluzione trasferibile per calibrare allucinazione e rifiuto eccessivo nella generazione di codice AI. Non afferma di risolvere tutte le sfide della progettazione hardware, ma fornisce piuttosto un framework di valutazione rigoroso e una ricetta di addestramento per garantire che i modelli si basino su evidenze visive.

Minacce alla Validità: Gli autori riconoscono che C2VEVAL è limitato a 169 campioni e a specifiche categorie di circuiti. I risultati potrebbero non generalizzarsi pienamente a VHDL, SystemVerilog o circuiti su scala industriale. Inoltre, la correttezza funzionale si basa sulla simulazione del testbench, che potrebbe non coprire tutti i casi limite.
Lavori Futuri: Gli autori pianificano di scalare VeriGround ad architetture più grandi e più piccole e di espandere il benchmark con circuiti su scala industriale per validare ulteriormente la generalizzabilità del loro approccio.