Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL

Questo lavoro propone un framework di apprendimento che sfrutta la struttura preservata negli RTL generati da LLM, anche quando funzionalmente imperfetti, per superare la scarsità di dati etichettati e migliorare l'analisi delle reti logiche reali.

L'essenziale

Immagina di voler insegnare a un robot a riconoscere i pezzi di un motore d'auto. Il problema è che i costruttori di motori reali (i progettisti di chip elettronici) non vogliono condividere i loro disegni segreti perché sono protetti da copyright. Inoltre, etichettare manualmente ogni singolo ingranaggio di un motore è costosissimo e richiede anni.

Di solito, gli scienziati usano solo piccoli motori giocattolo per allenare il robot, ma questi non sono abbastanza complessi per capire i motori veri.

Ecco dove entra in gioco questo articolo, che potremmo chiamare "L'arte di imparare dai disegni sbagliati".

L'Intuizione Geniale: "Il disegno è sbagliato, ma la forma è giusta"

Gli autori hanno notato una cosa curiosa. Se chiedi a un'intelligenza artificiale molto potente (un LLM, come un Chatbot super intelligente) di disegnare un circuito elettronico basandosi su una descrizione, spesso il disegno non funziona. Se lo provi, il circuito non fa quello che dovrebbe.

Tuttavia, anche se il circuito non funziona elettricamente, la sua struttura visiva assomiglia moltissimo a quella di un circuito vero.

• Analogia: Immagina di chiedere a un bambino di disegnare un gatto. Il bambino potrebbe disegnare un gatto con tre zampe e la coda al posto delle orecchie (il disegno è "sbagliato" e non funziona come un gatto reale). Ma se guardi il disegno, vedi chiaramente che è stato disegnato come un gatto: ha la forma del corpo, la coda, le orecchie. Il bambino ha capito la struttura del gatto, anche se i dettagli sono confusi.

Gli autori si sono chiesti: "E se usassimo questi disegni 'sbagliati' per insegnare al robot a riconoscere la forma dei gatti, senza preoccuparci se il gatto sa fare le fusa?"

La Soluzione: Una Fabbrica di Disegni "Imperfetti"

Hanno creato un sistema automatico che fa tre cose principali:

1. Generazione di Massa: Chiedono all'IA di creare migliaia di circuiti basandosi su descrizioni semplici. L'IA ne crea molti, anche se alcuni hanno errori.
2. Il Filtro della "Somiglianza": Non prendono tutti i disegni. Usano un "controllore di qualità" che guarda il disegno e dice: "Questo assomiglia abbastanza a un vero circuito? Sì? Allora tienilo. No? Buttalo." Non controllano se funziona, controllano solo se sembra fatto bene.
3. La Varietà Architettonica: A volte, chiedono all'IA di disegnare lo stesso oggetto in modi diversi (es. un motore a 4 cilindri vs uno a 6). Questo aiuta il robot a imparare che un "motore" può avere forme diverse, non solo una.

Il Risultato: Un Robot che Impara dai "Falsi"

Hanno addestrato il loro robot (un modello di intelligenza artificiale chiamato GNN) usando questi migliaia di disegni imperfetti generati dall'IA.

Poi hanno fatto una prova: hanno dato al robot dei circuiti veri e reali (che non aveva mai visto prima) e gli hanno chiesto di trovare i pezzi importanti (come il "cervello" del computer all'interno di un chip).

Il risultato è stato sorprendente:
Il robot addestrato sui disegni "sbagliati" dell'IA ha funzionato meglio (o almeno altrettanto bene) di un robot addestrato su pochi disegni veri e perfetti.

Perché è importante?

Prima di questo lavoro, gli esperti pensavano che per insegnare alle macchine a capire l'elettronica servissero solo dati perfetti e costosi. Questo articolo dice: "No! Possiamo usare dati 'rumorosi' e imperfetti, purché abbiano la struttura giusta."

È come se invece di cercare di trovare 100 quadri famosi originali (che costano milioni), usassimo 10.000 copie fatte da studenti d'arte. Se gli studenti hanno capito bene la tecnica di pittura, il loro stile sarà riconoscibile, e il museo potrà imparare a riconoscere i quadri veri anche guardando solo le copie.

In sintesi: Hanno trovato un modo economico e veloce per creare un "libro di testo" infinito per l'intelligenza artificiale, usando disegni imperfetti che, paradossalmente, contengono la verità sulla forma dei circuiti elettronici.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL" in italiano.

1. Il Problema: Scarsità di Dati Etichettati

L'apprendimento delle rappresentazioni delle netlist (liste di collegamenti logici) è fondamentale per compiti a valle come il rilevamento della pirateria IP, la comprensione funzionale, il reverse engineering e l'audit di sicurezza hardware. Tuttavia, l'approccio basato sui dati è severamente limitato dalla scarsità di dataset etichettati di alta qualità.

• Vincoli IP: I progetti reali sono protetti da proprietà intellettuale (IP), rendendo difficile l'accesso a grandi quantità di dati.
• Costi di Annotazione: L'etichettatura manuale delle netlist è costosa e laboriosa.
• Limitazioni degli Approcci Esistenti: I metodi attuali (supervisionati o auto-supervisionati) sono spesso confinati a dataset su piccola scala (es. ISCAS-85, EPFL) con bassa diversità architetturale, impedendo la generalizzazione a progetti complessi del mondo reale.
• Il Paradosso degli LLM: I Large Language Models (LLM) possono generare codice RTL (Register-Transfer Level) su larga scala, ma i risultati sono spesso funzionalmente errati. Tradizionalmente, questo li ha resi inutilizzabili per l'analisi dei circuiti, poiché la verifica funzionale è costosa e complessa.

2. Metodologia Proposta

Gli autori propongono un framework end-to-end che trasforma il "codice sbagliato" in dati di addestramento utili, basandosi sull'osservazione chiave: anche se il RTL generato dagli LLM è funzionalmente imperfetto, le netlist sintetizzate preservano pattern strutturali fortemente indicativi della funzionalità intesa.

Il framework si articola in tre fasi principali (illustrate nella Figura 2 del paper):

A. Ampliamento dei Dati Circuiti (Circuit Data Augmentation)

Questa fase genera un dataset su larga scala partendo da specifiche funzionali o RTL esistenti, superando i limiti dell'aumento dei dati basato su regole.

1. Generazione RTL basata su LLM:
   • L'LLM riceve specifiche funzionali (estratte da RTL esistenti o fornite dall'utente) e genera nuove implementazioni RTL.
   • Viene adottato un approccio bottom-up per gestire la gerarchia dei moduli.
   • Un agente di debug e un ciclo di feedback con uno strumento di sintesi (Synopsys Design Compiler) garantiscono che il codice generato sia sintetizzabile, anche se funzionalmente imperfetto.
2. Filtraggio a Livello di Netlist (Netlist-level Filtering):
   • Per i progetti che mirano a replicare un'architettura di riferimento, viene applicato un filtro basato sulla somiglianza strutturale.
   • Le netlist generate e quelle "golden" (di riferimento) sono convertite in grafi. Viene calcolato un embedding del grafo e la similarità coseno tra i due.
   • Vengono scartate le netlist con una similarità strutturale inferiore a una soglia $\tau$, mantenendo solo quelle che preservano i pattern strutturali rilevanti, pur ignorando gli errori funzionali.
3. Voto Architetturale a Livello RTL (RTL-level Architecture Voting):
   • Per promuovere la diversità architetturale (es. scegliere tra addizionatori a ripple-carry o carry-lookahead), una parte del dataset viene selezionata tramite un meccanismo di voto dell'LLM.
   • L'LLM valuta un batch di design sintetizzabili in base alla diversità architetturale e alla complessità, selezionando i migliori candidati per l'addestramento.

B. Apprendimento delle Rappresentazioni della Netlist

I dati sintetizzati vengono trasformati in grafi per l'addestramento di una Graph Neural Network (GNN).

• Trasformazione in Grafo: Ogni netlist diventa un grafo non diretto $G=(V, E)$, dove i nodi sono porte logiche e gli archi sono i collegamenti.
• Estrazione delle Caratteristiche: Ogni nodo riceve un vettore di feature iniziale che include: connettività (PI/PO), funzione logica (codifica one-hot) e proprietà strutturali (grado in/out).
• Addestramento GNN: Viene utilizzato un modello GNN (basato su GraphSAINT per la scalabilità) che aggiorna le rappresentazioni dei nodi aggregando le informazioni dai vicini. Il modello impara embedding robusti che catturano sia la struttura che l'intento funzionale.

C. Compiti di Classificazione

Gli embedding appresi vengono utilizzati per due compiti principali:

1. Classificazione a Livello di Nodo: Identificazione dei confini delle sottocircuiti all'interno di una netlist piatta.
2. Classificazione a Livello di Grafo: Identificazione della funzione di un intero componente (es. classificare un modulo come moltiplicatore o addizionatore).

3. Contributi Chiave

1. Rivalutazione del RTL Imperfetto: Dimostrano che le caratteristiche strutturali delle netlist sono intrinsecamente robuste agli errori funzionali nel codice sorgente RTL, fornendo una base teorica per l'uso di supervisione "rumorosa".
2. Framework di Apprendimento Economico: Propongono il primo framework che sfrutta sistematicamente il RTL generato da LLM (funzionalmente imperfetto) per l'apprendimento delle rappresentazioni. Rispetto all'annotazione manuale o all'aumento basato su regole, riduce i costi di preparazione dei dati di ordini di grandezza e offre una diversità architetturale superiore.
3. Scalabilità a Scenari Reali: Estendono il campo di applicazione dai livelli di operatore (es. singole porte) al livello IP (moduli complessi), dimostrando che i modelli addestrati su dati sintetici rumorosi possono eguagliare o superare quelli addestrati su dati reali di alta qualità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di scala crescente, fino a SoC reali (PicoRV32 e NEORV32).

• Identificazione di Sottocircuiti (Operator-Level):
  • Il modello addestrato su dati aumentati con LLM (LLM-Aug-t2) ha raggiunto un F1-Macro del 93,79%, superando il baseline (addestrato su dati reali limitati) del 3,64%.
  • Ciò dimostra che i dati sintetici di alta qualità possono arricchire lo spazio delle caratteristiche meglio dei dati reali scarsi.
• Generalizzazione su Architetture Variate:
  • L'uso del meccanismo di "Voto Architetturale" ha portato a prestazioni superiori (F1-Micro 94,45%) rispetto all'uso di dati LLM grezzi, confermando che la diversità architetturale è cruciale per la generalizzazione.
• Caso di Studio a Livello IP (SoC):
  • In un test di classificazione dei confini della CPU su un SoC non visto (NEORV32), addestrato su dati generati da un altro SoC (PicoRV32):
    • L'approccio basato su regole (FGNN2) ha ottenuto un F1 del 58,28%.
    • L'approccio LLM grezzo ha ottenuto un F1 del 60,44%.
    • Il framework completo con filtraggio strutturale (LLM-Filtered) ha raggiunto un F1 del 68,35% (un miglioramento dell'8,31% rispetto al grezzo), con una precisione che è salita al 71,02%.
  • Questo risultato conferma che il filtraggio strutturale elimina efficacemente i componenti non pertinenti, permettendo al modello di delineare con precisione i confini funzionali.

5. Significato e Impatto

Questo lavoro risolve il collo di bottiglia dei dati nell'analisi delle netlist hardware. Dimostrando che la struttura è parzialmente disaccoppiata dalla funzione, gli autori aprono la strada all'uso massiccio di dati sintetici generati da LLM per l'addestramento di modelli di intelligenza artificiale nell'hardware.

• Impatto Pratico: Offre una soluzione scalabile ed economica per l'analisi di circuiti complessi e protetti da IP, dove i dati etichettati sono inaccessibili.
• Avanzamento Scientifico: Sposta il paradigma dall'uso di LLM solo per la generazione di codice corretto all'uso dei loro pattern strutturali per l'apprendimento di rappresentazioni, superando la necessità di verifica funzionale completa per ogni campione di addestramento.