Technische Samenvatting: UniRTL

Probleemstelling

Het ontwikkelen van effectieve representaties voor Register Transfer Level (RTL) ontwerpen is cruciaal voor het versnellen van de hardware-ontwerpprocessen, met name voor taken zoals prestatievoorspelling en code-retrieval. Bestaande benaderingen vertrouwen doorgaans op één enkele datamodaliteit: ofwel de RTL-broncode, ofwel een graafgebaseerde representatie (zoals een Control Data Flow Graph, CDFG). Deze unimodale afhankelijkheid beperkt de expressiviteit en het generalisatievermogen van geleerde representaties. Terwijl code expliciet semantische en functionele informatie codeert, leggen graafmodaliteiten cruciale structurele relaties vast die in code vaak ondoorzichtig zijn. Bovendien lijden eerdere multimodale pogingen in het softwaredomein (bijv. GraphCodeBERT) of het hardwaredomein (bijv. CircuitFusion) aan zwakke aligneringsstrategieën, incomplete graafrepresentaties (het weglaten van operatoren en control flow) of grove fusiemechanismen die er niet in slagen om het complementaire karakter van code- en graafdata volledig te benutten.

Methodologie

De auteurs stellen UniRTL voor, een multimodale pretraining-framework ontworpen om verenigde RTL-representaties te leren door gezamenlijk gebruik te maken van RTL-code en CDFG's. De methodologie is gebouwd op drie kerncomponenten:

1. Dataset Constructie

Het framework maakt gebruik van een dataset van 132.008 RTL-ontwerpen verzameld uit bronnen zoals RTLCoder, MG-Verilog, DeepRTL en DeepCircuitX. Deze ontwerpen zijn gekoppeld aan functionele samenvattingen. Om CDFG's te genereren, worden ontwerpen gecompileerd naar RTL Intermediate Language (RTLIL met behulp van Yosys, geparst naar Abstract Syntax Trees (AST's) via Stagira, en getraverseerd om CDFG's te extraheren. Hoewel 38.888 ontwerpen succesvol zijn omgezet naar CDFG's, worden de resterende ruisgevoelige samples (die conversie faalden) behouden voor tekst-code alignment om het datagebruik te maximaliseren.

2. Modelarchitectuur

UniRTL gebruikt een verenigde Transformer-architectuur (gebaseerd op CodeBERT-base-mlm) om verschillende modaliteiten te integreren, waardoor de complexiteit van modaliteitsspecifieke encoders wordt vermeden.

• Graafbewuste Tokenizer: In tegen tegenstelling tot eerder werk dat variabelen als platte nodes behandelt, introduceert UniRli een gespecialiseerde tokenizer die een Graph Isomorphism Network (GIN) en een lichtgewicht Transformer combineert. Deze tokenizer codeert nodetypes, breedtes en tekstuele beschrijvingen, waardoor zowel lokale structurele afhankelijkheden als globale contextuele informatie binnen de CDFG worden vastgelegd.
• Hiërarchische Trainingsstrategie:
  • Pretraining: De graafbewuste tokenizer wordt eerst gepre-trained met behulp van structure-aware gemaskeerde node-modellering en edge-voorspelling.
  • Tekst-Code Alignment: Voordat de graafdata wordt geïntegreerd, ondergaat het model een warm-up fase waarin functionele samenvattingen (tekst) en RTL-broncode worden uitgelijnd via mutual masked modeling. Dit maximaliseert het datagebruik gezien de overvloed aan tekst-code paren.
  • Graaf-integratie: Ten slotte wordt de graafinformatie geïntegreerd. Het model maakt gebruik van mutual masked modeling om fijnmazige cross-modale alignment te bereiken. In deze fase worden gemaskeerde tokens in de tekst en code hersteld met behulp van de context van de andere modaliteiten, en gemaskeerde graafnodes worden hersteld met behulp van de context van de tekst en code. Globale positionele encodings afgeleid van de graaf-Laplacian worden toegevoegd om de topologische structuur te behouden.

Belangrijkste Bijdragen

• Verenigd Multimodaal Framework: UniRTL is het eerste framework dat gezamenlijk RTL-code en volledige CDFG's inzet voor representatieleer, waarmee de beperkingen van unimodale benaderingen worden aangepakt.
• Fijnmazige Alignment: Door middel van mutual masked modeling bereikt UniRTL fijnmazige alignment tussen code en graaf, wat superieur is aan de grove contrastieve leerprocessen gebruikt in eerdere werken zoals CircuitFusion.
• Volledige Graafrepresentatie: Het framework maakt gebruik van CDFG's die volledige ontwerpinformatie behouden (inclusief operatoren en control flow) en die getrouw kunnen worden teruggeconverteerd naar code, in tegen tegenstelling tot vereenvoudigde datastromen of register-niveau sub-circuits gebruikt in eerdere studies.
• Hiërarchische Training: De strategie om een graafbewuste tokenizer te pre-trainen en een tekst-code alignment uit te voeren vóór de graafintegratie optimaliseert de databron en de modelprestaties.

Experimentele Resultaten

UniRTL werd geëvalueerd op twee downstream taken onder meerdere instellingen:

1. Prestatievoorspelling: Het model voorspelde post-synthese oppervlakte (area) en vertraging (delay), zowel met als zonder netlist-informatie.

   • Resultaten: UniRTL presteerde consistent beter dan alle baselines, inclusief StructRTL, VeriDistill, DeepRTL2 en GraphCodeBERT, over alle metrieken (MAE, MAPE, R2, RRSE).
   • Ablatie: Het verwijderen van de graafcomponent leidde tot een significante verslechtering van de prestaties, wat de noodzaak van structurele informatie bevestigt. Het verwijderen van de codecomponent veroorzaakte een lichte daling, wat wijst op een complementaire waarde.
   • Netlist Integratie: Zelfs bij het integreren van netlist-informatie via kennisdistillatie (met behulp van een teacher-model getraind op netlists), behaalde UniRTL state-of-the-art resultaten.

2. Code-retrieval: Het model werd getest op Natural Language Code Search en Functionality Equivalence Checking.

   • Resultaten: UniRTL behaalde de hoogste F1-scores in Natural Language Code Search en de hoogste Average Precision (AP) in Functionality Equivalence Checking, waarbij het algemene embedding-modellen en gespecialiseerde RTL-modellen overtrof.
   • Ablatie: De "UniRTL (w/o graph)" variant presteerde aanzienlijk slechter dan het volledige model in code search, wat het belang van graafinformatie voor semantisch begrip benadrukt.

Betekenis en Claims

Het artikel stelt dat UniRTL een robuustere en krachtigere fundering legt voor de vooruitgang van hardware-ontwerpautomatisering. Door complementaire modaliteiten te integreren via fijnmazige alignment, overwint UniRTL de expressiviteitslimieten van single-modality benaderingen. De auteurs benadrukken dat hun aanpak een uitgebreid begrip van RTL-ontwerpen biedt, wat directe feedback op kwaliteitsmetrieken en efficiënt hergebruik van ontwerpmodules mogelijk maakt. Het werk wordt gepresenteerd als een stap naar effectievere retrieval-augmented generation (RAG) systemen voor RTL-codegeneratie en nauwkeurigere prestatieschatting zonder afhankelijk te zijn van tijdrovende logische synthese.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van succesvolle CDFG-conversie, de huidige beperking tot Verilog, en evaluatie onder vaste synthese-instellingen. Zij identificeren het uitbreiden van het framework naar andere hardwarebeschrijvingstalen, grotere industriële ontwerpen en diverse synthese-flows als belangrijk toekomstig werk.