Technische Samenvatting: Alpha-RTL (TTT-RTL)

Probleemstelling

Large Language Models (LLMs) hebben bewezen in staat te zijn om functioneel correcte Register-Transfer-Level (RTL) hardwareontwerpen te genereren. Functionele correctheid is echter onvoldoende voor hoogwaardige hardware, die uiteindelijk wordt beoordeeld op fysieke metrieken: Oppervlakte (Area), Vertraging (Delay) en Vermogen (Power) (PPA). Bestaande benaderingen kampen met een kritieke beperking:

• Frozen-policy agents (bijv. EvolVE, VeriAgent, REvolution) gebruiken LLM's als statische componenten binnen zoekloops. Hoewel ze EDA-feedback gebruiken om kandidaten te selecteren, worden de onderliggende LLM-policygewichten nooit bijgewerkt, wat betekent dat het model niet kan leren van de specifieke synthese-feedback van een gegeven ontwerpprobleem.
• Training-time RL-methoden (bijv. ChipSeek, EARL) werken modelgewichten bij, maar produceren een enkele geamortiseerde policy die wordt geëvalueerd via Pass@k. Ze missen een mechanisme om EDA-resultaten van één poging terug te koppelen naar de volgende poging voor hetzelfde ontwerp tijdens inferentie.

De kernuitdaging is dat kandidaat-ontwerpen eerst door ijle, discrete validatiepoorten (syntaxcontrole en functionele simulatie) moeten gaan voordat ze zinvolle, continue fysieke feedback (PPA) van synthesetools kunnen ontvangen. Deze schaarste maakt standaard reinforcement learning moeilijk.

Methodologie: TTT-RTL

De auteurs stellen TTT-RTL (Test-Time Training voor RTL) voor, een framework dat zoeken fuseert met training tijdens testtijd. In plaats van een frozen policy past de LLM zich online aan de specifieke RTL-optimalisatieproblematiek aan met behulp van uitvoerbare EDA-feedback.

Kerncomponenten

1. PUCT-gestuurde State Sampling: Het framework behandelt Verilog-kandidaten als knopen in een boom. Het gebruikt een PUCT (Predictor-Upper Confidence Bound) score om exploitatie (hoog-beloningsknopen) en exploratie (zelden gesamplede knopen) in evenwicht te houden. Een state pool $S$ slaat ontwerpen op $(v, r, t)$, waarbij $v$ de Verilog-implementatie is en $r$ de beloning.
2. Drie-fasen EDA-beloningspipeline: Elke kandidaat wordt geëvalueerd via een strikte pipeline:
   • Fase 1 (Syntax): Compilatie via iveridev. Falen levert een afnemende syntax-beloning op.
   • Fase 2 (Functioneel): Simulatie tegen een referentie-testbench. Falen levert een beloning van nul op.
   • Fase 3 (Fysieke Synthese): Succesvolle ontwerpen worden gesynthetiseerd met behruik van Yosys en OpenSTA om Oppervlakte ($A$), Vertraging ($D$) en Vermogen ($P$) te berekenen. De beloning is de referentie-genormaliseerde PPA-productratio ($r_{ppa} = M_{ref} / M(v)$), waarbij $M = A \times D \times P$ (of $A \times D$ voor specifieke ablaties).
3. Entropische Advantage Estimator: Om de ijle beloningen te beheersen en policy-updates te stabiliseren, maakt de methode gebruik van een entropische advantage estimator binnen groepen rollouts die een ouder delen. Het lost een temperatuurparameter $\beta^*$ op zodanig dat de softmax-distributie van beloningen een doel-KL-divergentie ($\delta$) bereikt ten opzichte van een uniforme distributie. Dit voorkomt dat de policy gradient inklapt naar een enkele rollout wanneer de verschillen in beloning groot zijn.
4. Adaptieve KL-Budget Controller: Om te gaan met geplateerde of ijle reward-groepen, introduceren de auteurs een controller die de entropie-constraint ($\delta$) dynamisch aanpast. Het monitort vier signalen (policy-vs-reference KL, effectieve steekproefomvang, fractie van constant-beloningsgroepen en binary-search verzadiging) om te beslissen of $\delta$ moet krimpen of groeien, waardoor effectief wordt geschakeld tussen "winner-take-all" en "diffuse exploration" modi.
5. Policy Update: De LLM-policy wordt online bijgewerkt met een entropische policy-gradient objective, waarbij de loss de negatieve log-waarschijnlijkheid is van de gegenereerde Verilog, gewogen door de berekende advantage.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert per-ontwerp RTL-optimalisatie als een test-time training probleem, waarbij PUCT-gestuurd zoeken wordt geïntegreerd met online policy-updates gedreven door EDA-feedback.
2. Framework Implementatie: TTT-RTL instantieert dit regime met een Verilog state pool, EDA-feedback prompting, een entropische advantage estimator en een drie-fasen beloningssysteem, gebouwd op het verl framework.
3. Empirische Validatie:
   • RTLLM v2.0 Benchmark: TTT-RTL dekt 48/49 ontwerpen en bereikt een geometrisch gemiddelde PPA-product reductie van 65,1% ten opzichte van de referentie. Dit presteert significant beter dan de sterkste gepubliceerde frozen-policy agent baseline (REvolution), die een reductie van 26,1% bereikt onder dezelfde metriek.
   • Industriële Casestudy: Op de XuanTie C910 FPU leading-zero-anticipation (LZA) unit (Sky130 proces), bereikt TTT-RTL een reductie van 59,4% in ADP (Area $\times$ Delay) vergeleken met de goed afgestelde originele productie-RTL.
   • Ablatie-studies: Experimenten isoleren de bijdragen van de PUCT state pool, de entropische advantage estimator en de adaptieve KL-budget controller, waarmee wordt bevestigd dat policy-adaptatie en state reuse cruciale drijvers van prestaties zijn.

Betekenis en Claims

Het artikel claimt dat test-time training met uitvoerbare EDA-feedback de LLM-gebaseerde RTL-generatie kan verplaatsen van louter functionele correctheid naar fysiek geoptimaliseerde hardware.

• Voorbij Frozen Search: In tegenstelling tot eerdere agents die zoeken met een frozen policy, laat TTT-RTL de policy zelf verdiepen naarmate de zoektocht vordert, wat een gesloten lus creëert waarin exploratie en training co-evolueren.
• Voorbij Geamortiseerde Policies: In tegen we tegenover amortiseerde training-time RL-methoden die een enkele policy voor alle ontwerpen leveren, voert TTT-RTL per-ontwerp adaptatie uit, waardoor het model kan specialiseren op de specifieke micro-architecturale beperkingen van de doelcircuit.
• Bescheiden Claims over Adaptiviteit: De auteurs kaderen de adaptieve KL-budget controller expliciet als een robuustheids- en taak-responsiviteitsobservatie in plaats van een gegarandeerde piekprestatie-winst. Hoewel het de variantie tussen verschillende seeds vermindert en zich aanpast aan de taakstructuur (bijv. het verlagen van $\delta$ voor LZA, het verhogen voor andere units), werd statistische significantie over meerdere seeds niet bereikt in alle metrieken ($p < 0,05$), en de winsten worden gepresenteerd als bewijs voor rangschikking in plaats van nauwe effectgroottes.

Het werk suggereert dat het samenvoegen van zoeken en training tijdens de testtijd een levensvatbaar regime is voor het optimaliseren van hardwareontwerp, waarmee de kloof tussen generatieve AI en fysieke ontwerpbeperkingen wordt overbrugd.