🤖 machine learning

TimingLLM: A Two-Stage Retrieval-Augmented Framework for Pre-Synthesis Timing Prediction from Verilog

TimingLLM is een nieuw tweestaps framework dat gebruikmaakt van retrieval-augmented Large Language Models om direct vanuit Verilog de timing-prestaties (WNS en TNS) te voorspellen, nog voordat de synthese is voltooid.

Oorspronkelijke auteurs: Armin Abdollahi, Negin Ashrafi, Mehdi Kamal, Massoud Pedram

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Armin Abdollahi, Negin Ashrafi, Mehdi Kamal, Massoud Pedram

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een architect bent die een wolkenkrabber ontwerpt. Je hebt een tekening gemaakt (de Verilog code), maar je weet nog niet of de lift snel genoeg zal zijn of dat de trappen te steil worden. Normaal gesproken moet je wachten tot de bouwploeg (de synthesis tools) de hele constructie heeft nagebouwd en getest voordat je weet of er een probleem is. Dat duurt uren, of zelfs dagen! Dat is zonde van de tijd.

De onderzoekers van de University of Southern California hebben TimingLLM bedacht: een soort "super-slimme voorspeller" die direct naar je tekening kijkt en zegt: "Hey, ik denk dat deze lift te traag gaat worden!" zonder dat er ook maar één steen is gelegd.

Hier is hoe ze dat doen, uitgelegd in drie simpele stappen:

1. De "Verhalenverteller" (Stage 1)

In plaats van alleen maar naar de lijntjes op de tekening te kijken, leert de eerste fase van de AI om een verhaal te schrijven over de constructie. Hij kijkt naar de verbindingen en zegt: "Ik zie een lange gang met veel deuren, dat gaat vertraging opleveren."

Hij maakt een soort digitale vingerafdruk van dit verhaal. Dit is niet zomaar een lijstje met cijfers, maar een samenvatting van de "vibe" van het ontwerp: is het een simpel huisje of een ingewikkelde fabriek?

2. De "Ervaren Collega" (Stage 2 & Retrieval)

Nu komt het slimme gedeelte. De AI heeft een enorme bibliotheek vol met duizenden andere bouwtekeningen waar de uitkomst al van bekend is.

Zodra de AI jouw tekening ziet, rent hij razendsnel naar die bibliotheek en zoekt hij de drie meest vergelijkbare gebouwen die hij daar vindt. Hij zegt dan: "Jouw ontwerp lijkt heel erg op deze drie gebouwen die we eerder hebben gebouwd, en bij die gebouwen liep de timing precies zo af."

3. De "Correctie-sturing" (Steering)

In plaats van dat de AI gewoon een gokje waagt, gebruikt hij de kennis van die "ervaren collega's" om zijn eigen gedachten bij te sturen. Het is alsof je een ingenieur bent die twijfelt, en een mentor naast je staat die zachtjes tegen je zegt: "Kijk, neig iets meer naar de kant van die andere constructie, want die was ook zo complex." Dit noemen ze 'steering'. Hierdoor wordt de voorspelling extreem nauwkeurig.

Waarom is dit zo bijzonder? (De winst)

Het is razendsnel: Waar traditionele methoden uren moeten rekenen, geeft TimingLLM binnen een paar minuten antwoord.
Het is een meester in aanpassen: Stel dat je plotseling niet meer met baksteen, maar met beton wilt bouwen (een andere technologie library of PVT corner). Je hoeft de AI niet opnieuw te leren hoe hij moet lezen; je hoeft alleen maar een klein "instructieboekje" (de regression head) aan te passen met een paar honderd voorbeelden. De AI begrijpt de basis nog steeds.
Het is super nauwkeurig: In hun tests was de AI bijna net zo goed als de zware, dure professionele software, maar dan veel sneller en zonder de enorme rekenkracht die normaal nodig is.

Kortom: TimingLLM is als een ervaren bouwmeester die met één blik op een schets kan voorspellen waar de zwakke plekken in een gebouw gaan zitten, gebaseerd op een gigantisch geheugen van alle gebouwen die hij ooit heeft gezien.

Technische Samenvatting: TimingLLM

1. Het Probleem: Het "Timing-Blindheid" Gat in RTL-ontwerp

In de chipontwikkelingsflow is de Register-Transfer Level (RTL) fase het moment waarop de architectuur wordt bepaald. Echter, het is op dit punt onmogelijk om nauwkeurige Static Timing Analysis (STA) uit te voeren, omdat commerciële tools een gesynthetiseerd netlist en gedetailleerde parasitaire informatie nodig hebben.

Ontwerpers moeten vaak uren wachten op synthese- en plaatsingsprocessen om te ontdekken of een ontwerp voldoet aan de klokperiode (timing violations). Dit gebrek aan vroege feedback vertraagt de iteratiecyclus en de time-to-market. Bestaande methoden (zoals GNN's of analytische modellen) vereisen vaak zware feature engineering of moeten volledig opnieuw getraind worden voor elke nieuwe technologiebibliotheek of PVT-corner (Process, Voltage, Temperature).

2. Methodologie: Een Twee-Traps LLM-Pipeline

De auteurs introduceren TimingLLM, een framework dat gebruikmaakt van Large Language Models (LLM's) om de belangrijkste timing-metrieken — Worst Negative Slack (WNS) en Total Negative Slack (TNS) — direct uit Verilog-code te voorspellen zonder dat er een synthesetool aan te pas komt.

Het systeem werkt in twee fasen:

Fase 1: Timing Reasoning (De "Oracle" fase):
Een gefinetuned LLM (gebaseerd op Llama 3.1) leert om een synthetisch STA-rapport te genereren op basis van de RTL. In plaats van direct getallen te voorspellen, genereert het model een "Chain-of-Thought" die kritieke paden en lokale slacks beschrijft. Dit rapport wordt vervolgens omgezet in een compacte, $\ell_2$ -genormaliseerde "structural–timing fingerprint". Deze vingerafdruk dient als zoekterm om vergelijkbare ontwerpen te vinden in een externe database.
Fase 2: Retrieval-Augmented Regression (De "Voorspeller" fase):
Een tweede LLM (DeepSeek-R1-7B) fungeert als regressor. Het proces werkt als volgt:
1. Retrieval: Op basis van de fingerprint uit Fase 1 worden de $k$ -dichtstbijzijnde buren (vergelijkbare Verilog-modules met bekende timing-labels) opgezocht in een aparte database (retrieval bank).
2. Diagonal Steering: In plaats van de buren simpelweg als tekst toe te voegen (wat ruis veroorzaakt), gebruikt TimingLLM een innovatieve techniek: de interne activaties (logits) van de buren worden gebruikt om de activaties van de huidige module te "sturen" (steering). Dit gebeurt via een geleerde diagonale vector in de laatste transformer-block.
3. Regressie: Een kleine MLP-head (Multi-Layer Perceptron) vertaalt deze gestuurde representaties naar de uiteindelijke WNS- en TNS-waarden.

3. Belangrijkste Bijdragen

Eerste Tool-free Framework: Het is het eerste systeem dat path-level STA-redenering combineert met retrieval-gestuurde regressie voor RTL-timing.
Innovatieve Steering-techniek: Het gebruik van een retrieval-conditioned diagonal steering residual in het laatste transformer-block is een nieuwe methode om context te bieden zonder de syntaxis van de query te verstoren.
Nieuwe Dataset: De auteurs stellen een nieuwe dataset van 60.000 Verilog-modules beschikbaar, inclusief grondwaarheid (ground-truth) WNS/TNS labels, wat cruciaal is voor toekomstig onderzoek.
Efficiënte Adaptatie: Het model kan met minimale inspanning (alleen het hertrainen van de regressie-head op 1.000 modules) worden aangepast aan nieuwe technologiebibliotheken of verschillende PVT-condities.

4. Resultaten

Op de VerilogEval benchmark presteert TimingLLM superieur aan de huidige State-of-the-Art (SOTA) methoden zoals RTL-Timer, MasterRTL en CircuitFusion:

Nauwkeurigheid: Het bereikt een correlatie ( $R$ ) van 0,91 voor WNS en 0,97 voor TNS.
Foutmarge: De Mean Absolute Percentage Error (MAPE) is gedaald tot respectievelijk 12% (WNS) en 16% (TNS).
Snelheid: Het systeem is sneller (1,3–1,6×) dan bestaande methoden.
Robuustheid: De prestaties blijven consistent over verschillende functionele categorieën (zoals FSM's, tellers en combinatorische logica) en verschillende technologiebibliotheken (Nangate45, Nangate15, ASAP7).

5. Betekenis en Impact

TimingLLM biedt een krachtige oplossing voor een fundamenteel probleem in de chipindustrie. Door ontwerpers een snelle, nauwkeurige en "tool-vrije" schatting van de timing te geven tijdens de RTL-fase, kunnen zij architecturale fouten veel eerder ontdekken. De mogelijkheid om het model met zeer weinig data aan te passen aan nieuwe hardware-omgevingen maakt het bovendien commercieel en praktisch zeer schaalbaar.