Sintesi Tecnica: Alpha-RTL (TTT-RTL)

Definizione del Problema

I Large Language Models (LLM) hanno dimostrato la capacità di generare design hardware a livello di registro-trasferimento (RTL) funzionalmente corretti. Tuttavia, la correttezza funzionale è insufficiente per un hardware di alta qualità, che viene infine giudicato da metriche fisiche: Area, Ritardo e Potenza (PPA). Gli approcci esistenti affrontano un limite critico:

• Agenti a policy congelata (es. EvolVE, VeriAgent, REvolution) utilizzano gli LLM come componenti statici all'interno di cicli di ricerca. Sebbene utilizzino il feedback EDA per selezionare i candidati, i pesi della policy sottostante dell'LLM non si aggiornano mai, il che significa che il modello non può apprendere dal feedback di sintesi specifico di un dato problema di design.
• Metodi RL in fase di training (es. ChipSeek, EARL) aggiornano i pesi del modello ma producono una singola policy ammortizzata valutata tramite Pass@k. Essi mancano di un meccanismo per alimentare i risultati EDA di un tentativo nel successivo per lo stesso design durante l'inferenza.

La sfida centrale è che i design candidati devono superare gate di validità discreti e sparsi (controllo della sintassi e simulazione funzionale) prima di ricevere un feedback fisico significativo e continuo (PPA) dagli strumenti di sintesi. Questa scarsità rende difficile il reinforcement learning standard.

Metodologia: TTT-RTL

Gli autori propongono TTT-RTL (Test-Time Training per RTL), un framework che fonde la ricerca nel training durante il test time. Invece di una policy congelata, l'LLM si adatta online al problema di ottimizzazione RTL specifico utilizzando il feedback eseguibile dell'EDA.

Componenti Core

1. Campionamento degli Stati guidato da PUCT: Il framework tratta i candidati Verilog come nodi in un albero. Utilizza un punteggio PUCT (Predictor-Upper Confidence Bound) per bilanciare l'exploitation (nodi ad alto reward) e l'exploration (nodi campionati raramente). Un pool di stati $S$ memorizza i design $(v, r, t)$, dove $v$ è l'implementazione Verilog e $r$ è il reward.
2. Pipeline di Reward EDA a Tre Stadi: Ogni candidato è valutato attraverso una pipeline rigorosa:
   • Stadio 1 (Sintassi): Compilazione tramite iverilog. Il fallimento produce un reward di sintassi decrescente.
   • Stadio 2 (Funzionale): Simulazione contro un testbench di riferimento. Il fallimento produce un reward pari a zero.
   • Stadio 3 (Sintesi Fisica): I design di successo vengono sintetizzati usando Yosys e OpenSTA per calcolare Area ($A$), Ritardo ($D$) e Potenza ($P$). Il reward è il rapporto del prodotto PPA normalizzato rispetto al riferimento ($r_{ppa} = M_{ref} / M(v)$), dove $M = A \times D \times P$ (o $A \times D$ per specifiche ablazioni).
3. Stima dell'Advantage Entropico: Per gestire i reward sparsi e stabilizzare l'aggiornamento della policy, il metodo impiega uno stimatore dell'advantage entropico all'interno di gruppi di rollout che condividono un genitore. Risolve per un parametro di temperatura $\beta^*$ tale che la distribuzione softmax dei reward raggiunga una target divergenza KL ($\delta$) da una distribuzione uniforme. Ciò impedisce alla policy gradient di collassare su un singolo rollout quando le differenze di reward sono elevate.
4. Controller del Budget KL Adattivo: Per affrontare gruppi di reward in plateau o sparsi, gli autori introducono un controller che regola dinamicamente il vincolo di entropia ($\delta$). Monitora quattro segnali (KL policy-vs-reference, dimensione del campione efficace, frazione di gruppi a reward costante e saturazione della ricerca binaria) per decidere se restringere o ampliare $\delta$, passando efficacemente tra le modalità "winner-take-all" e "diffuse exploration".
5. Aggiornamento della Policy: La policy dell'LLM viene aggiornata online utilizzando un obiettivo di policy-gradient entropico, dove la perdita è il logaritmo negativo della probabilità del Verilog generato, pesato dall'advantage calcolato.

Contributi Chiave

1. Formulazione: Il paper formula l'ottimizzazione RTL per singolo design come un problema di test-time training, integrando la ricerca guidata da PUCT con aggiornamenti di policy online guidati dal feedback EDA.
2. Implementazione del Framework: TTT-RTL istanzia questo regime con un pool di stati Verilog, prompting basato su feedback EDA, uno stimatore dell'advantage entropico e un sistema di reward a tre stadi, costruito sul framework verl.
3. Validazione Empirica:
   • Benchmark RTLLM v2.0: TTT-RTL copre 48/49 design e ottiene una riduzione del prodotto PPA geometrico-media del 65,1% rispetto al riferimento. Questo supera significativamente il più forte agente a policy congelata pubblicato (REvolution), che ottiene una riduzione del 26,1% sotto lo stesso metric.
   • Caso Studio Industriale: Sul modulo de l'unità Leading-Zero-Anticipation (LZA) della FPU XuanTie C910 (processo Sky130), TTT-RTL ottiene una riduzione del 59,4% nell'ADP (Area $\times$ Delay) rispetto al design RTL di produzione originale ben ottimizzato.
   • Studi di Ablazione: Gli esperimenti isolano i contributi del pool di stati PUCT, dello stimatore dell'advantage entropico e del controller del budget KL adattivo, confermando che l'adattamento della policy e il riutilizzo degli stati sono driver critici delle prestazioni.

Significato e Dichiarazioni

Il paper sostiene che il test-time training con feedback EDA eseguibile può spostare la generazione di hardware basata su LLM oltre la mera correttezza funzionale verso un hardware fisicamente ottimizzato.

• Oltre la Ricerca Congelata: A differenza dei precedenti agenti che effettuano la ricerca con una policy congelata, TTT-RTL permette alla policy stessa di approfondirsi man mano che la ricerca procede, creando un ciclo chiuso in cui esplorazione e training co-evolvono.
• Oltre le Policy Ammortizzate: A differenza dei metodi RL in fase di training che distribuiscono una singola policy per tutti i design, TTT-RTL esegue un adattamento per singolo design, permettendo al modello di specializzarsi ai vincoli micro-architetturali specifici del circuito target.
• Modeste Dichiarazioni sull'Adattività: Gli autori inquadrano esplicitamente il controller del budget KL adattivo come un'osservazione di robustezza e risposta al task piuttosto che come una vittoria garantita di picco delle prestazioni. Sebbene riduca la varianza tra i seed e si adatti alla struttura del task (es. abbassando $\delta$ per LZA, alzandolo per altre unità), la significatività statistica attraverso molteplici seed non è stata raggiunta in tutti i metrici ($p < 0,05$), e i guadagni sono presentati come evidenza di ranking piuttosto che come dimensioni dell'effetto precise.

Il lavoro suggerisce che fondere la ricerca e il training al test-time sia un regime valido per ottimizzare il design hardware, colmando il divario tra l'IA generativa e i vincoli del design fisico.