Technische Samenvatting: HLS-Seek

Probleemstelling

High-Level Synthesis (HLS) compileert algoritmische C/C++-beschrijvingen naar Register Transfer Level (RTL)-hardware. De Kwaliteit van Resultaten (QoR) – specifiek uitvoeringslatentie en resourcegebruik (LUTs, DSPs, BRAMs, FFs) – is cruciaal voor de implementatie van versnellers in de praktijk. De QoR wordt echter bepaald door microarchitecturale structuren, pragma-configuraties en code-optimalisaties die niet nauwkeurig kunnen worden afgeleid uit softwarecode-analyse alleen; dit vereist kostbare synthese- en implementatie-evaluatie.

Bestaande benaderingen met Large Language Models (LLM) voor HLS-codegeneratie richten zich voornamelijk op functionele correctheid (het genereren van compileerbare, uitvoerbare code) maar zijn QoR-ongevoelig. Ze behandelen alle compileerbare ontwerpen gelijk, ongeacht hun hardwareprestaties. Hoewel Versterkingsleren (RL) met echte synthese-feedback (synthese-in-de-lus) veelbelovend heeft bewezen in het RTL-domein, is de toepassing daarvan op HLS onbetaalbaar duur. Een enkele HLS-syntheserun kan minuten tot uren duren, en RL-training vereist doorgaans duizenden evaluaties, waardoor de aanpak op grote schaal onuitvoerbaar is.

Methodologie

De auteurs stellen HLS-Seek voor, een QoR-bewust framework voor Natural Language naar HLS dat dure RL met echte synthese vervangt door een comparatief proxy-beloningmodel versterkt met een onzekerheidsbewust schakelmechanisme.

1. Kerninzicht

De auteurs observeren dat RL voor HLS geen absolute QoR-waarden (exacte latentie/resourceaantallen) uit synthese vereist. In plaats daarvan zijn alleen relatieve vergelijkingen tussen kandidaat-ontwerpen nodig om groepsrelatieve voordelen te schatten. Dit inzicht maakt het mogelijk om een lichtgewicht proxy-model te trainen dat voorspelt welk van twee ontwerpen beter is, waardoor synthese tijdens de meeste trainingsstappen kan worden omzeild.

2. Drie-fasen Trainingspijplijn

HLS-Seek hanteert een trainingsproces in drie fasen:

• Fase 1: Diversiteitsgerichte Supervised Fine-Tuning (SFT): Het basis-LLM wordt fijngefineerd op een breed HLS-corpus met QoR-beschrijvingen om het model bloot te stellen aan diverse pragma-configuraties en coderingspatronen, waarmee een fundament in HLS-syntaxis wordt gelegd.
• Fase 2: Cold-Start SFT met Redeneringssporen: Met behulp van een gecureerde dataset van Pareto-proximale ontwerpen (optimale afwegingen), verrijkt met Chain-of-Thought (CoT)-redeneringssporen gegenereerd door commerciële redeneringsmodellen, leert het model gestructureerde hardwareredenering en hoe het optimale pragma-configuraties moet selecteren.
• Fase 3: Group Relative Policy Optimization (GRPO): Het model wordt verfijnd met GRPO met een beloningssignaal van vier componenten:
  1. Redeneringsformaat: Zorgt voor gestructureerde output met CoT-sporen.
  2. Compilatie: Controleert op syntactische correctheid (GCC-compilatie).
  3. Functionele Correctheid: Verifieert semantische correctheid tegen testbenchs.
  4. Proxy QoR-beloning: Een comparatieve beloning afgeleid van een Siamese netwerk dat paarsgewijze dominantie voorspelt.

3. Comparatief Proxy-beloningmodel

• Architectuur: Een Bradley-Terry Siamese architectuur die twee HLS-ontwerpen als invoer neemt en een waarschijnlijkheid outputt dat het ene het andere domineert.
• Training: Getraind op paarsgewijze vergelijkingen uit Design Space Exploration (DSE)-resultaten, met onderscheid tussen volledige Pareto-dominantie (beter op alle 5 metrieken) en latentie-overleg.
• Onzekerheidsbewust Schakelen: Om "reward hacking" te voorkomen (waarbij het beleid blinde vlekken in het proxy-model exploiteert), past het systeem Monte Carlo (MC) dropout toe tijdens inferentie om onzekerheid te schatten.
  • Als een kandidaat-ontwerp hoge onzekerheid heeft, triggert het systeem echte Vitis HLS-synthese om de ground-truth QoR te verkrijgen.
  • Deze echte synthese-resultaten worden teruggekoppeld om het proxy-beloningmodel online bij te werken, waardoor de dekking en betrouwbaarheid continu worden uitgebreid.
  • Dit mechanisme zorgt ervoor dat de proxy nauwkeurig blijft terwijl de synthese-triggerfrequentie laag blijft (doel <5% bij convergentie).

4. Data-curatie

Het framework maakt gebruik van een Pareto-Proximale Kwaliteit-Diversiteit Sampling-strategie. In plaats van alleen strikt Pareto-optimale ontwerpen te gebruiken (die te weinig zijn), omvat het ontwerpen nabij de Pareto-front, gerangschikt op hun Euclidische afstand tot de front, zodat het model fijne resource-latentie-afwegingen leert.

Belangrijkste Bijdragen

1. Relatieve Beloningsinzicht: Identificatie dat HLS-RL alleen relatieve QoR-signalen vereist, geen absolute synthese-resultaten, wat het gebruik van een comparatief proxy-model mogelijk maakt.
2. Onzekerheidsbewust Proxy-systeem: Een nieuw mechanisme dat een Siamese comparatief beloningmodel combineert met MC-dropout-onzekerheidsschatting en online updates via selectieve echte synthese. Dit voorkomt reward hacking en zorgt voor zelfverbetering.
3. HLS-Seek Framework: Een complete NL-naar-HLS-pijplijn die state-of-the-art prestaties bereikt met slechts 7B parameters, gebruikmakend van een drie-fasen trainingsstrategie (Diversiteit SFT $\to$ Redenering Cold-Start SFT $\to$ Proxy-beloning GRPO).

Experimentele Resultaten

Geëvalueerd op de HLS-eval-benchmark en een ForgeHLS-testset:

• Syntaxis en Functionele Correctheid:

  • Bereikte 81,5% pass@1 syntaxis-correctheid en 81,4% pass@5 functionele correctheid op HLS-eval.
  • Presteerde beter dan frontier-modellen (inclusief GPT-5.1, DeepSeek-V3.2 en Qwen3-235B) en gespecialiseerde HLS-baselines (SAGE-HLS, Gai et al.), ondanks aanzienlijk minder parameters (7B versus 235B+ of grotere codemodellen).
  • Specifiek overtrof het GPT-5.1 met +2,3 procentpunten in functionele pass@5 op HLS-eval.

• Kwaliteit van Resultaten (QoR):

  • Bereikte de laagste latentie op 16 van de 30 kernels.
  • Pareto-dominantie over HLS-specifieke baselines (SAGE-HLS en Gai et al.) op 9 kernels (5 versus SAGE-HLS, 4 versus Gai et al.) met slechts 1 omgekeerde winst.
  • Toonde het vermogen om algoritmische code-herstructurering uit te voeren (bijv. scalar expansie en lusfissie) in plaats van alleen pragma-invoeging, wat leidde tot aanzienlijke latentiereducties (bijv. 4,1x reductie in GEMVER).

• Trainings-efficiëntie:

  • Bereikte een 8,5x snelheidswinst in training ten opzichte van RL met echte beloningen.
  • In een muurklok-budget van 73 uur voltooide HLS-Seek 12.500 trainingsstappen, terwijl een aanpak met echte beloningen slechts 1.460 stappen voltooide.
  • Het proxy-beloningmechanisme behield hoge nauwkeurigheid (99,53% Pareto-dominantie-nauwkeurigheid) terwijl de synthese-overhead bij convergentie onder de 5% werd gebracht.

Betekenis en Claims

Het artikel beweert dat HLS-Seek aantoont dat domeinspecifiek RL met geleerde QoR-beloningen een haalbare weg is naar volledig geautomatiseerde, hardware-efficiënte HLS-codegeneratie. Door de behoefte aan absolute synthese-resultaten te ontkoppelen van de RL-trainingslus, overwinnen de auteurs de schaalbaarheidsknelpunt van benaderingen met synthese-in-de-lus.

Het werk benadrukt dat:

1. QoR-bewustzijn haalbaar is zonder dure synthese-in-de-lus door gebruik te maken van relatieve vergelijkingen.
2. Kleine modellen (7B) massale frontier-modellen kunnen overtreffen in gespecialiseerde hardwaregeneratietaken wanneer ze worden getraind met passende QoR-bewuste signalen en redeneringssporen.
3. Algoritmische herstructurering een kernvaardigheid is die door dit proces wordt geleerd, die verder gaat dan eenvoudige pragma-tuning om de codestructuur fundamenteel te optimaliseren voor hardwareparallelisme.

De auteurs concluderen dat hun onzekerheidsbewuste proxy-beloningssysteem de afweging tussen trainsnelheid en beloningsgeloofwaardigheid succesvol in evenwicht brengt, waardoor het genereren van hardwareontwerpen mogelijk wordt die niet alleen functioneel correct zijn, maar ook geoptimaliseerd voor latentie en resourcegebruik.