Résumé Technique : HLS-Seek

Énoncé du Problème

La Synthèse de Haut Niveau (HLS) compile des descriptions algorithmiques en C/C++ vers du matériel au niveau Register Transfer Level (RTL). La Qualité des Résultats (QoR) — spécifiquement la latence d'exécution et l'utilisation des ressources (LUTs, DSPs, BRAMs, FFs) — est cruciale pour le déploiement d'accélérateurs dans le monde réel. Cependant, la QoR est déterminée par des structures microarchitecturales, des configurations de pragmas et des optimisations de code qui ne peuvent pas être inférées avec précision par la seule analyse de code logiciel ; cela nécessite une évaluation coûteuse par synthèse et implémentation.

Les approches existantes basées sur les Grands Modèles de Langage (LLM) pour la génération de code HLS se concentrent principalement sur la correction fonctionnelle (génération de code compilable et exécutable) mais sont agnostiques en matière de QoR. Elles traitent tous les designs compilables de manière égale, indépendamment de leurs performances matérielles. Bien que l'Apprentissage par Renforcement (RL) avec un retour de synthèse réel (synthesis-in-the-loop) ait montré des promesses dans le domaine RTL, son application à la HLS est prohibitivement coûteuse. Une seule exécution de synthèse HLS peut prendre de quelques minutes à plusieurs heures, et l'entraînement par RL nécessite généralement des milliers d'évaluations, rendant cette approche inenvisageable à grande échelle.

Méthodologie

Les auteurs proposent HLS-Seek, un cadre de langage naturel vers HLS conscient de la QoR qui remplace le RL par synthèse réelle coûteuse par un modèle de récompense proxy comparatif amélioré par un mécanisme de commutation conscient de l'incertitude.

1. Insight Central

Les auteurs observent que le RL pour la HLS ne nécessite pas de valeurs absolues de QoR (chiffres exacts de latence/ressources) provenant de la synthèse. À la place, il nécessite uniquement des comparaisons relatives entre les designs candidats pour estimer les avantages relatifs au sein d'un groupe. Cet insight permet l'entraînement d'un modèle proxy léger pour prédire lequel de deux designs est meilleur, évitant ainsi le besoin de synthèse durant la plupart des étapes d'entraînement.

2. Pipeline d'Entraînement en Trois Étapes

HLS-Seek emploie un processus d'entraînement en trois étapes :

• Étape 1 : Affinement Supervisé Orienté Diversité (SFT) : Le LLM de base est affiné sur un large corpus HLS avec des descriptions de QoR pour exposer le modèle à des configurations de pragmas et des patterns de codage diversifiés, établissant une fondation dans la syntaxe HLS.
• Étape 2 : SFT à Démarrage Froid avec Traces de Raisonnement : En utilisant un ensemble de données curaté de designs proches de Pareto (compromis optimaux) augmenté de traces de raisonnement Chain-of-Thought (CoT) générées par des modèles de raisonnement commerciaux, le modèle apprend un raisonnement matériel structuré et comment sélectionner les configurations de pragmas optimales.
• Étape 3 : Optimisation de Politique Relative par Groupe (GRPO) : Le modèle est affiné en utilisant GRPO avec un signal de récompense à quatre composantes :
  1. Format de Raisonnement : Assure une sortie structurée avec des traces CoT.
  2. Compilation : Vérifie la correction syntaxique (compilation GCC).
  3. Correction Fonctionnelle : Vérifie la correction sémantique par rapport aux bancs de test.
  4. Récompense Proxy QoR : Une récompense comparative dérivée d'un réseau Siamese qui prédit la dominance paire.

3. Modèle de Récompense Proxy Comparatif

• Architecture : Une architecture Siamese de type Bradley-Terry qui prend deux designs HLS en entrée et sort une probabilité qu'un domine l'autre.
• Entraînement : Entraîné sur des comparaisons paires issues des résultats d'Exploration de l'Espace de Conception (DSE), distinguant entre la dominance Pareto complète (meilleur sur les 5 métriques) et la supériorité en latence.
• Commutation Consciente de l'Incertitude : Pour prévenir le "hacking de récompense" (où la politique exploite les angles morts du modèle proxy), le système emploie le dropout de Monte Carlo (MC) durant l'inférence pour estimer l'incertitude.
  • Si un design candidat présente une forte incertitude, le système déclenche une synthèse Vitis HLS réelle pour obtenir la QoR de vérité terrain.
  • Ces résultats de synthèse réelle sont réinjectés pour mettre à jour en ligne le modèle de récompense proxy, élargissant continuellement sa couverture et sa fiabilité.
  • Ce mécanisme assure que le proxy reste précis tout en maintenant un taux de déclenchement de synthèse faible (cible <5% à la convergence).

4. Curation des Données

Le cadre utilise une stratégie d'Échantillonnage Qualité-Diversité Proche de Pareto. Au lieu d'utiliser uniquement des designs strictement optimaux de Pareto (qui sont trop peu nombreux), il inclut des designs proches du front de Pareto, classés par leur distance euclidienne au front, assurant ainsi que le modèle apprend des compromis fines entre ressources et latence.

Contributions Clés

1. Insight sur la Récompense Relative : Identification que le RL pour HLS ne nécessite que des signaux de QoR relatifs, et non des résultats de synthèse absolus, permettant l'utilisation d'un modèle proxy comparatif.
2. Système Proxy Conscient de l'Incertitude : Un mécanisme novateur combinant un modèle de récompense comparatif Siamese avec une estimation d'incertitude par dropout MC et des mises à jour en ligne via une synthèse réelle sélective. Cela prévient le hacking de récompense et assure l'auto-amélioration.
3. Cadre HLS-Seek : Un pipeline complet de NL vers HLS atteignant des performances de pointe avec seulement 7 milliards de paramètres, utilisant une stratégie d'entraînement en trois étapes (SFT Orienté Diversité $\to$ SFT à Démarrage Froid par Raisonnement $\to$ GRPO par Récompense Proxy).

Résultats Expérimentaux

Évalué sur le benchmark HLS-eval et un ensemble de tests ForgeHLS :

• Correction Syntaxique et Fonctionnelle :

  • Atteint 81,5 % de pass@1 pour la correction syntaxique et 81,4 % de pass@5 pour la correction fonctionnelle sur HLS-eval.
  • Surpasse les modèles de pointe (incluant GPT-5.1, DeepSeek-V3.2 et Qwen3-235B) et des baselines HLS spécialisées (SAGE-HLS, Gai et al.) malgré un nombre de paramètres significativement inférieur (7B contre 235B+ ou des modèles de code plus grands).
  • Spécifiquement, il dépasse GPT-5.1 de +2,3 points de pourcentage en pass@5 fonctionnel sur HLS-eval.

• Qualité des Résultats (QoR) :

  • Atteint la latence la plus faible sur 16 noyaux sur 30.
  • Domine Pareto les baselines spécifiques à HLS (SAGE-HLS et Gai et al.) sur 9 noyaux (5 contre SAGE-HLS, 4 contre Gai et al.) avec seulement 1 victoire inverse.
  • Démontre la capacité à effectuer une restructuration algorithmique du code (par exemple, expansion scalaire et fission de boucles) plutôt que simplement l'insertion de pragmas, conduisant à des réductions significatives de latence (par exemple, une réduction de 4,1x dans GEMVER).

• Efficacité de l'Entraînement :

  • Atteint un accélération de 8,5x dans l'entraînement par rapport au RL à récompense réelle.
  • Dans un budget de temps réel de 73 heures, HLS-Seek a complété 12 500 étapes d'entraînement, tandis qu'une approche à récompense réelle n'a complété que 1 460 étapes.
  • Le mécanisme de récompense proxy a maintenu une haute précision (99,53 % de précision de dominance Pareto) tout en réduisant la surcharge de synthèse à moins de 5 % à la convergence.

Signification et Revendications

L'article revendique que HLS-Seek démontre que le RL spécifique au domaine avec des récompenses de QoR apprises est une voie viable vers une génération de code HLS entièrement automatisée et efficace pour le matériel. En découplant le besoin de résultats de synthèse absolus de la boucle d'entraînement RL, les auteurs surmontent le goulot d'étranglement de l'évolutivité des approches synthesis-in-the-loop.

Le travail met en lumière que :

1. La conscience de la QoR est réalisable sans synthèse coûteuse en boucle en exploitant des comparaisons relatives.
2. Les petits modèles (7B) peuvent surpasser les modèles de pointe massifs dans les tâches de génération de matériel spécialisée lorsqu'ils sont entraînés avec des signaux de QoR appropriés et des traces de raisonnement.
3. La restructuration algorithmique est une capacité clé apprise à travers ce processus, allant au-delà du simple réglage des pragmas pour optimiser fondamentalement la structure du code pour le parallélisme matériel.

Les auteurs concluent que leur système de récompense proxy conscient de l'incertitude équilibre avec succès le compromis entre la vitesse d'entraînement et la fidélité de la récompense, permettant la génération de designs matériels qui sont non seulement fonctionnellement corrects mais aussi optimisés pour la latence et l'utilisation des ressources.