HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases

Le papier présente HDLxGraph, un cadre innovant qui intègre les caractéristiques graphiques inhérentes aux langages de description matérielle (HDL) aux systèmes de génération augmentée par récupération (RAG) pour surmonter les limites des approches actuelles dans la recherche, le débogage et la complétion de projets HDL complexes, tout en introduisant le benchmark HDLSearch pour évaluer ces performances.

L'essentiel

Imaginez que vous essayez de réparer une machine à café ultra-complexe, mais au lieu d'avoir un manuel d'instructions clair, vous avez une bibliothèque remplie de millions de pages de texte mélangées, écrites dans un langage technique que seul un ingénieur en électronique comprend. C'est un peu le défi que rencontrent les intelligences artificielles (les "LLM") lorsqu'elles essaient de comprendre ou de réparer du code matériel (HDL).

Voici l'histoire de HDLxGraph, une nouvelle invention qui change la donne, racontée simplement.

Le Problème : La "Mauvaise Carte" pour un "Grand Labyrinthe"

Jusqu'à présent, pour aider les intelligences artificielles à trouver leur chemin dans ces énormes bibliothèques de code, on utilisait une méthode appelée RAG (Récupération Augmentée).

• L'ancienne méthode (RAG classique) : C'est comme chercher un livre dans une bibliothèque en se basant uniquement sur les mots-clés. Si vous cherchez "café froid", le système vous donne tous les livres contenant les mots "café" et "froid", même si c'est un livre sur la météo ou la cuisine.
• Le problème avec le code matériel (HDL) : Le code matériel n'est pas une simple liste de mots. C'est une structure hiérarchique (comme des poupées russes : des modules contiennent des blocs, qui contiennent des signaux) et un flux de données (comme l'eau qui coule dans des tuyaux).
• Le résultat : L'ancienne méthode se perdait. Elle cherchait le mot "mémoire" et trouvait un fichier sur la mémoire, alors que le vrai problème était dans un tout autre fichier, à cause d'un détail technique invisible pour une simple recherche de mots.

La Solution : HDLxGraph, le "Guide avec une Carte 3D"

Les chercheurs ont créé HDLxGraph. Au lieu de simplement lire les mots, ce système construit une carte interactive du code. Imaginez que vous ne cherchez plus dans une bibliothèque, mais que vous avez un GPS 3D qui vous montre exactement où sont les tuyaux, les vannes et les réservoirs.

Ce GPS utilise deux outils magiques :

1. L'Arbre (AST) : La Structure de l'Immeuble
   Imaginez que le code est un immense gratte-ciel.

   • Les modules sont les étages.
   • Les blocs sont les pièces.
   • Les signaux sont les prises électriques dans les murs.
   • L'outil "AST" permet au système de comprendre que pour atteindre une prise (un signal), il faut d'abord passer par la pièce (le bloc) et l'étage (le module). Cela évite de chercher dans le sous-sol quand le problème est au 10ème étage.

2. Le Flux (DFG) : Le Réseau de Plomberie
   Maintenant, imaginez que l'eau (les données) coule dans cet immeuble.

   • L'outil "DFG" trace le chemin de l'eau. Si un robinet fuit (une erreur), le système ne regarde pas juste le robinet, il remonte le tuyau pour voir d'où vient l'eau et ce qui a pu bloquer le flux.
   • Cela permet de comprendre comment les pièces interagissent, pas juste où elles sont.

L'Analogie du Détective

Prenons l'exemple d'un bug dans un processeur (un petit cerveau électronique) :

• L'ancien détective (RAG classique) : Il entend "problème de cache" et court vers le bureau "Cache" pour chercher des documents. Il se trompe de bureau.
• Le nouveau détective (HDLxGraph) : Il regarde la carte. Il voit que le problème de "cache" vient en réalité d'un signal qui arrive d'un autre étage, via un tuyau spécifique. Il suit le tuyau (le flux de données) jusqu'à la source du problème, même si le mot "cache" n'apparaît pas dans le fichier où se trouve l'erreur.

Les Résultats : Plus Rapide, Plus Précis

Grâce à cette approche, l'équipe a créé une nouvelle base de données d'entraînement (HDLSearch) pour apprendre à l'IA à utiliser ce GPS. Les résultats sont impressionnants :

• Recherche : L'IA trouve le bon fichier 12 % plus souvent.
• Débogage (Réparation) : Elle trouve la cause de l'erreur 12 % plus souvent.
• Complétion : Elle propose le bon code 5 % plus souvent.

C'est comme passer d'un détective qui cherche au hasard dans une ville à un détective qui a une carte thermique montrant exactement où se trouve le problème.

En Résumé

HDLxGraph est un pont intelligent entre le langage humain (nos questions) et le langage complexe du matériel électronique. Au lieu de chercher des mots-clés isolés, il comprend la structure (l'architecture du bâtiment) et le flux (la circulation de l'eau) du code. C'est une révolution pour aider les intelligences artificielles à devenir de véritables ingénieurs en électronique, capables de réparer et de créer des puces complexes sans se perdre dans le labyrinthe du code.

Résumé technique

1. Problématique

L'utilisation des Modèles de Langage (LLM) pour les tâches liées aux Langages de Description Matérielle (HDL), tels que la génération, le débogage et la recherche de code, se heurte à deux limitations majeures :

1. Données d'entraînement limitées et prompts longs : Les LLMs peinent à gérer des projets HDL complexes (repos de milliers de lignes) sans contexte adéquat.
2. Échec des approches RAG conventionnelles : Les systèmes de Génération Augmentée par Récupération (RAG) basés sur la similarité sémantique (texte brut) échouent souvent avec les HDL en raison de deux décalages fondamentaux :
   • Décalage Structurel : Les requêtes en langage naturel sont plates et séquentielles, tandis que les conceptions HDL sont hiérarchiques (Modules $\rightarrow$ Blocs $\rightarrow$ Signaux). Les approches classiques ignorent cette hiérarchie.
   • Décalage Vocabulaire : La terminologie spécifique au matériel (opérateurs, mots-clés) diffère de la description en langage naturel, empêchant une correspondance sémantique précise.

Ces limites entraînent des taux de rappel faibles, des localisations de bugs incorrectes (ex: chercher un fichier cache alors que le bug est dans le frontend) et une incapacité à comprendre les flux de données matériels.

2. Méthodologie : HDLxGraph

Les auteurs proposent HDLxGraph, le premier cadre RAG hybride intégrant des structures graphiques spécifiques aux HDL pour combler ces écarts. Le framework repose sur trois étapes clés :

A. Préparation de la Base de Données Graphique

Au lieu de traiter le code comme du texte, HDLxGraph extrait deux types de graphes à partir des dépôts HDL (ex: Verilog) :

• Arbres de Syntaxe Abstraite (AST) : Capturent la structure hiérarchique du code (Modules, Blocs, Signaux). Les nœuds sont connectés par des relations de contenance (CONTAINS) et d'instanciation (INSTANTIATE).
• Graphes de Flux de Données (DFG) : Capturent le comportement matériel et les dépendances entre les signaux. Ils modélisent la propagation des données via des nœuds de type TEMP et des arêtes de flux (FLOWS_TO, COND).
• Encodage : Les nœuds sont enrichis par des embeddings générés par un modèle LLM de code (CodeT5+) pour permettre la recherche sémantique.

B. Récupération Multi-Niveaux

Le processus de recherche est divisé en deux phases parallèles ou séquentielles selon la tâche :

1. Récupération AST (Structurelle) :
   • Un LLM (« Decomposer ») décompose la requête utilisateur en niveaux d'abstraction (Module, Bloc, Signal).
   • Le système récupère les candidats top-k à chaque niveau et effectue un reranking croisé pour garantir la cohérence hiérarchique (ex: un signal doit appartenir au bloc récupéré, qui doit appartenir au module).
2. Récupération DFG (Comportementale) :
   • Pour le débogage : Utilisation d'un parcours de graphe (Signal Traverse) en amont du signal erroné pour identifier la source de la divergence de flux de données.
   • Pour la complétion : Utilisation de l'embedding de graphes (GraphSAGE) pour trouver des motifs de flux de données similaires, même si la syntaxe du code diffère.

C. Benchmark HDLSearch

Face à l'absence de benchmarks dédiés à la recherche de code HDL, les auteurs ont créé HDLSearch.

• Génération : Basée sur des projets réels (RTL-Repo), utilisant des LLMs pour générer automatiquement des paires question-réponse à partir de la documentation et du code.
• Structure : Contient des requêtes aux niveaux Module, Bloc et Signal, couvrant divers niveaux de difficulté (FPGA éducatif, protocoles, CPU commerciaux).

3. Contributions Clés

1. HDLxGraph : Un cadre RAG novateur intégrant AST et DFG pour aligner les requêtes naturelles avec la structure et le flux de données des HDL. C'est la première approche de ce type.
2. Alignement Hiérarchique et Vocabulaire : Résolution des décalages structurels et lexicaux grâce à l'analyse graphique, permettant une localisation précise des fichiers et des signaux.
3. Benchmark HDLSearch : Le premier dataset de référence pour la recherche de code HDL, dérivé de projets réels et généré par LLM.
4. Adaptabilité : Démonstration de l'efficacité du framework avec trois LLMs de tailles différentes (Claude-3.5, Qwen2.5, LLaMA-3.1).

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois tâches principales, comparant HDLxGraph aux RAGs basés sur la similarité (BM25, CodeT5+) et aux RAGs graphiques logiciels (GraphRAG de Microsoft).

• Recherche de Code (Search) :
  • HDLxGraph améliore le MRR (Mean Reciprocal Rank) de 12,04 % par rapport au RAG basé sur la similarité et de 11,59 % par rapport au GraphRAG logiciel.
  • Cela démontre la supériorité de la compréhension de la hiérarchie matérielle.
• Débogage (Debugging) :
  • Sur le dépôt mor1kx, HDLxGraph atteint des scores ROUGE supérieurs de 12,22 % (vs similarité) et 8,18 % (vs GraphRAG logiciel).
  • L'approche permet de localiser les bugs avec une précision proche d'un RAG « idéal » (Accurate-RAG) nécessitant un effort humain.
• Complétion de Code (Completion) :
  • Amélioration du taux de réussite Pass@1 de 5,04 % (vs similarité) et 4,07 % (vs GraphRAG logiciel).
  • L'analyse structurelle aide à compléter le code même avec un contexte partiel.

Étude Ablative :
L'analyse montre que l'AST est crucial pour la recherche et la complétion (structure), tandis que le DFG est essentiel pour le débogage (flux de données). L'absence de l'un ou l'autre entraîne une chute significative des performances.

5. Signification et Impact

Ce travail marque une avancée significative dans l'intersection entre l'IA générative et la conception matérielle :

• Changement de Paradigme : Il démontre que les approches RAG génériques (basées sur le texte ou des graphes logiciels) sont insuffisantes pour le matériel. La nature concurrente et hiérarchique des HDL nécessite une modélisation graphique spécifique.
• Précision Industrielle : En résolvant les problèmes de localisation de fichiers et de signaux, HDLxGraph rend les assistants IA viables pour des projets de conception de puces réels et complexes.
• Fondation pour l'Avenir : La création du benchmark HDLSearch et du framework HDLxGraph ouvre la voie à des recherches futures sur l'exploration dynamique d'AST/DFG et la représentation multi-vues des circuits.

En résumé, HDLxGraph transforme la manière dont les LLMs interagissent avec le code matériel, passant d'une correspondance textuelle approximative à une compréhension profonde de la structure et du comportement des circuits.