💬 NLP

Compiler-Driven Approximation Tuning for Hyperdimensional Computing

Cet article présente ApproxHDC, un framework piloté par compilateur qui étend l'infrastructure HPVM-HDC pour identifier et appliquer automatiquement des approximations logicielles et matérielles à fort impact sur diverses plateformes de calcul, optimisant ainsi les charges de travail de l'informatique hyperdimensionnelle pour la performance tout en maintenant la précision.

Auteurs originaux : Xavier Routh, Abdul Rafae Noor, Akash Kothari, Zheyu Li, Mahbod Afarin, Tajana Rosing, Vikram Adve

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xavier Routh, Abdul Rafae Noor, Akash Kothari, Zheyu Li, Mahbod Afarin, Tajana Rosing, Vikram Adve

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle colossal, mais au lieu de regarder une pièce à la fois, vous regardez une carte 3D géante et haute résolution de l'ensemble du puzzle. C'est ainsi que fonctionne l'Informatique Hyperdimensionnelle (HDC). Au lieu d'utiliser de minuscules nombres fragiles comme le font les ordinateurs traditionnels, l'HDC utilise de gigantesques « vecteurs » flous (imaginez des chaînes de perles massives et multicolores) pour représenter les données.

Ce qui est génial, c'est que ces chaînes de perles sont incroyablement robustes. Si vous perdez quelques perles ou si les couleurs deviennent un peu troubles (le bruit), l'image globale reste claire. Cela signifie que vous pouvez prendre des raccourcis, sauter des étapes ou utiliser des outils plus simples ou moins coûteux pour les traiter sans gâcher le résultat final.

Le Problème :
Parce qu'il existe un nombre infini de façons de « prendre des raccourcis » (comme sauter des parties du calcul, utiliser moins de perles ou utiliser des puces de mémoire moins coûteuses), le nombre de combinaisons possibles est astronomique. C'est comme essayer de trouver la recette parfaite d'un gâteau en goûtant chaque combinaison possible de farine, de sucre et d'œufs dans l'univers. Le faire à la main est impossible, et les outils existants sont soit trop généraux (comme un livre de cuisine générique), soit trop limités (comme un livre de recettes qui ne contient qu'un seul type de gâteau).

La Solution : ApproxHDC
Les auteurs ont conçu un outil appelé ApproxHDC. Considérez cela comme un sous-chef automatisé et super intelligent qui sait exactement comment ajuster la recette de l'HDC.

Voici comment il fonctionne, en utilisant des analogies simples :

Le Lecteur de Carte (Compilateur) :
D'abord, l'outil lit le programme informatique (la recette) et identifie chaque étape où l'HDC est utilisé. Il crée une carte détaillée de l'endroit où les « chaînes de perles » sont traitées.
Le Bouton de Réglage (Espace de Recherche) :
L'outil possède un immense panneau de contrôle avec des milliers de boutons. Certains boutons sont logiciels (comme dire à l'ordinateur de « ne regarder que la première moitié de la chaîne de perles » ou d'« utiliser des mathématiques plus simples »). D'autres sont matériels (comme dire à une puce de mémoire spéciale de « stocker les données avec moins de précision » ou de « les écrire plus vite mais avec un peu plus d'erreurs »).
Le Testeur de Goût (Évaluateur de QoS) :

L'outil essaie différentes combinaisons de ces boutons. Après chaque essai, il vérifie le résultat. L'ordinateur a-t-il toujours la bonne réponse ? (C'est ce qu'on appelle la « Qualité de Service » ou QoS). Si la réponse est suffisamment bonne, il conserve le changement. Si la réponse est fausse, il jette cette combinaison.

Le Sécateur (Coupe Intelligente) :
Puisqu'il y a trop de boutons pour tous les essayer, l'outil utilise l'« élagage ». C'est comme un jardinier qui sait que certaines branches d'un arbre ne porteront jamais de fruits, alors il les coupe immédiatement. L'outil permet également au développateur humain de dire : « Ne touchez pas à cette partie spécifique de la recette », ce qui aide l'outil à trouver les meilleurs réglages beaucoup plus rapidement.

Ce qu'ils ont trouvé :
L'équipe a testé cet outil sur quatre types de tâches différentes (comme la classification de lettres, le regroupement de données, l'analyse de relations et la recherche de séquences d'ADN) sur différents types d'ordinateurs (processeurs standards, cartes graphiques puissantes et puces de mémoire expérimentales).

Vitesse : L'outil a permis aux programmes de s'exécuter jusqu'à 17 fois plus vite sur des ordinateurs standards et 15 fois plus vite sur des cartes graphiques, tout en maintenant des réponses suffisamment précises pour être utiles.
Meilleur que la concurrence : Ils ont comparé cet outil à l'outil actuel le plus performant (appelé MicroHD). ApproxHDC était 3,5 fois plus rapide pour trouver les meilleurs réglages car il pouvait examiner une variété beaucoup plus large de « boutons » et de « recettes ».
Magie Matérielle : Lorsqu'ils ont testé l'outil sur des puces de mémoire expérimentales spéciales (ReRAM et PCM), ils ont trouvé des moyens de les rendre 4,7 fois plus rapides en ajustant directement les paramètres matériels, ce que d'autres outils ne pouvaient pas faire.

L'essentiel :
ApproxHDC est un système automatisé qui détermine exactement quelle quantité de « flou » ou de « raccourcis » un programme d'informatique hyperdimensionnelle peut supporter sans s'effondrer. Il permet de gagner du temps et de l'énergie en trouvant automatiquement l'équilibre parfait entre vitesse et précision, rendant ces ordinateurs inspirés par le cerveau beaucoup plus pratiques pour une utilisation dans le monde réel.

Résumé technique : Optimisation de l'approximation pilotée par compilateur pour le calcul hyperdimensionnel

Énoncé du problème

Alors que la loi de Moore atteint des limites physiques et économiques, des approches spécifiques au domaine deviennent nécessaires pour accélérer les charges de travail de l'apprentissage automatique. Le calcul hyperdimensionnel (HDC - Hyperdimensional Computing) est apparu comme un paradigme prometteur, offrant une alternative inspirée du cerveau au deep learning, avec une tolérance intrinsèque au bruit et une efficacité matérielle. Cependant, bien que les algorithmes HDC soient résilients au bruit et à l'approximation, l'espace de conception pour exploiter ces propriétés est combinatoirement vaste.

Une application HDC unique peut contenir des dizaines d'opérations primitives, chacune offrant plusieurs stratégies d'approximation (par exemple, précision réduite, itérations sautées, variantes algorithmiques). Lors du ciblage de matériels hétérogènes (CPU, GPU et accélérateurs en mémoire comme ReRAM et PCM), l'espace de recherche s'étend davantage pour inclure des réglages spécifiques au matériel tels que la résolution de l'ADC, la profondeur de l'écriture-vérification et les configurations de cellules multi-niveaux. Naviguer manuellement dans cet espace est impraticable car les configurations sont rarement transférables d'un jeu de données ou d'un backend à l'autre, et les interactions entre les opérations sont difficiles à prédire sans évaluation empirique. Les cadres existants manquent soit de support de compilateur spécifique au domaine pour les primitives HDC (par exemple, EnerJ, ApproxHPVM), soit reposent sur un ajustement d'hyperparamètres limité et non intégré au compilateur (par exemple, MicroHD), échouant ainsi à optimiser conjointement les approximations logicielles et matérielles à travers des cibles hétérogènes.

Méthodologie : ApproxHDC

Pour répondre à ces défis, les auteurs présentent ApproxHDC, un cadre automatisé pour identifier et appliquer des approximations spécifiques au domaine dans les charges de travail HDC. ApproxHDC étend l'infrastructure du compilateur HPVM-HDC existante pour permettre une compilation retargetable et un ajustement automatisé.

Architecture du système

Le cadre fonctionne via un processus de compilation et d'ajustement en boucle fermée :

Identification des primitives HDC : Un passage du compilateur effectue une analyse statique du code source HDC++ pour identifier tous les appels de primitives HDC. Il extrait les métadonnées contextuelles (fonction, bloc de base, ordre d'exécution) et génère une représentation JSON structurée des opérations du programme.
Construction de l'espace de conception de l'approximation : Le système de réglage ApproxHDC (implémenté en Python avec OpenTuner) construit un espace de recherche englobant à la fois les approximations logicielles et matérielles.
- Approximations logicielles : Comprend la perforation de réduction (sauter des itérations de boucle dans les opérations de réduction), la binarisation automatique (conversion des hypervecteurs en représentations de bits uniques compactées), le réglage de la dimensionnalité de l'encodage, la représentation du type d'élément (par exemple, de FP32 à INT8) et le choix algorithmique (par exemple, similitude cosinus vs distance de Hamming).
- Approximations matérielles : Pour les accélérateurs en mémoire (ReRAM/PCM), le système modélise des réglages tels que la résolution de l'ADC, les cycles d'écriture-vérification, l'échelle de quantification analogique et les bits de cellules multi-niveaux (MLC).
Élagage de l'espace de recherche : Pour rendre la recherche traitable, ApproxHDC emploie deux stratégies :
- Élagage conscient du domaine : Le système tire parti des connaissances du HDC pour éliminer les régions peu prometteuses (par exemple, en reconnaissant que certaines étapes d'encodage sont trop sensibles à l'approximation).
- Élagage guidé par le développeur : Les développeurs peuvent utiliser des annotations de source légères (__hetero_hdc_no_approx) pour exclure des primitives ou des sous-graphes spécifiques de l'espace de recherche, empêchant le régleur de perdre du temps sur des étapes critiques et peu tolérantes.
Réglage itératif : Le système explore empiriquement les configurations, mesurant les métriques de Qualité de Service (QoS) (par exemple, précision, score NMI), le temps d'exécution et l'énergie. Il réinsère les annotations d'approximation sélectionnées dans le code source, recompile via HPVM-HDC, et itère jusqu'à ce qu'un budget de temps ou une limite de convergence soit atteint.

Principales contributions

Le document présente quatre contributions majeures :

Cadre ApproxHDC : Un système d'auto-réglage qui automatise la sélection de l'approximation pour optimiser conjointement la performance globale, l'énergie et la QoS sur des matériels hétérogènes (CPU, GPU et accélérateurs simulés ReRAM/PCM).
Support logiciel-matériel unifié : Le premier cadre intégrant les réglages d'accélérateurs en mémoire dans une boucle de réglage pilotée par le compilateur, traitant à la fois les transformations logicielles et les paramètres de niveau matériel comme des dimensions de premier rang de l'espace de recherche.
Techniques d'élagage spécifiques au HDC : Méthodes permettant de réduire l'espace de recherche de l'approximation jusqu'à 86 ordres de grandeur (par exemple, réduisant un espace de $10^{89}$ à $10^3$ ). Cela combine un élagage automatique conscient du domaine avec des annotations de développeurs, permettant la découverte de configurations de haute qualité en quelques minutes.
Évaluation complète : Évaluation étendue sur quatre benchmarks (HD-Classification, HD-Clustering, RelHD, HD-HashTable) et plusieurs jeux de données, démontrant des accélérations significatives tout en respectant les contraintes de QoS spécifiées par l'utilisateur.

Résultats expérimentaux

L'évaluation a été menée sur des CPU AMD EPYC, des GPU NVIDIA RTX 2080 Ti et un simulateur SpecPCM.

Accélérations de performance : ApproxHDC a obtenu des accélérations allant jusqu'à 17,25× sur les CPU, 15,02× sur les GPU et 4,69× sur SpecPCM tout en respectant les contraintes de QoS (généralement dans une limite de 5 % de perte de précision ou de seuils NMI spécifiques).
Comparaison avec l'état de l'art : Comparé au framework MicroHD (une approche Python non pilotée par compilateur), ApproxHDC a démontré un avantage de vitesse de 3,49×. Dans un benchmark de classification spécifique, ApproxHDC a trouvé une configuration offrant une accélération de 24,65× (avec 4,8 % de perte de précision) par rapport à la meilleure accélération de 7,07× de MicroHD. Cet écart est attribué à la capacité d'ApproxHDC à explorer la perforation de réduction par opération et les choix algorithmiques auxquels MicroHD ne pouvait accéder.
Efficacité de la recherche : Les techniques d'élagage ont été critiques ; sans elles, l'espace de recherche était trop vaste pour trouver des configurations optimales dans le budget de réglage de 3 heures. Par exemple, dans HD-Classification, l'activation de la perforation de réduction complète sans indices empêchait le régleur de trouver des configurations performantes, tandis que la configuration "End-only + hint" a réussi à identifier les paramètres optimaux.
Approximation matérielle : Sur SpecPCM, le régleur a réussi à équilibrer les réglages matériels (par exemple, réduire la résolution de l'ADC, ajuster les échelles de quantification) avec les paramètres logiciels (par exemple, réduire les itérations d'entraînement) pour obtenir des réductions significatives d'énergie et de latence avec un impact minimal sur la précision.

Signification et affirmations

Le papier affirme qu'ApproxHDC comble le fossé entre la tolérance théorique au bruit du HDC et la difficulté pratique du réglage manuel d'espaces d'approximation complexes. En traitant l'approximation comme un processus automatisé piloté par le compilateur plutôt que comme une tâche d'ingénierie manuelle, le cadre permet :

La retargetabilité : Une application HDC++ unique peut être optimisée pour divers backends matériels sans maintenir plusieurs versions spécifiques à chaque cible.
La scalabilité : La capacité de naviguer dans un espace de conception exponentiellement large grâce à un élagage intelligent, rendant l'ajustement automatisé faisable pour des applications réelles.
L'optimisation holistique : La capacité unique de joindre l'optimisation des approximations logicielles et matérielles, en tirant parti de la résilience spécifique du HDC au bruit tant au niveau algorithmique qu'au niveau physique.

Les auteurs soulignent qu'aucune stratégie d'élagage unique n'atteint uniformément la performance la plus élevée pour toutes les applications, ce qui souligne l'importance de fournir aux développeurs des mécanismes pour guider productivement la recherche. Ce travail démontre qu'avec la bonne infrastructure de compilateur et les bonnes stratégies de réglage, le HDC peut atteindre des gains substantiels de performance et d'énergie sur des plateformes hétérogènes tout en maintenant une qualité d'inférence acceptable.