💬 NLP

Compiler-Driven Approximation Tuning for Hyperdimensional Computing

Dit artikel introduceert ApproxHDC, een compilergestuurd framework dat de HPVM-HDC-infrastructuur uitbreidt om automatisch impactvolle software- en hardware-benaderingen toe te passen over diverse computerplatforms, waardoor Hyperdimensional Computing-workloads worden geoptimaliseerd voor prestaties terwijl de nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Xavier Routh, Abdul Rafae Noor, Akash Kothari, Zheyu Li, Mahbod Afarin, Tajana Rosing, Vikram Adve

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xavier Routh, Abdul Rafae Noor, Akash Kothari, Zheyu Li, Mahbod Afarin, Tajana Rosing, Vikram Adve

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme puzzel probeert op te lossen, maar in plaats van naar één stukje tegelijk te kijken, kijk je naar een gigantische, hoog-resolutie 3D-kaart van de hele puzzel. Dit is hoe Hyperdimensional Computing (HDC) werkt. In plaats van kleine, fragiele getallen zoals traditionele computers gebruiken, gebruikt HDC enorme, vage "vectoren" (denk aan enorme, veelkleurige snoeren van kralen) om gegevens te representeren.

Het coole aan deze kralensnoeren is dat ze ongelooflijk taai zijn. Als je een paar kralen verliest of de kleuren een beetje modderig worden (ruis), blijft het algemene beeld nog steeds duidelijk. Dit betekent dat je kortere wegen kunt nemen, stappen kunt overslaan of goedkopere, vager gereedschappen kunt gebruiken om ze te verwerken zonder het uiteindelijke antwoord te verpesten.

Het Problem:
Omdat er zoveel manieren zijn om "kortere wegen te nemen" (zoals het overslaan van delen van de berekening, minder kralen gebruiken of goedkopere geheugenchips gebruiken), is het aantal mogelijke combinaties astronomisch. Het is alsof je probeert het perfecte recept voor een cake te vinden door elke mogelijke combinatie van bloem, suiker en eieren in het universum te proeven. Dit met de hand doen is onmogelijk, en bestaande tools zijn ofwel te algemeen (zoals een generiek kookboek) of te beperkt (zoals een receptenboek dat slechts één cake bevat).

De Oplossing: ApproxHDC
De auteurs hebben een tool gebouwd genaamd ApproxHDC. Denk aan dit als een super-slimme, geautomatiseerde sous-chef die precies weet hoe hij het recept voor HDC moet aanpassen.

Zo werkt het, gebruikmakend van eenvoudige analogieën:

De Kaartlezer (Compiler):
Eerst leest de tool het computerprogramma (het recept) en identificeert elke stap waar HDC wordt gebruikt. Het maakt een gedetailleerde kaart van waar de "kralensnoeren" worden verwerkt.
De Regelknop (Search Space):
De tool heeft een gigantisch bedieningspaneel met duizenden knoppen. Sommige knoppen zijn softwarematig (zoals de computer vertellen om "alleen naar de eerste helft van de kralensnoer te kijken" of "eenvoudiger rekenwerk te gebruiken"). Andere zijn hardwarematig (zoals een speciale geheugenchip vertellen om "gegevens met minder precisie op te slaan" of "het sneller te schrijven maar met een klein beetje meer fouten").
De Proever (QoS Evaluator):
De tool probeert verschillende combinaties van deze knoppen uit. Na elke poging controleert het resultaat. Kreeg de computer nog steeds het juiste antwoord? (Dit wordt de "Quality of Service" of QoS genoemd). Als het antwoord goed genoeg is, houdt het de wijziging aan. Als het antwoord fout is, gooit het die combinatie weg.
De Snoeischaar (Smart Cutting):
Omdat er te veel knoppen zijn om ze allemaal te proberen, gebruikt de tool "pruning" (snoeien). Het is als een tuinman die weet dat bepaalde takken van een boom nooit vrucht zullen dragen, dus hij knipt ze direct af. De tool laat de menselijke ontwikkelaar ook zeggen: "Raak dit specifieke deel van het recept niet aan," wat de tool helpt om veel sneller de beste instellingen te vinden.

Wat Ze Vonden:
Het team heeft deze tool getest op vier verschillende soorten taken (zoals het classificeren van letters, het groeperen van gegevens, het analyseren van relaties en het doorzoeken van DNA-sequenties) op verschillende soorten computers (standaard CPU's, krachtige GPU's en experimentele geheugenchips).

Snelheid: De tool maakte de programma's tot wel 17 keer sneller op standaardcomputers en 15 keer sneller op grafische kaarten, terwijl de antwoorden accuraat genoeg bleven om nuttig te zijn.
Beter dan de Concurrentie: Ze vergeleken het met de huidige beste tool (genaamd MicroHD). ApproxHDC was 3,5 keer sneller in het vinden van de beste instellingen omdat het naar een veel breder scala aan "knoppen" en "recepten" kon kijken.
Hardware Magie: Wanneer ze de tool testten op speciale experimentele geheugenchips (ReRAM en PCM), vond het manieren om deze 4,7 keer sneller te maken door de hardware-instellingen direct aan te passen, iets wat andere tools niet konden.

De Kernboodschap:
ApproxHDC is een geautomatiseerd systeem dat uitzoekt hoeveel "vaagheid" of "short-cuts" een Hyperdimensional Computing-programma kan verdragen zonder kapot te gaan. Het bespaart tijd en energie door automatisch de perfecte balans tussen snelheid en nauwkeurigheid te vinden, waardoor deze door het brein geïnspireerde computers veel praktischer worden voor echt wereldgebruik.

Technische Samenvatting: Compiler-gestuurde Benaderingsoptimalisatie voor Hyperdimensionale Computing

Probleemstelling

Nu de Wet van Moore de fysieke en economische grenzen bereikt, zijn domeinspecifieke benaderingen steeds noodzakelijker om machine learning-workloads te versnellen. Hyperdimensionale Computing (HDC) is opgekomen als een veelbelovend paradigma, dat een brein-geïnspireerde alternatieve methode biedt voor deep learning met inherente ruisbestendigheid en hardware-efficiëntie. Hoewel HDC-algoritmen echter veerkrachtig zijn tegen ruis en benadering, is de ontwerpplek voor het exploiteren van deze eigenschappen combinatorisch groot.

Een enkele HDC-applicatie kan tientallen primitieve operaties bevatten, die elk meerdere benaderingsstrategieën bieden (bijv. verminderde precisie, overgeslagen iteraties, algoritmische varianten). Bij het richten op heterogene hardware (CPU's, GPU's en in-memory versnellers zoals ReRAM en PCM) breidt de zoekruimte zich verder uit naar hardware-specifieke knoppen zoals ADC-resolutie, write-verify diepte en multi-level celconfiguraties. Het handmatig navigeren door deze ruimte is onpraktisch omdat configuraties zelden overdragen naar andere datasets of backends, en interacties tussen operaties moeilijk te voorspellen zijn zonder empirische evaluatie. Bestaande frameworks missen ofwel domeinspecifieke compiler-ondersteuning voor HDC-primitieven (bijv. EnerJ, ApproxHPVM), of vertrouwen op beperkte, niet-compiler-geïntegreerde hyperparameter-tuning (bijv. MicroHD), waardoor ze software- en hardware-benaderingen niet gezamenlijk kunnen optimaliseren over heterogene targets.

Methodologie: ApproxHDC

Om deze uitdagingen aan te pakken, presenteren de auteurs ApproxHDC, een geautomatiseerd framework voor het identificeren en toepassen van domeinspecifieke benaderingen in HDC-workloads. ApproxHDC breidt de bestaande HPVM-HDC compiler-infrastructuur uit om retargetbare compilatie en automatische tuning mogelijk te maken.

Systeemarchitectuur

Het framework werkt via een gesloten lus van compilatie en tuning:

Identificatie van HDC-primitieven: Een compiler-pass voert statische analyse uit op HDC++ broncode om alle HDC-primitief-aanroepen te identificeren. Het extraheert contextuele metadata (functie, basic block, executievolgorde) en genereert een gestructureerde JSON-representatie van de operaties van het programma.
Constructie van de benaderingsontwerpplek: Het ApproxHDC Tuning System (geïmplementeerd in Python met OpenTuner) construeert een zoekruimte die zowel software- als hardware-benaderingen omvat.
- Software-benaderingen: Omvat Reduction Perforation (het overslaan van loop-iteraties in reductie-operaties), Automatic Binarization (het converteren van hypervectoren naar gepakte single-bit representaties), Encoding Dimensionality tuning, Element Type Representation (bijv. FP32 naar INT8), en Algorithmic Choice (bijv. Cosine Similarity versus Hamming Distance).
- Hardware-benaderingen: Voor in-memory versnellers (ReRAM/PCM) modelleert het systeem knoppen zoals ADC-resolutie, write-verify cycli, analoge kwantiseringsschaal en Multi-Level Cell (MLC) bits.
Afzwaaien van de zoekruimte (Pruning): Om de zoekruimte beheersbaar te maken, gebruikt ApproxHDC twee strategieën:
- Domeinbewuste afzwaaiing: Het systeem maakt gebruik van kennis van HDC om onbelovende regio's te elimineren (bijv. het herkennen dat bepaalde coderingfasen te gevoelig zijn voor benadering).
- Door ontwikkelaars gestuurde afzwaaiing: Ontwikkelaars kunnen lichte broncode-annotaties (__hetero_hdc_no_approx) gebruiken om specifieke primitieven of subgrafen uit de zoekruimte uit te sluiten, om te voorkomen dat de tuner tijd verspilt aan kritieke, minder tolerante fasen.
Iteratieve Tuning: Het systeem verkent empirisch configuraties door Quality-of-Service (QoS) metrieken (bijv. nauwkeurigheid, NMI-score), executietijd en energie te meten. Het voegt de geselecteerde benaderingsannotaties terug in de broncode, compileert opnieuw via HPVM-HDC, en iteratert totdat een tijdbudget of convergentielimiet is bereikt.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

ApproxHDC Framework: Een auto-tuning systeem dat de selectie van benaderingen automatiseert om end-to-end prestaties, energie en QoS te optimaliseren over heterogene hardware (CPU's, GPU's en gesimuleerde ReRAM/PCM-versnellers).
Verenigde Software-Hardware Ondersteuning: Het eerste framework dat in-memory versneller-knoppen integreert in een compiler-gestuurde tuning-lus, waarbij zowel software-transformaties als hardware-niveau parameters als eerste-orde dimensies van de zoekruimte worden behandeld.
HDC-specifieke Afzwaaiingstechnieken: Methoden om de benaderingszoekruimte met wel 86 grootheden te verkleinen (bijv. een ruimte van $10^{89}$ reduceren tot $10^3$ ). Dit combineert automatische domeinbewuste afzwaaiing met ontwikkelaars-annotaties, wat het ontdekken van hoogwaardige configuraties binnen minuten mogelijk maakt.
Uitgebreide Evaluatie: Uitgebreide evaluatie over vier benchmarks (HD-Classification, HD-Clustering, RelHD, HD-HashTable) en meerdere datasets, die significante versnellingen aantoont terwijl aan door de gebruiker gespecificeerde QoS-beperkingen wordt voldaan.

Experimentele Resultaten

De evaluatie werd uitgevoerd op AMD EPYC CPU's, NVIDIA RTX 2080 Ti GPU's en een SpecPCM-simulator.

Prestatieverbeteringen: ApproxHDC behaalde tot wel 17,25× versnelling op CPU's, 15,02× op GPU's en 4,69× op SpecPCM terwijl aan de QoS-beperkingen werd voldaan (meestal binnen 5% nauwkeurigheidsverlies of specifieke NMI-drempels).
Vergelijking met State-of-the-Art: Vergeleken met het MicroHD-framework (een Python-gebaseerde, niet-compiler-benadering), toonde ApproxHDC een 3,49× snelheidvoordeel. In een specifieke classificatie-benchmark vond ApproxHDC een configuratie die een 24,65× versnelling opleverde (met 4,8% nauwkeurigheidsverlies) vergeleken met de beste 7,07× versnelling van MicroHD. Dit gat werd toegeschreven aan het vermogen van ApproxHDC om per-operatie reduction perforation en algoritmische keuzes te verkennen die MicroHD niet kon bereiken.
Zoekefficiëntie: De afzwaaiingstechnieken waren cruciaal; zonder deze was de zoekruimte te groot om optimale configuraties te vinden binnen het 3-uur durende tuning-budget. Bijvoorbeeld, in HD-Classification voorkwam het inschakelen van volledige reduction perforation zonder hints dat de tuner hoogwaardige prestatieconfiguraties vond, terwijl de "End-only + hint" configuratie erin slaagde optimale instellingen te identificeren.
Hardware-benadering: Op SpecPCM slaagde de tuner erin om hardware-knoppen (bijv. het reduceren van de ADC-resolutie, het aanpassen van kwantiseringsschalen) te balanceren met softwareparameters (bijv. het reduceren van trainingsiteraties) om significante energie- en latentiereducties te bereiken met minimale impact op de nauwkeurigheid.

Betekenis en Claims

Het artikel beweert dat ApproxHDC de kloof overbrugt tussen de theoretische ruisbestendigheid van HDC en de praktische moeilijkheid van het handmatig afstemmen van complexe benaderingsruimtes. Door benadering te behandelen als een compiler-gestuurd, geautomatiseerd proces in plaats van een handmatige engineeringtaak, maakt het framework het volgende mogelijk:

Retargetbaarheid: Een enkele HDC++ applicatie kan worden geoptimaliseerd voor diverse hardware-backends zonder meerdere doel-specifieke versies te hoeven onderhouden.
Schaalbaarheid: Het vermogen om door een exponentieel grote ontwerpplek te navigeren via intelligente afzwaaiing, wat automatische tuning haalbaar maakt voor real-world applicaties.
Holistische Optimalisatie: Het unieke vermogen om zowel software- als hardware-benaderingen gezamenlijk te optimaliseren, waarbij gebruik wordt gemaakt van de specifieke veerkracht van HDC tegen ruis in zowel de algoritmische als de fysieke lagen.

De auteurs benadrukken dat geen enkele afzwaaiingsstrategie uniform de hoogste prestaties bereikt voor alle applicaties, wat het belang onderstreept van mechanismen waarmee ontwikkelaars de zoektocht productief kunnen sturen. Het werk demonstreert dat met de juiste compiler-infrastructuur en tuning-strategieën, HDC substantiële prestatie- en energieverbeteringen kan bereiken op heterogene platforms, terwijl de acceptabele inferentiekwaliteit behouden blijft.