🤖 machine learning

ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures

ThRIve is een ruisbewuste trainingsmethodologie die gebruikmaakt van low-rank adaptatie om kritieke parameters op thermisch stabiele hardware op te slaan, waardoor CNN-inferentie op heterogene PIM-architecturen een hoge nauwkeurigheid kan behouden over variërende temperaturen terwijl een reductie van tot 5,4x in de energie-vertraging-product wordt bereikt vergeleken met op SRAM gebaseerde systemen.

Oorspronkelijke auteurs: Vibhanshu Sharma, Pratyush Dhingra, Janardhan Rao Doppa, Partha Pratim Pande

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vibhanshu Sharma, Pratyush Dhingra, Janardhan Rao Doppa, Partha Pratim Pande

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een super-snelle, super-efficiënte hersenpan te bouwen voor je telefoon of een slimme robot. Al een lange tijd zijn computers als een bibliothecaris die heen en weer moet rennen tussen de bibliotheekplanken (geheugen) en de leestafel (processor) om boeken te halen. Dit heen en weer rennen kost veel energie en tijd. Wetenschappers dromen al lang van een "Processing-in-Memory" (PIM) systeem, waarbij de bibliothecaris direct op de plank zit en leest en nadenkt zonder ooit weg te gaan. Dit is ongelooflijk efficiënt, vooral voor de zware wiskunde die nodig is om Kunstmatige Intelligentie (AI) aan te sturen.

Echter, er is een addertje onder het gras. De nieuwe soort "planken" die wetenschappers gebruiken om deze hersenpannen te bouwen, zijn gemaakt van speciale materialen die geweldig zijn in het opslaan van gegevens, maar zeer gevoelig zijn voor hitte. Denk aan chocoladerepen die in de zon zijn achtergelaten; naarmate ze warmer worden, begint de chocolade te smelten en van vorm te veranderen. In deze computerchips zorgt hitte ervoor dat de opgeslagen informatie (de "kennis" van de AI) gaat wiebelen en vervormen. Deze "thermische ruis" zorgt ervoor dat de AI fouten begint te maken, zoals een student die het antwoord weet maar afgeleid wordt door een zoemende vlieg. De grote vraag is: hoe houden we deze super-efficiënte AI-hersenen perfect werkend, zelfs wanneer ze warm worden en de informatie begint te smelten?

Hier komt een team van onderzoekers met een slimme oplossing genaamd ThRIve. Ze realiseerden zich dat het proberen te repareren van de smeltende chocolade door de hele kamer te koelen te traag en te duur is. In plaats daarvan kwamen ze met een tweeledige strategie die hardware en software combineert. Eerst gebruiken ze een techniek genaamd Low-Rank Adaptation (LoRA). Stel je voor dat het AI-model een gigantische, zware encyclopedie is. In plaats van de hele tekst elke keer dat de temperatuur verandert opnieuw te schrijven (wat traag zou zijn en het papier zou doen slijten), schrijven ze kleine, flexibele briefjes met correcties op ze. Deze briefjes zijn klein, gemakkelijk te verplaatsen en kunnen snel worden bijgewerkt.

Het tweede deel van de truc is waar ze deze briefjes plaatsen. De zware encyclopedie blijft op de "smeltende" planken (het hittegevoelige geheugen), maar de kleine, cruciale briefjes worden op een andere, super-stevige plank bewaard die gemaakt is van een materiaal dat niet smelt in de hitte (een type geheugen genaamd SRAM). De AI leest het zware boek en de briefjes tegelijkertijd en combineert ze om het juiste antwoord te krijgen. Om ervoor te zorgen dat deze briefjes voor elke temperatuur werken, gebruikten de onderzoekers een slimme zoekmethode genaamd Bayesian Optimization. In plaats van willekeurige temperaturen te raden om de AI te trainen, werkt deze methode als een detective die de specifieke "worst-case" scenario's van hitte opspoort en de AI leert hoe ze deze efficiënt kan afhandelen.

De resultaten van hun experimenten zijn zeer veelbelovend. Toen ze het ThRIve-systeem testten op verschillende AI-modellen en hardware-opstellingen, ontdekten ze dat de AI zelfs wanneer de temperatuur wild schommelde, de nauwkeurigheid kon behouden. Sterker nog, de gemiddelde nauwkeurigheid bleef binnen 2% van wat het zou zijn in een perfecte, ruisvrije wereld, en de variatie in nauwkeurigheid over het hele temperatuurbereik bleef binnen 2% van dat gemiddelde. Dit betekent dat de AI niet in de war raakte of dingen vergat simpelweg omdat het warm werd. Bovendien bespaarden ze, door de zware data op de efficiënte, hittegevoelige planken te houden en alleen de stevige planken te gebruiken voor de kleine correcties, een enorme hoeveelheid energie en tijd. In sommige tests was het systeem tot wel 5,4 keer efficiënter (in termen van energie-vertragingproduct) dan het gebruik van alleen de stevige, niet-smeltende planken.

De onderzoekers toonden ook aan dat oudere methoden om dit probleem op te lossen — zoals het proberen te hertrainen van het hele AI-model voor elke temperatuur of simpelweg hopen dat de AI zich ter plekke aanpast — niet zo goed werkten. Die oudere benaderingen leidden er vaak toe dat de AI "vergat" hoe ze met koelere temperaturen moest omgaan terwijl ze probeerde te leren van hete temperaturen. ThRIve daarentegen lijkt goed te generaliseren; het handelt het hele temperatuurbereik af zonder dat er constant opnieuw getraind hoeft te worden. Hoewel deze bevindingen voortkomen uit simulaties en computermodellen en niet uit fysieke chips in een echt apparaat, suggereren de gegevens dat deze combinatie van slimme software en hardware van gemengde materialen een sleutel kan zijn tot betrouwbare, energiezuinige AI voor onze toekomstige apparaten.

Technische Samenvatting: ThRIve – Thermisch Robuuste CNN-inferentie via Low-Rank Adaptatie in Heterogene PIM-architecturen

1. Probleemstelling

Processing-in-Memory (PIM) architecturen, met name die gebruikmaken van Non-Volatile Memory (NVM) apparaten zoals ReRAM, PCM en FeFET, bieden significante voordelen voor energie-efficiëntie en prestaties bij het versnellen van Machine Learning (ML) workloads door Matrix-Vector Multiplicatie (MVM) direct binnen geheugenarrays uit te voeren. Echter, deze op NVM gebaseerde apparaten lijden aan inherente niet-idealiteiten, waarbij thermische ruis een kritieke uitdaging vormt. Thermische ruis verandert de opgeslagen waarden in geheugencellen (die overeenkomen met modelgewichten) naarmate de temperatuur fluctueert, wat leidt tot een degradatie in de inferentie-nauwkeurigheid.

Bestaande mitigatiestrategieën, zoals Noise-Aware Training (NAT), proberen modelgewichten aan te passen aan specifieke ruisniveaus. Deze methoden kampen echter met twee primaire beperkingen:

Gebrek aan Generaliseerbaarheid: Huidige NAT-technieken worden doorgaans offline op GPU's getraind op discrete temperatuurpunten (bijv. 25°C, 35°C). Wanneer deze "ruisbewuste" gewichten op NVM-crossbars worden geïmplementeerd, worden ze nog steeds blootgesteld aan thermische ruis bij ongeziene temperaturen, wat leidt tot verdere afwijking en nauwkeurigheidsverlies.
Hardware-overhead en Endurance: Het opslaan van alle modelparameters in een thermisch veerkrachtige omgeving (zoals SRAM) om robuustheid te garanderen, brengt prohibitieve hardware-overhead met zich mee. Daarentegen is frequente on-device hertraining om zich aan veranderende temperaturen aan te passen onpraktisch vanwege de beperkte schrijf-endurance van NVM-apparaten.

2. Methodologie: ThRIve Framework

De auteurs stellen ThRIve voor, een hardware-software co-design methodologie die gebruikmaakt van Low-Rank Adaptation (LoRA) binnen heterogene NVM-CMOS PIM-architecturen om thermisch robuuste inferentie te bereiken.

2.1 Hardware Strategie: Heterogene Opslag

ThRIve maakt gebruik van de complementaire sterktes van verschillende geheugentechnologieën:

NVM (ReRAM, PCM, FeFET): Slaat de originele, vooraf getrainde model basisgewichten op. Deze bieden hoge dichtheid en energie-efficiëntie, maar zijn gevoelig voor thermische ruis.
SRAM (CMOS-gebaseerd): Slaat de ruisbewuste LoRA-parameters op. SRAM is thermisch veerkrachtig en minder gevoelig voor temperatuurgeïnduceerde gewichtafwijkingen.

Tijdens inferentie berekent het systeem de output als de som van twee parallelle paden:

De basismodelberekening met ruizige gewichten op de NVM-crossbar.
De LoRA-adaptatieberekening met stabiele gewichten op de SRAM-crossbar.
De uiteindelijke activatie wordt afgeleid van de sommatie van deze outputs, waardoor de door thermische ruis veroorzaakte fouten effectief worden gecorrigeerd zonder de basis NVM-gewichten te wijzigen.

2.2 Algoritmische Strategie: Bayesian Optimization-gestuurde NAT

Om het model effectief te trainen over een continu temperatuurbereik zonder uitputtende hertraining, gebruikt ThRIve een min-max optimalisatiekader gestuurd door Bayesian Optimization (BO):

LoRA Parameterisatie: Het model wordt aangepast door low-rank matrices ( $A$ en $B$ ) toe te voegen aan de bevroren basisgewichten. Het effectieve gewicht wordt $W_{effective} = W_{noisy} + BA$ .
Min-Max Optimalisatie: Het doel is om LoRA-parameters te vinden die de voorspellingsverlies minimaliseren, zelfs onder de "worst-case" thermische ruisomstandigheden.
- Maximalisatie (Inner Loop): BO zoekt adaptief in de continue temperatuur/ruisruimte om het specifieke ruisniveau (temperatuur) te identificeren dat de maximale voorspellingsverlies veroorzaakt voor het huidige model.
- Minimalisatie (Outer Loop): Het model wordt opnieuw getraind met LoRA backpropagation specifiek op dit geïdentificeerde worst-case ruisniveau om de loss te verminderen.
Efficiëntie: Dit iteratieve proces voorkomt de noodzaak om op elk mogelijk temperatuurpunt te trainen of te vertrouwen op sequentieel leren, wat vaak lijdt aan catastrofale vergetelheid.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

LoRA Integratie voor Thermische Robuustheid: Het voorstel om LoRA te gebruiken binnen heterogene NVM-CMOS architecturen. Dit vermindert de opslagoverhead die vereist is voor thermische robuustheid aanzienlijk, aangezien slechts een klein deel van de parameters (de low-rank matrices) op de thermisch veerkrachtige SRAM hoeft te worden opgeslagen, terwijl het grootste deel van het model op energie-efficiënte NVM blijft.
Efficiënte BO-gestuurde NAT: De ontwikkeling van een Bayesian Optimization-gestuurde trainingsmethodologie. Deze aanpak selecteert adaptief representatieve ruisniveaus voor training, waardoor de LoRA-matrices generaliseren naar ongeziene temperaturen zonder de basisparameters te wijzigen of frequente on-device hertraining te vereisen, waardoor de NVM schrijf-endurance behouden blijft.
Prestatie- en Robuustheidsvalidatie: Experimentele demonstratie dat ThRIve-enabled architecturen een consistente inferentie-nauwkeurigheid behouden over het gehele operationele temperatuurbereik (300K–400K), waarbij ze bestaande NAT-methoden overtreffen en prestaties leveren die vergelijkbaar zijn met all-SRAM systemen, maar met aanzienlijk lagere energiekosten.

4. Experimentele Resultaten

De methodologie werd geëvalueerd met behulp van CNN-modellen (VGG16, ResNet18, MobileNetv3_Small) op datasets (CIFAR-10, CIFAR-100, TinyImageNet) over heterogene PIM-architecturen (HyperX, HyDE, HuNT).

Nauwkeurigheid: ThRIve-enabled architecturen behielden een gemiddelde inferentie-nauwkeurigheid binnen 2% van de ideale (ruisvrije) nauwkeurigheid. Bovendien bleef de variatie in nauwkeurigheid over het gehele operationele temperatuurbereik binnen 2% van de gemiddelde waarde. Deze consistentie werd bereikt over ReRAM, PCM en FeFET-gebaseerde systemen.
Vergelijking met Baselines: In tegen tegenstelling tot bestaande NAT-methoden (bijv. TRRIMC, BN OTF) die aanzienlijke nauwkeurigheidsdalingen en hoge range-deviaties vertoonden door catastrofale vergetelheid en gebrek aan generalisatie, bood ThRIve stabiele prestaties over alle temperaturen.
Energy-Delay Product (EDP): ThRIve bereikte nauwkeurigheid en robuustheid vergelijkbaar met thermisch veerkrachtige SRAM-gebaseerde PIM-systemen, maar leverde substantiële efficiëntiewinsten:
- Tot ~5.4× reductie in EDP op HuNT-architecturen.
- Tot ~4.8× reductie in EDP op HyperX-architecturen.
- Tot ~2.8× reductie in EDP op HyDE-architecturen.
Rank Analyse: De studie bepaalde optimale rank-proporties ( $P$ ) voor LoRA-matrices (bijv. $P=1/12$ voor ReRAM, $1/14$ voor PCM, $1/16$ voor FeFET) om een balans te vinden tussen nauwkeurigheid en EDP-overhead.

5. Betekenis en Claims

Het artikel claimt dat ThRIve een kritieke kloof in de state-of-the-art vult door gegeneraliseerde thermische robuustheid voor NVM-gebaseerde PIM-systemen mogelijk te maken. Door de opslag van ruisbewuste parameters te ontkoppelen van de ruizige geheugen-substraat, elimineert ThRIve de noodzaak voor frequente on-device hertraining en de daarmee gepaard gaande endurance-penalties.

De auteurs stellen dat hun aanpak heterogene PIM-architecturen levensvatbaar maakt voor real-world edge AI-implementaties, waar operationele temperaturen fluctueren. De methodologie biedt een praktische afweging, waarbij de thermische veerkracht van all-SRAM systemen wordt geleverd met de hoge dichtheid en energie-efficiëntie van NVM-technologieën, wat betrouwbare ML-inferentie in thermisch variabele omgevingen mogelijk maakt zonder de energie-efficiëntie in gevaar te brengen.