⚡ electrical engineering

Time Domain Near Memory Computing Engine

Dit artikel presenteert een tijd-domein near-memory computing-architectuur die digitale gewichten en invoer omzet in tijd-domein signalen voor efficiënte low-precision MAC-bewerkingen, met een energie-efficiëntie van 7,62 TOPS/W, waarbij analoge en digitale ontwerpafwegingen in evenwicht worden gebracht om de perifere overhead te minimaliseren.

Oorspronkelijke auteurs: Sarthak Antal, Steve Enosh

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sarthak Antal, Steve Enosh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke keuken runt. In een traditionele keuken moet de chef (de computerprocessor) constant heen en weer rennen naar de voorraadkast (het geheugen) om ingrediënten (data) te halen, ze te bereiden en vervolgens weer terug te rennen naar de voorraadkast voor de volgende batch. Dit heen en weer rennen kost enorm veel energie en tijd.

Dit artikel stelt een nieuwe manier voor om de keuken te runnen: Near-Memory Computing. In plaats dat de chef naar de voorraadkast rent, zetten we een kleine voorbereidingspost direct naast de voorraadkast op. De ingrediënten zijn er al, dus de chef kan direct beginnen met koken zonder de vermoeiende renpartij.

De auteurs merkten echter op dat zelfs met de voorbereidingspost de manier waarop we ingrediënten meten en mengen inefficiënt kan zijn. Zij stellen twee nieuwe manieren voor om de "menging" (wiskunde) uit te voeren met behulp van Tijd in plaats van alleen standaard elektriciteit.

Hier is de uiteenzetting van hun idee met behulp van eenvoudige analogieën:

Het Kernprobleem: De "Spannings" Flesnek

Computers doen wiskunde meestal door de hoogte van een waterpeil (spanning) te veranderen. Als je zeer nauwkeurig wilt zijn, moet je kleine verschillen in waterhoogte meten. Maar het meten van kleine verschillen vereist enorme, energievretende pompen en zeer grote emmers (condensatoren) om het water stabiel te houden. Naarmate je probeert nauwkeuriger te worden, stijgen de energiekosten exponentieel.

De Oplossing: De "Tijd" Schakelaar

De auteurs zeggen: "Waarom meten we de hoogte van het water? Laten we meten hoe lang het water stroomt."

Ze bouwden een systeem waarbij:

De Gewichten (Recepten): Deze worden in het geheugen opgeslagen en omgezet in een constante waterstroom (stroom) door een speciale klep (een DAC).
De Invoer (Bestellingen): Deze worden omgezet in een timer. In plaats van een specifieke waterhoogte, telt het systeem hoeveel seconden de klep open staat.
De Vermenigvuldiging: Als je een constante waterstroom hebt en je laat deze een specifieke tijd stromen, is de totale hoeveelheid opgevangen water het resultaat van de wiskunde.
- Analogie: Stel je voor dat je een emmer vult. Het "Recept" bepaalt hoe breed de kraan is. De "Bestelling" bepaalt hoe lang je de kraan open laat staan. De totale hoeveelheid water in de emmer is het antwoord.

De Twee "Meng" Methoden

Zodra het water is opgevangen, moeten ze de resultaten van veel verschillende recepten optellen. Ze testten twee manieren om dit te doen:

Methode 1: De "Domino Ketting" (Delay-Cell Architectuur)

Hoe het werkt: Stel je een rij dominostenen voor. De eerste steen valt, wat de tweede activeert, wat de derde activeert. In dit systeem bepaalt de hoeveelheid water die uit elk recept is opgevangen hoe snel een specifieke domino valt.
Het Proces: Je duwt de eerste domino en deze reist door de rij. De totale tijd die het duurt voordat de laatste domino valt, vertegenwoordigt de som van alle recepten.
De Voordelen: Het is ongelooflijk snel. Je duwt één keer en het antwoord komt bijna direct aan de andere kant naar buiten.
De Nadelen: Als de dominostenen niet perfect identiek zijn (wat ze zelden zijn in het echte leven), stapelen kleine fouten zich op. Tegen de tijd dat de laatste domino valt, kan de timing iets afwijken, waardoor het eindresultaat minder nauwkeurig wordt voor grote, complexe berekeningen.

Methode 2: Het "Stopwatch Team" (Counter-Based Architectuur)

Hoe het werkt: In plaats van een domino-ketting, stel je een team mensen voor, elk met hun eigen stopwatch.
Het Proces: Je vraagt Persoon A om de val van hun domino te timen en het nummer op te schrijven. Vervolgens vraag je Persoon B om hunne te timen en op te schrijven. Je telt alle nummers samen op een stuk papier.
De Voordelen: Omdat iedereen onafhankelijk meet, verstoort een fout van Persoon A de meting van Persoon B niet. De uiteindelijke som is zeer nauwkeurig en "lineair" (voorspelbaar).
De Nadelen: Het is langzamer. Je moet stoppen, een nummer opschrijven, naar de volgende persoon gaan en dit herhalen. Het kost meer tijd en meer "hersencapaciteit" (besturingslogica) om het team te beheren.

De Resultaten

Het team bouwde een klein prototype (een 4x4 keukenstation) om deze ideeën te testen.

Snelheid: Het lukte hen om 40 miljoen keer per seconde te draaien (40 MHz).
Efficiëntie: Ze gebruikten zeer weinig vermogen (42 microwatt).
Efficiëntie Score: Ze behaalden een score van 7,62 TOPS/W.
- Vertaling: Voor elke kleine hoeveelheid energie die ze gebruikten, kregen ze een enorme hoeveelheid rekenkracht. Dit is veel beter dan standaard digitale chips voor taken met lage precisie (zoals de soort die wordt gebruikt in basis-AI).

De Conclusie

Het artikel beweert dat ze door over te schakelen van het meten van "waterhoogte" (spanning) naar het meten van "waterstroomtijd", een computerchip hebben gecreëerd die veel energie-efficiënter is voor AI-taken.

Als je snelheid nodig hebt, is de "Domino Ketting" geweldig, maar het wordt een beetje rommelig bij complexe wiskunde.
Als je nauwkeurigheid nodig hebt, is het "Stopwatch Team" beter, maar het is langzamer.

De auteurs concluderen dat voorlopig de "Domino Ketting" (Delay-Cell) aanpak de winnaar is voor hun prototype omdat het sneller is en minder besturingsvermogen gebruikt, zelfs al heeft het enkele beperkingen in hoe nauwkeurig het kan zijn. Ze plannen om de nauwkeurigheidsproblemen in toekomstige versies te proberen op te lossen.

Technische Samenvatting: Time-Domain Near Memory Computing Engine

Probleemstelling
De snelle groei van AI-workloads heeft de behoefte aan energie-efficiënte rekenarchitecturen versterkt, aangezien dataverkeer vaak aanzienlijk meer energie verbruikt dan de berekening zelf. Hoewel volledig digitale architecturen robuuste schaalbaarheid bieden voor berekeningen met hoge resolutie, kampen ze met energie-efficiëntieproblemen bij precisie onder de 8 bit. Omgekeerd toont analoge in-memory computing (IMC) superieure energie-efficiëntie voor workloads met lage precisie, maar lijdt het onder de vermogens-, oppervlakte- en ontwerp-overhead die gepaard gaan met perifere Digital-to-Analog Converters (DAC's) en Analog-to-Digital Converters (ADC's). Bovendien staan spanningsdomein-gegevensconverters voor fundamentele beperkingen in de schaalbaarheid van vermogen; het verbeteren van de resolutie met 1 bit vereist doorgaans een 4-voudige toename in vermogen vanwege thermische ruisbeperkingen ($kT/C$) en verminderde spanningsmarge in geschaalde technologieën.

Methodologie
Om deze uitdagingen aan te pakken, stelt dit werk een time-domain near-memory computing-architectuur voor die is ontworpen voor Multiply-and-Accumulate (MAC)-operaties met lage precisie. Het systeem behoudt een digitaal-vriendelijke interface terwijl de vermenigvuldiging in het tijdsdomein wordt uitgevoerd. De kernmethodologie omvat:

Invoer-Encodering: Digitale invoervectoren worden omgezet in signalen in het tijdsdomein met behulp van een N-pulsgenerator (geïmplementeerd via RTL-synthese). Het aantal gegenereerde pulsen is evenredig met de invoercode (bijvoorbeeld: een 4-bit invoer van 1111 genereert 16 pulsen).
Gewichtsconversie: Digitale gewichten opgeslagen in SRAM worden omgezet naar analoge stromen met behulp van een 4-bit current-steering DAC (CSDAC).
Vermenigvuldiging: De vermenigvuldigingsoperatie wordt gerealiseerd door de DAC-uitgangsstroom ( $I_{DAC}$ ) te integreren over de pulsduur ( $T_{pulse}$ ) gegenereerd door de N-pulsgenerator op een condensator. De resulterende spanning is $V_{MAC} = (I_{DAC} \cdot T_{pulse}) / C$ .
Accumulatieschema's: Twee verschillende architecturen voor het accumuleren van deze producten in het tijdsdomein worden onderzocht en vergeleken:
- Architectuur I (Gebaseerd op vertragingselementen): Gebruikt een gekaskedeerde keten van stroom-gevoede inverters. De spanning van elke MAC-operatie regelt de vertraging van een daaropvolgende fase. De totale vertraging van de keten vertegenwoordigt de opgetelde som.
- Architectuur II (Gebaseerd op tellers): Meet de vertraging van elke vermenigvuldigingscel onafhankelijk met behulp van een teller. De individuele vertragingstellingen worden vervolgens digitaal opgeteld. Deze aanpak vermijdt het kaskaderen van niet-lineaire vertragingstrappen.

Belangrijkste Bijdragen

Hybride Time-Domain Benadering: Het artikel presenteert een nieuwe architectuur die de energie-efficiëntie van analoge rekenkracht benut, terwijl de overhead van hoog-resolutie spanningsdomein-converters wordt beperkt door te opereren in het tijdsdomein.
Analyse van Dubbele Accumulatie: Een gedetailleerde vergelijkende analyse van twee accumulatiestrategieën: een hoog-doorvoer, gekaskedeerde vertraginglijn-benadering versus een hoog-lineaire, teller-gebaseerde benadering.
RTL-Analoge Co-Design: De N-pulsgenerator en tellers zijn geïmplementeerd met behulp van RTL-synthese om technologie-onafhankelijkheid te waarborgen, terwijl de current-steering DAC in het analoge domein blijft.
Prototypische Implementatie: Een 4×4 MAC-prototype is geïmplementeerd in een 65 nm-proces met een voedingsspanning van 1 V.

Resultaten
Het voorgestelde 4×4 MAC-prototype werkt op 40 MHz met een vermogensconsumptie van 42 µW, wat resulteert in een energie-efficiëntie van 7,62 TOPS/W.

Trade-off tussen Lineariteit en Doorvoer:
- De teller-gebaseerde architectuur vertoont superieure lineariteit en volgt de ideale respons nauwkeurig omdat het de propagatie van vertragingfouten van de ene naar de andere fase voorkomt. Het lijdt echter aan tijdsquantisatieruis en vereist sequentiële meting, wat leidt tot lagere doorvoer en hogere digitale controle-overhead.
- De vertragingselement-gebaseerde architectuur biedt hogere doorvoer en lagere controle-overhead door accumulatie uit te voeren in één enkele propagatiegebeurtenis. Simulatie-resultaten geven echter aan dat naarmate de matrixdimensie toeneemt, de niet-lineaire eigenschappen van de gekaskedeerde vertragingselementen zich ophopen, wat leidt tot een significante afwijking van de ideale lineaire respons.
Ontwerprichtlijnen: Het systeem wordt beperkt door het lineaire werkgebied van de PMOS stroom-gevoede apparaten (ongeveer 300 mV). Bijgevolg is de huidige implementatie beperkt tot 4-bit precisie.

Betekenis en Beweringen
Het artikel beweert dat time-domain near-memory computing een veelbelovend alternatief biedt voor AI-workloads met lage precisie door de beperkingen in de schaalbaarheid van vermogen van spanningsdomein-gegevensconverters te omzeilen. De auteurs positioneren hun werk als een stap naar energie-efficiënte edge AI, met de opmerking dat hoewel de huidige 4-bit-resolutie de directe toepasbaarheid voor taken met hoge precisie beperkt, de architectuur een fundament biedt voor toekomstige schaalbaarheid.

De auteurs erkennen nederig dat het huidige ontwerp wordt beperkt door lineariteitsproblemen in de vertragingselement-benadering en resolutielimieten in de teller-gebaseerde benadering. Zij claimen geen onmiddellijke superioriteit ten opzichte van alle state-of-the-art werken, maar benadrukken dat de vertragingselement-gebaseerde architectuur (gebruikt voor de gerapporteerde prestatie-metrics) een gunstige balans biedt tussen werkfrequentie en controle-overhead. Toekomstig werk wordt geïdentificeerd als het verbeteren van de lineariteit door bias-optimalisatie, RC-gebaseerde vertragingselementen en kalibratietechnieken, om de architectuur potentieel uit te breiden naar 8-bit bediening.