ChatNeuroSim: An LLM Agent Framework for Automated Compute-in-Memory Accelerator Deployment and Optimization

Dit paper introduceert ChatNeuroSim, een framework op basis van een groot taalmodel dat het ontwerp, de implementatie en de optimalisatie van Compute-in-Memory-versnellers voor diepe neurale netwerken volledig automatiseert en versnelt door gebruik te maken van een geautomatiseerde agent en een techniek voor het afkappen van de ontwerpruimte.

De kern

Stel je voor dat je een superkrachtige, energiezuinige computerchip wilt bouwen die speciaal is ontworpen voor kunstmatige intelligentie (zoals de hersenen van een robot of een slimme auto). Deze chips heten CIM-chips (Compute-in-Memory). In plaats van data heen en weer te slepen tussen het geheugen en de rekenunit (zoals in een normale computer), doet deze chip de rekenwerk in het geheugen zelf. Dat is veel sneller en zuiniger.

Het probleem? Het ontwerpen van zo'n chip is als het proberen om een heel complex legpuzzel te maken terwijl je de instructies in een taal leest die je niet spreekt, en je moet duizenden verschillende stukjes proberen voordat je de juiste combinatie vindt.

Hier komt ChatNeuroSim om de hoek kijken. Dit is een slimme digitale assistent (een "Agent") die door een Grote Taalmodel (LLM) wordt aangedreven. Laten we het uitleggen met een paar leuke analogieën.

1. De Uitdaging: De Verwarde Architect

Stel je voor dat je een architect bent die een nieuw type huis wil bouwen. Je hebt een enorme toolbox met duizenden gereedschappen (de simulator, genaamd NeuroSim). Maar:

• De handleiding is 1000 pagina's lang en in een vreemde code geschreven.
• Als je één schroefje verkeerd draait, stort het hele huis in.
• Je moet duizenden combinaties van schroeven, ramen en deuren proberen om het perfecte huis te vinden.

Vroeger moesten ingenieurs dit handmatig doen. Ze bestudeerden de handleidingen, schreven scripts, draaiden de simulaties en keken naar de resultaten. Dit duurde dagen of weken.

2. De Oplossing: ChatNeuroSim, de Slimme Meneer/Mejuffrouw

ChatNeuroSim is als een super-architect-assistent die alles voor je regelt. Je hoeft niet meer de handleiding te lezen; je praat gewoon met de assistent in normaal Nederlands (of Engels).

• Jij zegt: "Ik wil een chip bouwen die ResNet-50 (een type AI) kan draaien, met zo min mogelijk stroomverbruik."
• De Assistent doet:
  1. Verstaat je: Hij snapt wat je bedoelt, zelfs als je niet precies weet welke technische termen je moet gebruiken.
  2. Checkt de regels: Hij kijkt in de "handleiding" (de database) of wat je vraagt mogelijk is.
  3. Schrijft het script: Hij schrijft automatisch de computercode die de simulator moet draaien.
  4. Draait de test: Hij start de simulatie en kijkt naar de resultaten.
  5. Geeft advies: Hij zegt: "Kijk, deze configuratie werkt, maar die andere is nog beter voor stroom."

Het is alsof je een chatbot hebt die niet alleen praat, maar ook daadwerkelijk de bouwplannen tekent en de bouwplaats bezoekt.

3. De Slimme Truc: Het "Pruning" (Vijgen) van de Zoekruimte

Het grootste probleem bij het ontwerpen van deze chips is de ontwerpruimte. Er zijn zoveel mogelijke combinaties (grootte van de chips, type geheugen, snelheid, etc.) dat het zoeken naar de beste oplossing als het zoeken naar een naald in een hooiberg is, maar dan met miljarden hooibergen.

De auteurs hebben een slimme truc bedacht: Design Space Pruning (het "wegsnijden" van onnodige zoekruimte).

• De Analogie: Stel je voor dat je op zoek bent naar de beste plek om een boom te planten in een groot park.
  • Zonder ChatNeuroSim: Je loopt elke vierkante meter van het park af om te kijken of de grond goed is. Dit duurt eeuwen.
  • Met ChatNeuroSim (Pruning): De assistent kijkt eerst naar een ander park waar hij al eerder een boom heeft geplant. Hij ziet: "Ah, in dat park groeiden de bomen het beste in de schaduw van de grote eik, niet in de volle zon."
  • Hij zegt dan: "Laten we de hele zonnige kant van dit nieuwe park negeren. We zoeken alleen in de schaduw."
  • Het resultaat: Hij vindt de beste plek 2 tot 3 keer sneller, omdat hij niet tijd verspilt aan plekken die waarschijnlijk niet werken.

In de paper noemen ze dit "overdragen van kennis". Als je al weet hoe een ResNet-chip werkt, helpt die kennis je om een Swin Transformer-chip (een complexere AI) sneller te ontwerpen.

4. Wat hebben ze bewezen?

De auteurs hebben dit systeem getest met veel verschillende vragen en taken:

• 100% Succes: De assistent begreep elke vraag en schreef de juiste code, zelfs bij complexe vragen.
• Snelheid: Door het "wegsnijden" van onnodige zoekruimte, was het ontwerpen van een chip voor een complexe AI (Swin Transformer) 2 tot 3 keer sneller dan zonder deze slimme truc.
• Betrouwbaarheid: Zelfs als je de "naald" (de beste oplossing) niet direct vindt, zorgt de assistent ervoor dat hij toch een heel goede oplossing vindt, zonder dat je uren hoeft te wachten.

Samenvatting in één zin

ChatNeuroSim is een slimme, AI-gestuurde assistent die ingenieurs helpt om complexe computerchips voor kunstmatige intelligentie te ontwerpen door de handleidingen te lezen, de tests automatisch uit te voeren en slimme shortcuts te nemen om de beste oplossing veel sneller te vinden.

Het maakt het ontwerpen van de "hersenen" van de toekomst toegankelijker, sneller en minder vermoeiend voor menselijke ingenieurs.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ChatNeuroSim: An LLM Agent Framework for Automated Compute-in-Memory Accelerator Deployment and Optimization" in het Nederlands.

Probleemstelling

Compute-in-Memory (CIM) architecturen worden steeds belangrijker voor het versnellen van Deep Neural Networks (DNN's) omdat ze de overhead van datatransfer tussen geheugen en rekenunits verminderen. Het ontwerp en de optimalisatie van CIM-systemen vereisen echter een ingewikkelde Design Space Exploration (DSE).
De huidige uitdagingen zijn:

1. Gebruiksgemak: Bestaande systeem-simulatoren (zoals NeuroSim) zijn complex. Ontwerpers moeten veel tijd investeren in het bestuderen van handleidingen, het begrijpen van complexe parameterafhankelijkheden en het handmatig converteren van ontwerpintenties naar geldige simulatieparameters.
2. Efficiëntie: Het vinden van optimale hardware-configuraties onder meerdere beperkingen (oppervlakte, vermogen, prestaties) vereist vaak duizenden iteraties van simulatie. Dit verlengt de ontwerpcyclus aanzienlijk en maakt het moeilijk om snel nieuwe werklasten (zoals Vision Transformers) te implementeren.
3. Beperkingen van bestaande methoden: Hoewel er machine learning-algoritmen (zoals genetische algoritmen of versterkende leer) zijn voor DSE, missen ze vaak de geautomatiseerde interface voor gebruikers en zijn ze inefficiënt bij zeer grote ontwerpruimtes zonder extra strategieën.

Methodologie

Het paper introduceert ChatNeuroSim, een framework dat Large Language Models (LLM's) combineert met een geavanceerde optimalisatie-engine om de volledige CIM-workflow te automatiseren.

1. LLM Agent Framework:
Het systeem bestaat uit drie gespecialiseerde agents die samenwerken via een gecoördineerde workflow:

• Task Parsing Agent: Classificeert gebruikersverzoeken in vier categorieën: Single Call (één simulatie), Multiple Call (meerdere simulaties met specifieke parameters), Testbench Auto-design (parameters automatisch afleiden uit een hoog niveau intentie) en PPA Optimization (zoeken naar de beste configuratie).
• Parameter Parsing Agent: Haalt gestructureerde parameters uit natuurlijke taalverzoeken, controleert ze tegen schemas (voor ondersteunde waarden, eenheden, etc.) en converteert ze naar simulator-inputs.
• Parameter Adjustment Agent: Handelt correcties af, voegt ontbrekende parameters toe of past waarden aan op basis van schema's en gebruikersintentie.
• Interactie: Gebruikers communiceren via een chat-interface (Streamlit) zonder simulator-documentatie te hoeven raadplegen. Het framework genereert automatisch uitvoerscripts en roept NeuroSim aan.

2. CIM Optimizer met Design Space Pruning:
Naast de agenten bevat het framework een geoptimaliseerde zoekengine voor PPA (Power, Performance, Area).

• Transfer Learning & Pruning: De optimizer gebruikt kennis van eerder geoptimaliseerde werklasten (bijv. ResNet-50) om de zoekruimte voor een nieuwe doelwerklast (bijv. Swin Transformer) te "prunen" (verkleinen).
• Cross-space Constraint Projection: Er wordt een wiskundig model (kracht-wet regressie) gebruikt om hardware-beperkingen van een basis-model te projecteren naar het doel-model, zodat onhaalbare configuraties direct worden uitgesloten.
• Top-K Pruning: Alleen de meest veelbelovende parametercombinaties (gebaseerd op de prestaties van het basis-model) worden behouden voor de initiële zoektocht.
• Stochastic De-pruning: Om het risico te vermijden dat het globale optimum buiten de verkleinde ruimte valt, worden tijdens de optimalisatie stapsgewijs uitsluitingen opgeheven (de-pruning) via stochastische sampling, totdat de volledige ruimte weer beschikbaar is.

Belangrijkste Bijdragen

1. Eerste LLM-agent framework voor CIM: ChatNeuroSim is het eerste systeem dat LLM-agents gebruikt om de volledige CIM-workflow te automatiseren, van verzoekanalyse tot simulatie-uitvoering en resultaatrapportage.
2. Efficiënte Optimalisatie via Pruning: De introductie van een heuristische ML-optimizer met design space pruning die de zoekefficiëntie drastisch verbetert door kennisoverdracht tussen verschillende DNN-architecturen.
3. Uitgebreide Validatie: Het framework is getest op een aangepaste dataset van 40 testcases met 100% correctheid in scriptgeneratie (bij gebruik van GPT-5.1). De optimizer is gevalideerd op complexe werklasten zoals Swin Transformer Tiny en Vision Transformer Base.

Resultaten

De evaluaties tonen aanzienlijke verbeteringen in zowel gebruiksgemak als prestaties:

• Correctheid: ChatNeuroSim slaagt erin om 100% van de gebruikersverzoeken correct te vertalen naar uitvoerbare scripts en simulaties, zelfs voor complexe taken zoals Testbench Auto-design en PPA Optimization.
• Snelheidsoptimalisatie:
  • Bij het optimaliseren van Swin Transformer Tiny (22nm technologie) resulteert de gebruikte design space pruning in een 0,42x tot 0,79x reductie in de gemiddelde runtime vergeleken met een baseline zonder pruning.
  • De P95 runtime (worst-case scenario voor 95% van de runs) wordt met 0,29x tot 0,69x verkort.
• Algoritme-prestaties: Simulated Annealing (SA) bleek consistent sneller te convergeren dan Genetische Algoritmen (GA) of Tree-Structured Parzen Estimator (TPE), zowel met als zonder pruning.
• Generaliteit: De pruning-strategie gebaseerd op een Vision Transformer (ViT-B) als basis-model bleek effectiever voor Swin-T dan een CNN-basis (ResNet-50), wat aantoont dat architecturale gelijkenis cruciaal is voor succesvolle kennisoverdracht.

Betekenis en Impact

ChatNeuroSim biedt een paradigmaverschuiving in het ontwerp van AI-hardware:

• Versnelling van Time-to-Market: Door de handmatige interpretatie van simulator-handleidingen en het handmatig tunen van parameters te elimineren, wordt de DSE-cyclus drastisch verkort.
• Toegankelijkheid: Het maakt geavanceerde CIM-ontwerpen toegankelijker voor onderzoekers en ingenieurs die niet per se experts zijn in de interne werking van NeuroSim.
• Schalbaarheid voor Moderne AI: De methode lost specifiek het probleem op van het optimaliseren van complexe transformer-architecturen (zoals Vision Transformers), waar de ontwerpruimte te groot is voor traditionele methoden.
• Open Source: Het framework en de gebruikersinterface zijn open-source beschikbaar gesteld, wat de gemeenschap in staat stelt om sneller hoogwaardige CIM-accelerators te ontwikkelen.

Kortom, ChatNeuroSim combineert de kracht van LLM's voor natuurlijke taalinteractie met geavanceerde wiskundige optimalisatiestrategieën om de ontwikkeling van energie-efficiënte AI-chips te versnellen.