ChatNeuroSim: An LLM Agent Framework for Automated Compute-in-Memory Accelerator Deployment and Optimization

Die Arbeit stellt ChatNeuroSim vor, ein Framework auf Basis von Large Language Models, das den gesamten Workflow für die Bereitstellung und Optimierung von Compute-in-Memory-Beschleunigern automatisiert und durch Design-Space-Pruning die Identifizierung optimaler Konfigurationen für DNN-Workloads erheblich beschleunigt.

Das Wesentliche

Hier ist eine einfache Erklärung des Papers „ChatNeuroSim", verpackt in eine Geschichte mit alltäglichen Analogien.

Die große Herausforderung: Der Bau einer perfekten KI-Hardware

Stellen Sie sich vor, Sie wollen ein riesiges, hochmodernes Stadion bauen, in dem nicht Fußball, sondern künstliche Intelligenz (KI) trainiert wird. Dieses Stadion ist eine spezielle Hardware namens CIM (Compute-in-Memory). Normalerweise muss ein Computer Daten hin und her tragen, wie ein Koch, der ständig zwischen Kühlschrank und Herd rennt. Bei CIM ist der Herd direkt im Kühlschrank eingebaut – das spart enorm viel Zeit und Energie.

Das Problem: Um dieses Stadion zu bauen, gibt es tausende von Bauplänen.

• Wie groß sollen die Wände sein?
• Welches Material (SRAM, RRAM) soll man verwenden?
• Wie viele Fenster (ADCs) braucht man?

Früher mussten Ingenieure diese Pläne manuell durchgehen. Sie mussten dicke Handbücher lesen, komplizierte Formeln in Computer eingeben und dann warten, ob das Stadion funktioniert. Wenn es nicht funktionierte, mussten sie von vorne anfangen. Das war wie der Versuch, ein Labyrinth zu durchqueren, indem man blind gegen jede Wand läuft. Es dauerte ewig und war extrem anstrengend.

Die Lösung: ChatNeuroSim – Der KI-Architekt mit einem Super-Gedächtnis

Die Forscher haben ChatNeuroSim entwickelt. Man kann sich das wie einen super-intelligenten, sprechenden Architekten vorstellen, der mit Ihnen chattet.

Wie funktioniert es? (Die drei Helfer)
Stellen Sie sich vor, Sie sagen zu diesem Architekten: „Ich möchte ein Stadion für ein kleines KI-Modell (Swin Transformer) bauen, das nicht mehr als 200 Watt verbraucht und maximal 25 Quadratmeter groß ist."

Anstatt dass Sie selbst die Baupläne zeichnen, übernimmt ChatNeuroSim drei Aufgaben:

1. Der Übersetzer (Task Parsing Agent): Er hört Ihnen zu und versteht, was Sie wollen. Er weiß sofort: „Ah, der Nutzer will nicht nur einen Test, sondern eine Optimierung!"
2. Der Detail-Experte (Parameter Parsing Agent): Er kennt jedes Handbuch auswendig. Er fragt Sie nicht nach technischen Details, sondern übersetzt Ihre Wünsche in die korrekte Sprache der Baumaschinen. Wenn Sie „kleine Fenster" sagen, weiß er genau, welche technische Einstellung das bedeutet. Er prüft auch, ob Ihre Wünsche überhaupt machbar sind (z. B. ob das Stadion bei 25 m² überhaupt passt).
3. Der Bauleiter (Parameter Adjustment Agent): Wenn etwas fehlt (z. B. Sie haben vergessen, das Baumaterial zu nennen), schlägt er automatisch sinnvolle Werte vor oder fragt höflich nach, statt den Prozess abzubrechen.

Am Ende drückt er auf „Start", baut das Stadion virtuell, testet es und sagt Ihnen: „Hier ist der beste Plan, der Ihre Anforderungen erfüllt."

Der Turbo-Modus: Der „Design Space Pruning"-Trick

Aber es gibt noch ein Problem: Selbst mit dem Architekten gibt es so viele mögliche Kombinationen (Millionen!), dass das Testen aller Varianten ewig dauert.

Hier kommt der zweite große Trick des Papers ins Spiel: Design Space Pruning (man könnte es „Das Wegschneiden des Gartens" nennen).

Stellen Sie sich vor, Sie suchen die besten Äpfel in einem riesigen Wald.

• Ohne ChatNeuroSim (Der alte Weg): Sie laufen durch den gesamten Wald, probieren jeden Baum aus und zählen die Äpfel. Das dauert ewig.
• Mit ChatNeuroSim (Der neue Weg): Der Architekten hat bereits Erfahrung mit einem ähnlichen Wald (z. B. einem Wald für ein anderes KI-Modell). Er weiß: „In den nördlichen Hängen gibt es fast nie gute Äpfel."
  • Der Schnitt: Er schneidet den nördlichen Teil des Waldes einfach ab, bevor er überhaupt losläuft. Er konzentriert sich nur auf die vielversprechenden Gebiete.
  • Der Sicherheits-Check: Damit er nichts Wichtiges übersieht, lässt er ab und zu ein paar Bäume aus dem abgeschnittenen Bereich kurz überprüfen. Wenn sich herausstellt, dass dort doch gute Äpfel sind, öffnet er diesen Bereich wieder.

Das Ergebnis: Statt den ganzen Wald zu durchsuchen, sucht er nur in den besten 20 % der Fläche. Das spart enorm viel Zeit.

Was haben die Tests ergeben?

Die Forscher haben ChatNeuroSim mit verschiedenen KI-Modellen getestet:

1. Genauigkeit: Der „Architekt" hat in 100 % der Fälle den richtigen Bauplan erstellt, ohne dass der Nutzer Handbücher lesen musste.
2. Geschwindigkeit: Bei komplexen KI-Modellen (wie dem Swin Transformer) war der Optimierungsprozess bis zu 79 % schneller als ohne den „Wegschneide-Trick".
3. Qualität: Die gefundenen Lösungen waren nicht nur schneller zu finden, sondern oft auch besser als die, die man ohne den Trick gefunden hätte.

Fazit

ChatNeuroSim ist wie ein Assistent, der Ihnen die schwere Arbeit abnimmt.

• Sie müssen keine technischen Handbücher mehr lesen.
• Sie müssen nicht stundenlang warten, bis der Computer rechnet.
• Sie bekommen schneller das beste Ergebnis für Ihre KI-Hardware.

Es ist ein Schritt in die Zukunft, in dem Ingenieure nicht mehr als „Rechner" arbeiten, sondern als „Manager", die mit einer KI sprechen, die den Rest erledigt. Das Paper zeigt, dass wir KI nicht nur nutzen, um Aufgaben zu lösen, sondern auch KI nutzen können, um die Entwicklung von Hardware für KI selbst zu beschleunigen. Ein echter Kreislauf der Effizienz!

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „ChatNeuroSim: An LLM Agent Framework for Automated Compute-in-Memory Accelerator Deployment and Optimization" auf Deutsch:

1. Problemstellung

Die Entwicklung von Compute-in-Memory (CIM) Architekturen zur Beschleunigung von Deep Neural Networks (DNNs) verspricht eine erhebliche Reduzierung des Datenübertragungsaufwands zwischen Speicher und Recheneinheiten. Der Entwurfsprozess für CIM-Systeme stößt jedoch auf erhebliche Hürden:

• Komplexität der Simulatoren: Systemlevel-Simulatoren wie NeuroSim sind mächtig, aber ihre Bedienung erfordert tiefes Fachwissen. Designer müssen komplexe Parameterabhängigkeiten, manuelle Konvertierung von Anforderungen in Simulationsparameter und die Interpretation von Handbüchern bewältigen.
• Ineffiziente Design Space Exploration (DSE): Die Suche nach optimalen Hardware-Konfigurationen unter Ressourcenbeschränkungen (Fläche, Leistung, Leistungsaufnahme) erfordert oft viele Iterationen von Entwurf und Simulation. Dies verlängert den Designzyklus und erhöht die Personalkosten erheblich.
• Skalierbarkeit bei neuen Workloads: Traditionelle Optimierungsansätze und heuristische Algorithmen stoßen bei komplexeren Workloads wie Vision Transformern (z. B. Swin Transformer) an Grenzen, da diese einen deutlich größeren und komplexeren Designraum aufweisen als herkömmliche CNNs (z. B. ResNet).

2. Methodik: ChatNeuroSim Framework

Das Paper stellt ChatNeuroSim vor, ein Framework, das auf Large Language Models (LLMs) und Multi-Agenten-Architekturen basiert, um den gesamten CIM-Workflow zu automatisieren.

A. LLM-basierte Agenten-Architektur

Das System besteht aus drei koordinierten Agenten, die mit einem NeuroSim-Backend und einem CIM-Optimizer interagieren:

1. Task Parsing Agent: Klassifiziert Benutzeranfragen in vier Kategorien:
   • Single Call: Einzelne Simulation mit festen Parametern.
   • Multiple Call: Mehrere Simulationen mit explizit definierten Parametern.
   • Testbench Auto-design: Automatische Bestimmung von Parametern basierend auf hohen Absichten (z. B. „Analysiere Trends bei SRAM-Skalierung").
   • PPA Optimization: Suche nach optimalen Konfigurationen unter Constraints.
2. Parameter Parsing Agent: Extrahiert strukturierte Parameter aus den natürlichen Sprachanfragen des Benutzers. Er nutzt Schemata (Schema-basierte Validierung), um Parameter auf Gültigkeit zu prüfen, fehlende Werte zu identifizieren und sie in das für NeuroSim erforderliche Format zu konvertieren.
3. Parameter Adjustment Agent: Ermöglicht dem Benutzer, Parameter nachträglich anzupassen, hinzuzufügen oder zu entfernen. Dieser Agent sorgt für Konsistenz, insbesondere bei der Verwaltung von „spezialisierten" und „allgemeinen" Parametern über mehrere Testbänke hinweg.

Das Framework nutzt Prompt Engineering und Retrieval-Augmented Generation (RAG), um auf Dokumentationen und Spezifikationen zuzugreifen, Halluzinationen zu minimieren und die Zuverlässigkeit der Parameterextraktion zu gewährleisten.

B. CIM-Optimizer mit Design Space Pruning

Neben der Automatisierung der Simulation bietet ChatNeuroSim einen Optimierer, der auf heuristischen ML-Algorithmen (Simulated Annealing, Genetic Algorithms, TPE) basiert und durch eine innovative Design Space Pruning-Strategie (Einschränkung des Suchraums) beschleunigt wird:

• Cross-Space Constraint Projection: Nutzt Wissen aus vorherigen Optimierungen an Basis-Modellen (z. B. ResNet-50 oder ViT-B), um den Suchraum für ein Ziel-Modell (z. B. Swin-Tiny) vorzubereiten. Dabei wird eine Power-Law-Regression verwendet, um Hardware-Constraints (Fläche, Leistung) vom Basis- auf den Ziel-Designraum zu projizieren.
• Top-K Pruning: Filtert unwahrscheinliche Konfigurationen heraus, indem nur Parameterwerte beibehalten werden, die in den Top-K besten Ergebnissen des Basis-Modells häufig vorkommen.
• Stochastic De-pruning: Um das Risiko zu minimieren, dass das globale Optimum im eingeschränkten Suchraum liegt, werden während der Optimierung stochastisch zuvor entfernte Parameterwerte schrittweise wieder eingeführt (Recovery), um den Suchraum zu erweitern.

3. Hauptbeiträge

1. Vollautomatisiertes CIM-Deployment: Ein LLM-Agenten-Framework, das den gesamten Workflow von der Anfrage bis zur Ausführung von NeuroSim und der Rückgabe von PPA-Metriken (Power, Performance, Area) und Genauigkeit automatisiert.
2. Effiziente Optimierung durch Pruning: Entwicklung eines Optimierers, der durch Transfer-Learning und Pruning die Suchzeit für komplexe Workloads (insbesondere Vision Transformer) drastisch reduziert, ohne die Lösungsqualität zu beeinträchtigen.
3. Umfassende Evaluierung: Validierung des Systems an einem benutzerdefinierten Datensatz mit 40 Testfällen und detaillierte Analysen der Pruning-Strategie unter verschiedenen Hardware-Einschränkungen und Optimierungszielen.

4. Ergebnisse

Die Evaluierung erfolgte auf Basis von NeuroSim V1.5 und verschiedenen LLM-Backends (u. a. GPT-5.1, DeepSeek).

• Genauigkeit der Agenten: ChatNeuroSim erreichte mit dem GPT-5.1 Backend eine 100%ige Genauigkeit bei der Generierung lauffähiger Skripte über alle 40 Testfälle hinweg (Single Call, Multiple Call, Auto-design, Optimierung). Andere Modelle zeigten geringfügig niedrigere Raten, insbesondere bei komplexeren Anfragen.
• Beschleunigung der Optimierung:
  • Im Vergleich zu Baseline-Optimierungen ohne Pruning konnte der Optimierer mit Pruning die durchschnittliche Laufzeit um den Faktor 0,42x bis 0,79x reduzieren.
  • Die P95-Laufzeit (Worst-Case-Szenario) wurde um 0,29x bis 0,69x verkürzt.
  • Der größte Vorteil zeigte sich bei Vision Transformern (Swin-Tiny), wo der Designraum deutlich größer ist als bei CNNs.
• Robustheit und Generalisierung: Die Pruning-Strategie basierend auf einem ähnlichen Architektur-Basis-Modell (z. B. ViT-B für Swin-Tiny) war robuster und effektiver als die Verwendung von CNN-Basis-Modellen (ResNet-50) für Transformer-Optimierungen.
• Optimierungsalgorithmen: Simulated Annealing (SA) erwies sich als der effizienteste Algorithmus, sowohl mit als auch ohne Pruning, gefolgt von Genetic Algorithms und TPE.

5. Bedeutung und Fazit

ChatNeuroSim adressiert kritische Engpässe im Entwurf von CIM-Acceleratoren:

• Reduktion des manuellen Aufwands: Es eliminiert die Notwendigkeit, dass Designer komplexe Simulatormanuals lesen und manuelle Skripte schreiben müssen.
• Beschleunigung des Time-to-Market: Durch die Automatisierung und die intelligente Reduzierung des Designraums können optimale Hardware-Konfigurationen für moderne AI-Workloads (wie Transformer) viel schneller identifiziert werden.
• Skalierbarkeit: Das Framework ist nicht nur auf CNNs beschränkt, sondern skaliert effektiv auf komplexe Transformer-Architekturen, was für die zukünftige Entwicklung von KI-Hardware entscheidend ist.

Das Framework ist als Open-Source-Projekt verfügbar (GitHub) und bietet eine benutzerfreundliche Chat-Oberfläche, die die Forschung und Entwicklung im Bereich CIM-Acceleratoren demokratisiert und beschleunigt.