ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs

ArcLight ist eine neuartige, leichte Inferenzarchitektur für viele Kern-CPU-Plattformen, die durch optimiertes Speichermanagement, Thread-Scheduling und fein abgestimmte Tensor-Parallelität den Overhead beim zugriff auf NUMA-Knoten reduziert und damit den Durchsatz im Vergleich zu bestehenden Frameworks um bis zu 46 % steigert.

Das Wesentliche

Stell dir vor, du hast einen riesigen, super-intelligenten Roboter (das ist unser KI-Modell), der Fragen beantworten soll. Um diesen Roboter zum Laufen zu bringen, brauchst du einen Computer.

Bisher haben die meisten Leute für diesen Job entweder extrem teure, schnelle Grafikkarten (GPUs) benutzt oder einfache Computerprozessoren (CPUs). Die einfachen CPUs sind überall: in Webservern, Routern und Cloud-Rechenzentren. Das Problem ist nur: Wenn man diese CPUs in großer Zahl zusammenpackt (viele Kerne), werden sie oft ineffizient.

Hier kommt ARCLIGHT ins Spiel – eine neue, clevere Art, KI auf diesen vielen CPUs laufen zu lassen.

Das Problem: Die "Numa-Wand"

Stell dir einen riesigen Bürokomplex vor, der aus vier getrennten Gebäuden besteht (das sind die NUMA-Knoten). Jedes Gebäude hat seine eigenen Schreibtische (Prozessorkerne) und seine eigenen Aktenschränke (Speicher).

• Das alte System (z. B. llama.cpp): Wenn ein Mitarbeiter in Gebäude A eine Akte aus dem Aktenschrank von Gebäude B braucht, muss er erst durch den ganzen Komplex laufen, um sie zu holen. Das kostet viel Zeit.
• Das Problem: Wenn der Roboter viele Fragen gleichzeitig bearbeitet, rennen die Mitarbeiter ständig zwischen den Gebäuden hin und her, um Daten zu holen. Sie verbringen mehr Zeit mit Laufen als mit Arbeiten. Das nennt man die "Cross-NUMA-Memory-Wand".

Die Lösung: ARCLIGHT

ARCLIGHT ist wie ein neuer, schlauer Büroplaner, der von Grund auf neu entworfen wurde, um genau dieses Problem zu lösen. Er ist leichtgewichtig (kein unnötiger Ballast) und sehr effizient.

Hier sind die drei genialen Tricks, die ARCLIGHT benutzt:

1. Der perfekte Lagerplatz (Speicherverwaltung)

Im alten System wurden die Akten (Daten) einfach irgendwo im Komplex abgelegt. ARCLIGHT sorgt dafür, dass jeder Mitarbeiter genau die Akten in seinem eigenen Gebäude bekommt.

• Analogie: Statt dass Mitarbeiter in Gebäude A Akten aus Gebäude B holen, legt ARCLIGHT die Akten so ab, dass sie direkt beim Mitarbeiter liegen, der sie braucht. Kein mehr Laufen!

2. Die Team-Aufteilung (Tensor-Parallelismus)

Stell dir vor, der Roboter muss eine riesige Rechnung machen.

• Alt: Alle Mitarbeiter arbeiten zusammen an einer großen Rechnung. Sie müssen sich ständig absprechen und warten, bis alle fertig sind.
• Neu (ARCLIGHT): ARCLIGHT teilt die große Rechnung in vier kleinere Teile auf. Jeder der vier Gebäude bearbeitet seinen eigenen Teil parallel.
  • Gebäude 1 rechnet Teil A.
  • Gebäude 2 rechnet Teil B.
  • Und so weiter.
  • Am Ende werden die Ergebnisse nur noch kurz zusammengefasst. Da jeder in seinem eigenen Gebäude arbeitet, gibt es keine langen Laufwege mehr.

3. Flexible Arbeitsgruppen (Thread-Management)

Im alten System waren alle Mitarbeiter in einem großen, starren Team. Wenn einer fertig war, musste er auf alle anderen warten.
ARCLIGHT erlaubt es, Teams dynamisch zu teilen und wieder zu vereinen.

• Analogie: Wenn eine Aufgabe fertig ist, werden die Teams sofort neu gemischt, um die nächste Aufgabe zu starten. Sie warten nicht unnötig aufeinander. Das macht den ganzen Prozess viel flüssiger.

Das Ergebnis

Die Forscher haben ARCLIGHT auf einem Computer mit 192 Prozessorkernen getestet.

• Das Ergebnis war beeindruckend: ARCLIGHT war bis zu 46 % schneller als die bisherigen Standard-Programme.
• Es ist wie ein Sportwagen, der auf einer Straße fährt, auf der andere Autos nur langsam vorankommen, weil sie ständig an Ampeln (den Laufwegen zwischen den Gebäuden) stehen bleiben müssen.

Warum ist das wichtig?

Die meisten großen KI-Modelle laufen heute auf teuren Grafikkarten. Aber ARCLIGHT zeigt, dass wir auch mit den vielen, günstigen CPUs, die in Rechenzentren schon herumstehen, extrem schnelle KI machen können. Es ist eine "Leichtbau"-Lösung: weniger Ballast, mehr Geschwindigkeit und perfekt organisiert.

Kurz gesagt: ARCLIGHT organisiert das Chaos in großen Computer-Clustern so, dass die Daten nicht mehr herumrennen müssen, sondern direkt dort ankommen, wo sie gebraucht werden. Das macht die KI schneller, effizienter und günstiger.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „ARCLIGHT: A LIGHTweight LLM Inference ARChitecture for Many-Core CPUs" auf Deutsch:

1. Problemstellung

Trotz der Reife bestehender Frameworks für die Inferenz von Large Language Models (LLMs) auf CPUs, stoßen diese an ihre Grenzen, wenn sie auf Many-Core-CPUs (Prozessoren mit vielen Kernen) eingesetzt werden. Solche Plattformen sind in Webservern und High-End-Netzwerkgeräten weit verbreitet und nutzen typischerweise eine NUMA-Architektur (Non-Uniform Memory Access).

• Das Kernproblem: In NUMA-Architekturen sind Kerne und Speicher in mehrere Knoten (Nodes) unterteilt. Der Zugriff auf lokalen Speicher ist deutlich schneller als der Zugriff auf Speicher eines anderen Knotens (Remote-Memory).
• Die Limitierung aktueller Frameworks: Etablierte Frameworks wie llama.cpp ignorieren diese „Cross-NUMA-Speicherzugriffsbarriere" weitgehend. Sie verteilen Threads zwar oft gleichmäßig auf die Knoten, binden aber die Tensor-Daten (Gewichte und Aktivierungen) nicht gezielt an die lokalen Speicher der Knoten.
• Die Folge: Bei der Skalierung auf Dutzende oder Hunderte von Kernen entsteht ein massiver Overhead durch nicht-lokale Speicherzugriffe und Daten-Synchronisation. Dies verhindert, dass das System seine theoretische Rechenleistung ausschöpft. Eine Nachrüstung bestehender Frameworks ist aufgrund ihrer komplexen, monolithischen Codebasen extrem schwierig.

2. Methodik und Systemdesign

Um diese Lücke zu schließen, wurde ARCLIGHT entwickelt: eine von Grund auf neu gebaute, leichtgewichtige Inferenz-Architektur für Many-Core-CPUs. Das Design folgt den Prinzipien des Minimalismus und der Modularität.

Architektur

ARCLIGHT entkoppelt ein hochleveliges Decoding-Frontend von einem unterliegenden Inferenz-Backend. Das Backend besteht aus fünf Kernmodulen:

1. Memory Manager: Verwaltet den Speicherallokationszyklus.
2. Thread Manager: Organisiert die Worker-Threads.
3. Tensor Library: Definiert Tensoren und Operationen (objektorientiert in C++).
4. Forward Graph Builder: Erstellt den statischen Berechnungsgraphen.
5. Graph Computation Scheduler: Führt die Knoten des Graphen aus.

Schlüsseltechniken

• NUMA-bewusstes Speichermanagement: Im Gegensatz zu llama.cpp, das einen einzigen globalen Puffer (UMA) nutzt, allokiert ARCLIGHT separate Puffer im lokalen Speicher jedes NUMA-Knotens. Dies vereinfacht die Bindung von Tensoren an Knoten und reduziert Remote-Zugriffe. Zudem wird ein Double-Buffering-Mechanismus für Aktivierungspuffer implementiert, um den Speicherverbrauch pro Schicht zu halbieren.
• Multi-View Thread-Organisation: Statt eines einzigen Thread-Pools führt ARCLIGHT logische Thread-Gruppen ein. Diese können dynamisch neu konfiguriert werden, um unabhängige Tensor-Operationen parallel auszuführen. Es werden sowohl lokale Barrieren (innerhalb einer Gruppe) als auch globale Barrieren (über alle Gruppen hinweg) unterstützt.
• Cross-NUMA Tensor Parallelism (TP): Dies ist die zentrale Innovation. Um die Speicherzugriffsbarriere zu umgehen, wird Tensor Parallelism auf CPU-Ebene angewendet:
  • Gewichtspartitionierung: Matrizen (z. B. in MLP- und Attention-Schichten) werden so partitioniert, dass Gewichte und die zugehörigen Aktivierungen auf demselben NUMA-Knoten liegen.
  • Scatter & Gather: Der Berechnungsgraph wird in parallele Teilgraphen aufgeteilt. Ein Scatter-Operator teilt den Thread-Pool auf und verteilt die Eingabedaten auf die Teilgraphen. Ein Gather-Operator fasst die Ergebnisse wieder zusammen.
  • Asynchrone Ausführung: Im Gegensatz zu synchronen Ansätzen, bei denen alle Gruppen auf das Ende eines Schritts warten, erlaubt ARCLIGHT die asynchrone Ausführung der Teilgraphen. Dies reduziert Leerlaufzeiten der Threads erheblich.

3. Hauptbeiträge

1. Leichte Inferenz-Architektur: ARCLIGHT ist ein modulares, quelloffenes Framework (ca. 10 C++ Header/Source-Dateien), das die Inferenz auf ihre wesentlichen Komponenten reduziert. Es bietet eine transparente Basis für Forscher, um CPU-basierte LLMs ohne den Overhead traditioneller Frameworks zu erforschen.
2. Optimierung für Many-Core-CPUs: Das Paper liefert einen Bauplan für multidimensionale Optimierungen, indem es Thread-Scheduling und das Speicherzugriffsproblem (Memory Wall) adressiert. Dies verschiebt die Leistungsgrenzen von CPU-basierten LLMs signifikant.

4. Ergebnisse

Die Evaluation erfolgte auf einer Testmaschine mit 192 Kernen (4 NUMA-Knoten, jeweils 48 Huawei Kunpeng-920 ARM-Kerne) unter Ubuntu 22.04. Als Modell diente ein quantisiertes Qwen3-4B (Q4_0).

• Durchsatzsteigerung: ARCLIGHT erreicht im Vergleich zu llama.cpp einen bis zu 46 % höheren Inferenz-Durchsatz auf Many-Core-Plattformen.
• Skalierbarkeit:
  • Bei Nutzung eines einzelnen NUMA-Knotens zeigt ARCLIGHT eine leicht bessere Leistung als llama.cpp durch effizientere lokale Speichernutzung.
  • Bei Verteilung über mehrere NUMA-Knoten (2 oder 4 Knoten) übertrifft ARCLIGHT mit Tensor Parallelism llama.cpp deutlich. Während llama.cpp durch Remote-Zugriffe gebremst wird, bricht ARCLIGHT durch Cross-NUMA TP die Speicherzugriffsbarriere.
• Asynchrone Ausführung: Die asynchrone Subgraph-Ausführung (Sync B) trug zusätzlich zu einem Gewinn von ca. 5 Tokens pro Sekunde bei.

5. Bedeutung und Ausblick

ARCLIGHT demonstriert, dass CPUs, insbesondere viele-Kern-Systeme, für effiziente LLM-Inferenz genutzt werden können, wenn die Architektur spezifisch auf die Hardware-Eigenschaften (NUMA) zugeschnitten ist.

• Praktische Relevanz: Da viele Server und Netzwerkgeräte auf CPUs basieren, ermöglicht ARCLIGHT die Entlastung von GPU-Ressourcen und die Skalierung von KI-Diensten auf bestehender Hardware.
• Zukunft: Das Framework ist aktuell auf ARM-Architekturen optimiert. Die Unterstützung für x86 und weitere Architekturen sowie weitere Optimierungen der Scatter/Gather-Operatoren sind als zukünftige Arbeiten geplant. Das Projekt ist unter https://github.com/OpenBMB/ArcLight öffentlich verfügbar.

Zusammenfassend bietet ARCLIGHT einen Paradigmenwechsel weg von der bloßen Portierung von GPU-Optimierungen hin zu einer nativen, hardware-optimierten Architektur für CPU-basierte KI-Inferenz.