Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

Stellen Sie sich vor, Sie haben ein brillantes, superschlaueres Roboterhirn (ein Large Language Model oder LLM), das Geschichten schreiben, Probleme lösen und Fragen beantworten kann. Normalerweise lebt dieses Hirn in einem riesigen, teuren Rechenzentrum weit entfernt in der „Cloud". Um es zu nutzen, müssen Sie Ihre Fragen über das Internet senden und auf eine Antwort warten.

Aber was ist, wenn Sie sich an einem Ort ohne Internet befinden oder wo das Senden von Daten ein Sicherheitsrisiko darstellt (wie eine geheime Militärbasis oder eine abgelegene Drohne)? Sie brauchen dieses Hirn direkt bei sich, auf einem kleinen, günstigen Computer. Dies wird „Edge Computing" genannt.

Dieser Artikel ist wie ein Einkaufsführer zum Bau eines lokalen Roboterhirns. Die Autoren testeten vier verschiedene kleine Computer (Single-Board-Computer), um herauszufinden, welcher am besten geeignet ist, diese schlauen Hirne zu betreiben, ohne eine massive Kraftanlage oder einen riesigen Koffer zum Transport zu benötigen.

Hier ist, wie sie es taten und was sie herausfanden, unter Verwendung einfacher Analogien:

Das Problem: Die „Cloud" versus der „Rucksack"

Ein schlaueres Hirn in der Cloud zu betreiben, ist wie das Bestellen einer Pizza, die von einem Restaurant quer durch die Stadt geliefert wird. Es ist großartig, wenn Sie eine schnelle Straße (Internet) haben, aber wenn die Straße blockiert ist oder wenn Sie dem Lieferfahrer Ihre geheime Adresse nicht zeigen können (Privatsphäre), stecken Sie fest.

Die Autoren wollten wissen: Können wir die Pizza in unserer eigenen Küche backen?
Sie testeten kleine Computer, die in Ihre Hand passen (oder sogar noch kleiner sind), um zu sehen, ob sie diese schlauen Hirne schnell genug betreiben können, um nützlich zu sein.

Die Testküche: Vier verschiedene „Öfen"

Die Forscher richteten vier verschiedene „Öfen" (Hardware-Setups) ein, um die Pizza zu backen (die KI zu betreiben):

1. Der winzige Ziegel (M5Stack): Ein winziger, kreditkartengroßer Computer mit einem speziellen Hilfschip (NPU), der eingebaut ist. Er ist so groß wie eine kleine Streichholzschachtel.
2. Das Standard-Board (Raspberry Pi 5): Ein beliebtes, erschwingliches Computerboard, das versucht, alles allein mit seinem Hauptgehirn (CPU) zu erledigen.
3. Das aufgerüstete Board (Raspberry Pi 5 + HAT): Dasselbe Standardboard, aber mit einer speziellen „Geschwindigkeits-Booster"-Karte (Hailo NPU), die daran befestigt ist.
4. Der Kraftprotz (Jetson Orin Nano): Ein teureres, leistungsstärkeres Board mit einer High-End-Grafikkarte (GPU), die eingebaut ist.

Die neue Art, Erfolg zu messen

Normalerweise fragen die Leute nur: „Wie schnell ist es?" (Tokens pro Sekunde). Aber die Autoren stellten fest, dass für kleine, tragbare Geräte Geschwindigkeit nicht das Einzige ist, was zählt. Sie führten zwei neue Möglichkeiten ein, um Erfolg zu messen:

• Der „Koffer-Dichte"-Test (Durchsatzdichte):
  Stellen Sie sich vor, Sie packen für eine Wanderreise. Sie wollen nicht nur das leistungsstärkste Zelt; Sie wollen das leistungsstärkste Zelt, das in den kleinsten Rucksack passt. Die Autoren maßen, wie viel „schlauen Denken" ein Gerät pro Kubikzoll seiner Größe leisten konnte.

  • Der Gewinner: Der winzige M5Stack war hier der Champion. Obwohl er nicht overall der Schnellste war, packte er die meiste Rechenleistung in den kleinsten Raum.

• Der „Akkulaufzeit"-Test (Energie pro Million Tokens):
  Stellen Sie sich vor, Sie laufen einen Marathon. Sie wollen nicht nur schnell laufen; Sie wollen schnell laufen, ohne sich zu verausgaben. Sie maßen, wie viel Strom benötigt wurde, um eine Million Wörter zu generieren.

  • Der Gewinner: Der M5Stack und die Jetson-GPU waren am energieeffizientesten. Das Standard-Raspberry Pi (ohne Booster) war wie ein Läufer, der sehr schnell müde wurde und viel Energie für sehr wenig Geschwindigkeit verbrauchte.

Die Ergebnisse: Was funktionierte am besten?

• Der „Geschwindigkeitsdämon": Der Jetson Orin Nano war overall der Schnellste. Wenn Sie die meisten Antworten pro Sekunde benötigen und etwas Platz und Leistung haben, ist dies die richtige Wahl.
• Der „Platzsparende": Der M5Stack (der winzige Ziegel) war der Beste für enge Räume. Er bewies, dass man ein schlaueres Hirn in etwas so Kleines wie eine Streichholzschachtel packen kann.
• Das „kluge Upgrade": Das Hinzufügen des Hailo-Geschwindigkeits-Boosters zum Raspberry Pi machte es viel besser. Es wurde viel schneller und verbrauchte viel weniger Energie als das Raspberry Pi allein.
• Das „Machen Sie das nicht": Der Versuch, diese schlauen Hirne auf dem Standard-Raspberry Pi ohne spezielle Booster-Chips zu betreiben, war sehr ineffizient. Es war langsam und fraß viel Strom, wie ein Versuch, einen Marathon in schweren Stiefeln zu laufen.

Warum ist das wichtig? (Die spezifischen Behauptungen des Artikels)

Die Autoren sagen, dass diese Erkenntnisse für drei spezifische reale Szenarien, die im Artikel erwähnt werden, entscheidend sind:

1. Unbemannte Fahrzeuge (Drohnen): Drohnen haben winzige Batterien. Sie brauchen ein schlaueres Hirn, das die Batterie nicht entleert. Der Artikel zeigt, dass man ein schlaueres Hirn auf eine Drohne setzen kann, die klein genug zum Fliegen ist und effizient genug, um den Absturz der Drohne aufgrund von Strommangel zu verhindern.
2. Tragbare, robuste Operationen: Denken Sie an Soldaten oder Arbeiter in rauen Umgebungen, die Ausrüstung tragen. Sie brauchen Computer, die in einen kleinen, robusten Koffer passen. Der „Koffer-Dichte"-Test zeigt, welche Computer am besten in diese engen, robusten Boxen passen.
3. Satelliten-Bodenstationen: Menschen bauen kleine, tragbare Stationen, um in abgelegenen Orten mit Satelliten zu kommunizieren. Sie müssen Daten lokal verarbeiten, ohne auf eine Verbindung zum Hauptbüro warten zu müssen. Der Artikel zeigt, dass diese kleinen Computer die Aufgabe bewältigen können, besonders wenn sie spezielle Booster-Chips verwenden, um Strom zu sparen.

Das Fazit

Sie brauchen kein riesiges Rechenzentrum mehr, um eine intelligente KI zu haben. Sie können sie in eine kleine Box packen. Allerdings können Sie nicht einfach irgendeinen kleinen Computer nehmen; Sie brauchen die richtige Kombination aus einem kleinen Computer und einem speziellen „Hilfs"-Chip (Beschleuniger), um ihn schnell und energieeffizient zu machen.

• Wenn Sie maximale Geschwindigkeit benötigen, holen Sie sich den Jetson.
• Wenn Sie maximale Kleinheit benötigen, holen Sie sich den M5Stack.
• Wenn Sie ein gutes Gleichgewicht wollen, fügen Sie einen Booster-Chip zu einem Standardboard hinzu.

Dieser Artikel gibt Ihnen die Karte, um das richtige Werkzeug zu wählen, damit Sie intelligente KI überall betreiben können, sogar dort, wo das Internet nicht hinkommt.