SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs
SelectInfer ist ein Framework zur Optimierung auf Neuronen-Ebene, das eine effiziente On-Device-Inferenz von Large Language Models ermöglicht, indem es einen Offline-Profiler nutzt, um die wichtigsten Neuronen zu identifizieren und selektiv zu laden sowie zu berechnen, wodurch die Speicher- und Rechenkosten erheblich reduziert werden, ohne die Aufgabenleistung zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek des Wissens, die so gewaltig ist, dass sie die Antwort auf fast jede Frage enthält, die Sie stellen könnten. Dies ist das, was Wissenschaftler ein Large Language Model (LLM) nennen. Man kann es sich wie ein superintelligentes Robotergehirn vorstellen, das fast jedes Buch im Internet gelesen hat. Aber hier ist der Haken: Dieses Gehirn ist so groß und schwer, dass es normalerweise ein massives, teures Rechenzentrum mit leistungsstarken Supercomputern benötigt, um zu laufen. Es ist, als würde man versuchen, eine ganze Bibliothek in einen Rucksack zu packen; das passt einfach nicht hinein.
In jüngster Zeit wollten Menschen diese „Bibliothek“ in kleinere Geräte bringen, wie zum Beispiel die smarten Gadgets in Ihrer Tasche oder die Computer in selbstfahrenden Autos. Dies werden „Edge-Geräte“ genannt. Das Problem ist, dass diese Gadgets über sehr begrenzten Speicherplatz und eine begrenliche Akkukapazität verfügen. Wenn man versucht, die ganze Bibliothek darauf zu erzwingen, stürzt das Gerät ab oder läuft so langsam, dass es unbrauchbar ist. Wissenschaftler haben versucht, die Bibliothek zu schrumpfen, indem sie die Bücher „zusammendrücken“ (sie kleiner, aber schwerer lesbar machen) oder ganze Regale wegwerfen (was dazu führt, dass der Roboter Dinge vergisst). Aber diese alten Tricks beeinträchtigen oft die Fähigkeit des Roboters, klar zu denken. Die große Frage ist: Können wir dieses riesige Gehirn in einen kleinen Rucksack packen, ohne seine Genialität zu verlieren?
Hier kommt SelectInfer ins Spiel, eine neue Idee von Forschern der Universität Paderborn, die einen cleveren Weg vorschlägt, dieses Rätsel zu lösen. Anstatt zu versuchen, die ganze Bibliothek zu schrumpfen oder wahllos Bücher wegzuwerfen, agiert SelectInfer wie ein sehr kluger Bibliothekar, der genau weiß, welche Bücher Sie jetzt gerade benötigen.
So funktioniert es, erklärt durch eine einfache Geschichte. Stellen Sie sich vor, Ihr Robotergehirn ist eine riesige Fabrik mit tausenden von Arbeitern (genannt „Neuronen“). In einer normalen Fabrik erscheinen jeden Tag alle Arbeiter zur Arbeit, selbst wenn sie nichts zu tun haben. Das verschwendet Platz und Energie. Die Forscher haben entdeckt, dass diese Arbeiter tatsächlich in zwei Gruppen unterteilt werden können. Einige sind „Generalisten“, die immer auftauchen, egal was die Aufgabe ist – wie die Leute, die das Licht anmachen und die Kaffeemaschine am Laufen halten. Andere sind „Spezialisten“, die nur für bestimmte Aufgaben erscheinen, wie das Team, das die Rohre repariert, oder das Team, das die Wände streicht.
Die Arbeit zeigt, dass man für eine bestimmte Aufgabe nicht alle Spezialisten braucht, und man definitiv nicht die braucht, die heute nicht arbeiten. SelectInfer nutzt einen zweistufigen Zaubertrick, um die Fabrik auf einem winzigen Gerät laufen zu lassen:
Selektives Laden (Der Rucksack-Trick): Bevor der Roboter überhaupt mit der Arbeit beginnt, nutzen die Forscher einen „Offline-Profiler“ (eine Art Kundschafter), um herauszufinden, welche Generalisten und Spezialisten am wichtigsten sind. Wenn der Roboter dann bereit ist, packt er nur diese spezifischen Arbeiter in seinen Rucksack (Speicher). Den Rest lässt er zurück. Das ist so, als würde man nur die Werkzeuge einpacken, die man für einen Campingausflug braucht, anstatt den gesamten Baumarkt mitzunehmen. Dies ermöglicht es dem Roboter, in Geräte zu passen, die zuvor zu klein waren, um ihn überhaupt aufzunehmen. Zum Beispiel kann ein Modell, das normalerweise 9 GB Platz benötigt, auf einem Gerät mit nur 8 GB Speicher (wie einem NVIDIA Jetson Orin Nano) nun hineinpassen, weil es nur 70 % seiner Arbeiter mit sich führt.
Selektive Berechnung (Der On-Demand-Trick): Selbst mit einem leichteren Rucksack muss der Roboter immer noch jeden Arbeiter bitten, seine Arbeit zu verrichten, was Zeit kostet. SelectInfer fügt eine zweite Regel hinzu: Sobald der Roboter mit der Arbeit beginnt, bittet er nur die relevantesten Arbeiter, für diesen spezifischen Moment auch wirklich die Berechnungen durchzuführen. Wenn der Robbot ein Gedicht schreibt, braucht er das Klempner-Team nicht, um das Reimschema zu berechnen. Er weckt nur die Poeten auf. Das macht den Roboter viel schneller im Denken.
Die Forscher testeten dies an drei verschiedenen Robotergehirnen (Llama3.2-3B, Llama3.2-1B und Qwen2.5-3B) auf einem winzigen Computerchip. Sie fanden heraus, dass sie durch diese Methode diese riesigen Modelle auf Geräten ausführen konnten, die zuvor ungeeignet waren. Für das 3-Milliarden-Parameter-Modell machte SelectInfer es etwa 1,53-mal schneller als die derzeit beste Methode des Daten-Zusammendrückens (4-Bit-Quantisierung) und mehr als 13-mal schneller als der Versuch, Daten von einer langsamen Festplatte zu laden.
Entscheidend ist, dass die Arbeit argumentiert, dass dies das Robotergehirn nicht „dümmer“ macht. Tatsächlich war SelectInfer bei vielen Aufgaben, wie der Übersetzung und der Zusammenfassung von Geschichten, sogar genauer als andere Methoden, die versuchten, Platz zu sparen. Die Forscher fanden heraus, dass während andere Methoden entweder Speicher sparten, aber langsam liefen, oder schnell waren, aber Dinge vergaßen, SelectInfer in der Lage war, alle drei Aspekte zu balancieren: Es sparte Speicher, beschleunigte das Denken und behielt gleichzeitig die Genauigkeit der Antworten bei.
Die Arbeit schließt explizit die Idee aus, dass man das gesamte Modell wegwerfen oder es von Grund auf neu trainieren muss, um es passend zu machen. Sie zeigt auch, dass das bloße zufällige Auswählen von Arbeitern, die man zurücklässt (Random Loading), dazu führt, dass der Roboter völlig versagt, was beweist, dass man eine kluge Karte braucht, um zu wissen, wen man behalten muss. Während die Methode eine einmalige „Kundschaftsphase“ erfordert, um herauszufinden, welche Arbeiter wichtig sind, legen die Ergebnisse nahe, dass dies ein praktischer und leistungsstarker Weg ist, um superintelligente KI auf die kleinen Gadgets in unseren Taschen zu bringen, ohne einen Supercomputer in der Cloud zu benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.