Unlocking the Edge deployment and ondevice acceleration of multi-LoRA enabled one-for-all foundational LLM
Diese Arbeit stellt einen hardwarebewussten Framework vor, der die effiziente On-Device-Inferenz eines LLaMA-basierten multilingualen Basismodells mit mehreren LoRAs auf Samsung Galaxy S24/S25-Geräten ermöglicht und durch Techniken wie dynamische Selbst-spezulative Dekodierung sowie mehrstufiges Entschlüsseln eine bis zu sechsfache Latenzreduktion bei gleichzeitiger Unterstützung verschiedener Aufgaben und Sprachen erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen riesigen, genialen Bibliothekar (den KI-Modell), der alles auf der Welt weiß und in vielen Sprachen spricht. Das Problem ist: Dieser Bibliothekar ist so groß und schwer, dass er nicht in Ihre kleine Tasche (Ihr Smartphone) passt. Normalerweise müssten Sie ihn in der Cloud (auf einem riesigen Server) wohnen lassen und ihn nur per Telefon anrufen. Das kostet aber Zeit (Latenz) und ist nicht privat, wenn Sie offline sind.
Dieses Papier beschreibt, wie Samsung es geschafft hat, diesen riesigen Bibliothekar zu verkleinern, zu entpacken und direkt in Ihr neues Samsung Galaxy S24 oder S25 zu stecken – ohne Internet, schnell und privat.
Hier ist die einfache Erklärung der drei genialen Tricks, die sie benutzt haben:
1. Der "Ein-Modell-für-alles"-Schalter (Multi-LoRA)
Stellen Sie sich vor, der Bibliothekar hat ein festes Gedächtnis (das Basis-Modell). Wenn Sie ihn bitten, einen formellen Brief zu schreiben, muss er normalerweise umschalten. Wenn Sie ihn bitten, einen lustigen Witz zu erzählen, muss er wieder umschalten. Normalerweise müsste man dafür verschiedene Versionen des Bibliothekars auf dem Handy speichern – das würde den Speicherplatz sprengen.
Die Lösung: Die Forscher haben einen cleveren "Schalter" eingebaut.
- Das Basis-Gehirn bleibt immer gleich und ist fest installiert.
- Die speziellen Fähigkeiten (z. B. "höflich sein", "korrigieren", "lustig sein") sind wie kleine, leichte Zubehörteile (die LoRAs).
- Statt den ganzen Bibliothekar neu zu bauen, stecken Sie einfach das passende Zubehörteil in den Schalter. Das Handy lädt nur das kleine Teil, nicht den ganzen Riesen. So können Sie zwischen "Formeller Brief" und "Lustiger Chat" wechseln, ohne dass das Handy neu startet oder mehr Speicher braucht.
2. Der "Acht-Wege-Schalter" (Concurrent Token Generation)
Stellen Sie sich vor, Sie wollen wissen, wie ein Satz in acht verschiedenen Stilen klingt (z. B. sehr höflich, sehr locker, sehr formell). Normalerweise müsste der Bibliothekar den Satz acht Mal nacheinander lesen und acht Mal antworten. Das dauert lange.
Die Lösung: Die Forscher haben einen Trick erfunden, bei dem der Bibliothekar alle acht Antworten gleichzeitig auf einem einzigen Blatt Papier schreibt.
- Statt acht separate Reisen zu machen, nutzt er eine Art "Parallel-Spur".
- Er berechnet alle acht Varianten in einem einzigen Durchgang.
- Ergebnis: Das Handy ist bis zu 6-mal schneller, wenn es Ihnen verschiedene Antwortmöglichkeiten anbietet. Es ist, als würde ein Koch nicht acht Suppen nacheinander kochen, sondern acht Töpfe gleichzeitig auf dem Herd haben.
3. Der "Zukunfts-Raten-Trick" (Dynamic Self-Speculative Decoding)
Wenn ein KI-Modell einen Text schreibt, muss es normalerweise Wort für Wort warten: "Ich" ... (Warten) ... "bin" ... (Warten) ... "glücklich". Das ist wie ein Schachspieler, der nach jedem Zug eine Stunde überlegt.
Die Lösung: Die Forscher haben dem Bibliothekar beigebracht, vorherzusagen, was als Nächstes kommt, ohne dass er einen zweiten, kleineren Bibliothekar braucht (was Speicherplatz kosten würde).
- Der Bibliothekar sagt sich selbst: "Ich werde jetzt nicht nur das nächste Wort raten, sondern gleich die nächsten drei!"
- Er baut eine kleine "Baumstruktur" aus Vorhersagen.
- Das Handy prüft dann schnell, ob die Vorhersagen stimmen. Wenn ja, spart es sich das Warten für diese Wörter.
- Ergebnis: Die Geschwindigkeit, mit der Wörter generiert werden, verdoppelt sich fast. Es ist, als würde ein Sprinter nicht nur einen Schritt machen, sondern gleich drei Schritte auf einmal nehmen, wenn der Weg klar ist.
Zusammenfassung: Warum ist das wichtig?
Durch diese drei Tricks (der Schalter, der Parallel-Koch und der Zukunfts-Rater) hat Samsung es geschafft:
- Platz zu sparen: Das Modell passt auf das Handy, ohne den Speicher zu füllen.
- Schneller zu sein: Die Antworten kommen sofort, ohne Internetverzögerung.
- Privater zu sein: Alles passiert direkt auf Ihrem Gerät, nichts geht in die Cloud.
- Vielseitig zu sein: Es funktioniert in 9 verschiedenen Sprachen und für 8 verschiedene Aufgaben (von E-Mails schreiben bis hin zu Gesundheits-Tipps).
Kurz gesagt: Sie haben einen riesigen Supercomputer in Ihre Hosentasche gepackt, der sofort antwortet, Ihre Daten nicht ausspioniert und in vielen Sprachen mit Ihnen reden kann. Das ist der nächste große Schritt für künstliche Intelligenz auf dem Handy.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.