Non-Monotonic Latency in Apple MPS Decoding: KV Cache Interactions and Execution Regimes
Diese Arbeit zeigt, dass Apple's MPS-Backend während der autoregressiven Inferenz unerwartete nicht-monotone Latenzspitzen aufweist, wobei die Decodierungsleistung für bestimmte Konfigurationen aufgrund von Backend-Ausführungsdynamiken abrupt um bis zu 21-fache verschlechtern kann, was im Gegensatz zur auf CPU- und NVIDIA-CUDA-Systemen beobachteten glatten Skalierung steht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie fahren auf einer Autobahn, die langsamer werden soll, je mehr Passagiere (Tokens) Sie dem Fahrzeug hinzufügen. In der Welt der KI erwarten wir normalerweise, dass Dinge so funktionieren: Je länger das Gespräch ist, desto mehr Zeit benötigt die Generierung des nächsten Wortes, doch dieser Anstieg sollte smooth und vorhersehbar sein.
Dieses Papier hat jedoch entdeckt, dass sich die „Autobahn" auf Apple-Computern (insbesondere solchen mit M-Serie-Chips) seltsam verhält. Statt eines sanften Gefälles stößt die Fahrt auf plötzliche, massive Geschwindigkeitsbremsen, die aus dem Nichts auftauchen und genauso schnell wieder verschwinden.
Hier ist eine Aufschlüsselung der Erkenntnisse des Papiers unter Verwendung alltäglicher Analogien:
1. Der „Geister-Holperstein"
Die Forscher stellten fest, dass bei der Verwendung des Grafiksystems von Apple (genannt MPS) zur Textgenerierung die Zeit für die Wortproduktion nicht immer stetig ansteigt.
- Die normale Erwartung: Wenn Sie die KI bitten, 100 Wörter zu schreiben, dauert es 1 Sekunde. Bei 200 Wörtern dauert es 2 Sekunden. Bei 300 Wörtern dauert es 3 Sekunden. Dies ist monotone Skalierung (eine glatte, vorhersehbare Linie).
- Die Apple-Realität: Die KI könnte 496 Wörter in 9 Sekunden schreiben. Wenn Sie sie jedoch bitten, nur 16 weitere Wörter zu schreiben (insgesamt 512), dauert es plötzlich 89 Sekunden. Wenn Sie dann nur noch 16 weitere Wörter hinzufügen (insgesamt 528), kehrt sie schlagartig zur Geschwindigkeit zurück.
- Die Analogie: Stellen Sie sich vor, Sie fahren eine Straße entlang, auf der Sie ohne ersichtlichen Grund auf eine Schlammstelle treffen, die Sie genau 100 Fuß lang auf ein Krabbeltempo verlangsamt, aber sobald Sie diese Stelle passiert haben, sind Sie wieder voll im Tempo. Das Papier fand heraus, dass diese „Schlammstellen" bei sehr spezifischen Wortzahlen auftreten (wie 512 oder 384), und sie können die KI 21 Mal langsamer machen als üblich.
2. Der „magische Gedächtniskasten" (KV-Cache)
Um die KI schneller zu machen, verwenden Ingenieure einen Trick namens KV-Caching. Stellen Sie sich dies als einen „magischen Gedächtniskasten" vor, in dem die KI den Kontext des Gesprächs speichert, damit sie nicht jedes Mal die gesamte Geschichte neu lesen muss, wenn sie ein neues Wort schreibt.
- Normalerweise: Dieser Kasten lässt das Auto viel schneller fahren.
- Das Problem: Das Papier fand heraus, dass wenn die KI auf einen dieser „Geister-Holpersteine" trifft (die 512-Wörter-Marke), der magische Gedächtniskasten nicht mehr so gut funktioniert, wie er sollte.
- Das Ergebnis: Normalerweise macht die Nutzung des Kastens die KI 20 Mal schneller als ohne ihn. Aber bei den „schlechten" Wortzahlen schrumpft dieser Vorteil auf fast nichts zusammen (nur noch 1,9 Mal schneller). Der Kasten ist zwar noch da, steckt aber im Stau fest.
3. Es geht nicht um einen leeren Tank (Speicher)
Wenn die KI langsamer wird, denken Sie vielleicht: „Oh, dem Computer geht der Speicher aus."
- Der Test: Die Forscher überprüften die Speichernutzung des Computers. Sie sahen, dass die Speichernutzung glatt und stetig anstieg, wie ein aufblasender Ballon. Sie sprang nicht plötzlich an oder brach zusammen, genau in dem Moment, in dem die KI langsamer wurde.
- Die Schlussfolgerung: Die Verlangsamung liegt nicht daran, dass dem Computer der Platz ausgegangen ist. Es liegt daran, dass der „Motor" (das Software-Backend) plötzlich an bestimmten Momenten auf eine sehr ineffiziente Weise den Gang wechselt. Es ist, als würde ein Automotor plötzlich beschließen, für ein paar Sekunden mit einer anderen, schrecklichen Kraftstoffmischung zu laufen, obwohl der Tank voll ist.
4. Es passiert überall (nicht nur bei einem Auto)
Die Forscher testeten dies mit verschiedenen Arten von KI-Modellen (GPT-2, BLOOM, OPT) und verschiedenen Apple-Computern (M3 Max und M3 Pro).
- Die Erkenntnis: Die „Geister-Holpersteine" traten bei allen auf. Der genaue Ort des Holpers änderte sich leicht je nach Automodell und Motorgröße, aber das Phänomen war dasselbe.
- Der Vergleich: Als sie dieselbe KI auf einem Standardcomputer (CPU) oder einer NVIDIA-Grafikkarte (CUDA) testeten, war die Fahrt glatt. Die „holprige Straße" ist eine spezifische Eigenart der aktuellen Grafiksoftware von Apple.
5. Warum dies für Sie wichtig ist
Das Papier warnt davor, dass Sie, wenn Sie eine KI nur bei ein oder zwei spezifischen Längen testen (z. B. „Mal sehen, wie schnell sie bei 100 Wörtern ist"), diese massiven Verlangsamungen möglicherweise völlig übersehen.
- Die Falle: Wenn Sie eine KI benchmarken und sie bei 500 Wörtern schnell wirkt, Sie aber 512 Wörter nicht prüfen, könnten Sie denken, das System sei perfekt. Aber im echten Leben könnte das System für einen Moment einfrieren, wenn ein Gespräch eines Benutzers genau diese Länge erreicht.
- Die Lehre: Sie können sich nicht nur auf die „durchschnittliche" Geschwindigkeit verlassen. Sie müssen jeden Schritt auf dem Weg prüfen, denn auf Apple-Chips kann sich die Geschwindigkeit abrupt und unvorhersehbar ändern, je nachdem, genau wie viele Wörter generiert werden.
Zusammenfassend: Die KI-Chips von Apple sind leistungsstark, aber ihre Software hat einen versteckten Makel, bei dem das System zu sehr spezifischen Momenten plötzlich für einen kurzen Zeitraum extrem langsam wird, bevor es wieder zur Normalität zurückkehrt. Dies geschieht sogar, wenn ausreichend Speicher verfügbar ist, und macht die üblichen „Geschwindigkeits-Tricks" (wie KV-Caching) während dieser Momente viel weniger effektiv.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.