🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

Dieser Artikel zeigt, dass eine speichereffiziente Optimierung nullter Ordnung (MeZO) durch die Eliminierung der Notwendigkeit, Aktivierungen und Optimiererzustände zu speichern, eine Feinabstimmung deutlich größerer Modelle direkt auf dem Gerät im Vergleich zur konventionellen Backpropagation ermöglicht und dabei erhöhte Wandzeit gegen überlegene Genauigkeit unter strengen Speicherbeschränkungen eintauscht.

Ursprüngliche Autoren: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich intelligente Wissensbibliothek (ein Large Language Model), die Sie auf einem kleinen, batteriebetriebenen Gerät wie einem Smartphone oder einer Smartwatch dabei haben möchten. Sie wollen, dass dieses Gerät neue Fähigkeiten speziell für Ihre Bedürfnisse direkt vor Ort erlernt, ohne eine massive Server-Infrastruktur in der Cloud anzurufen. Dieser Prozess wird als On-Device-Fine-Tuning bezeichnet.

Das Problem ist, dass das „Gehirn" (der Speicher) des Geräts im Vergleich zur Bibliothek winzig ist.

Der alte Weg: Der „Backpropagation"-Rucksack

Die traditionelle Methode zum Trainieren dieser Modelle heißt Backpropagation (BP). Stellen Sie sich dies wie einen Schüler vor, der versucht, ein neues Fach zu lernen, indem er eine Prüfung schreibt und sofort jeden einzelnen Gedanken, jedes Kritzelpapier und jede Zwischenschrift aufzeichnet, die er beim Lösen des Problems gemacht hat, um sie später zu überprüfen und zu sehen, wo er einen Fehler gemacht hat.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein komplexes mathematisches Problem auf einem winzigen Serviettenstück zu lösen. Um die alte Methode anzuwenden, müssen Sie für jeden einzelnen Schritt, den Sie unternehmen, eine Kopie auf einem separaten Blatt Papier für jede einzelne Schicht des Problems aufbewahren.
Das Ergebnis: Die „Serviette" (der Speicher Ihres Geräts) füllt sich sofort. Da Sie all diese Zwischennotizen speichern müssen, können Sie nur eine sehr kleine, einfache Bibliothek auf Ihr Gerät bringen. Wenn Sie versuchen, eine riesige Bibliothek mitzubringen, laufen Sie vor dem eigentlichen Lernen bereits aus Platzmangel aus.

Der neue Weg: Die „MeZO"-Intuition

Die Arbeit stellt eine neue Methode namens MeZO (Memory-Efficient Zeroth-Order Optimization) vor. Diese Methode schreibt die Zwischenschritte nicht auf. Stattdessen verwendet sie einen „Versuch-und-Irrtum"-Ansatz.

Die Analogie: Stellen Sie sich vor, Sie versuchen, den besten Weg durch ein Labyrinth zu finden. Anstatt eine Karte von jeder Wendung zu zeichnen, die Sie gemacht haben (was viel Papier verbraucht), machen Sie einfach einen Schritt, sehen, ob Sie gegen eine Wand laufen, machen einen winzigen Schritt in eine andere Richtung und sehen, ob das besser ist. Sie merken sich nur das Ergebnis des Schritts, nicht den gesamten Denkprozess, der Sie dorthin gebracht hat.
Das Ergebnis: Sie müssen keinen schweren Rucksack voller Notizen tragen. Sie können eine viel, viel größere Bibliothek auf Ihr Gerät bringen, da Sie keinen Platz für „Kritzelpapier" verschwenden.

Der Kompromiss: Geschwindigkeit versus Größe

Die Arbeit macht eine sehr spezifische Aussage über diesen Kompromiss:

Größenvorteil: Da MeZO nicht all diese Zwischennotizen speichern muss, können Sie Modelle unterbringen, die mindestens doppelt so groß sind wie das, was die alte Methode erlaubt. Wenn Sie ein langes Gespräch führen (ein langer „Kontext"), wächst der Vorteil massiv – bis zu 25-mal größer.
- Einfache Mathematik: Wenn die alte Methode es Ihnen erlaubt, ein 3-Milliarden-Wörter-Wörterbuch unterzubringen, könnte MeZO es Ihnen erlauben, ein 13-Milliarden-Wörter-Wörterbuch auf demselben Gerät unterzubringen.
Geschwindigkeitsnachteil: Der Nachteil ist, dass MeZO langsamer ist. Da es viele Male „raten und prüfen" muss, um die richtige Richtung herauszufinden (anstatt einfach nur seine Notizen zu lesen), dauert das Lernen länger.
- Die Erkenntnis der Arbeit: In ihren Tests lernte die alte Methode schnell, stieß aber an eine „Decke", da sie gezwungen war, ein kleines Modell zu verwenden. Die neue Methode (MeZO) lernte langsam, aber da sie ein viel größeres, intelligenteres Modell verwendete, landete sie nach einigen Stunden mit einer besseren Genauigkeit.

Was sie tatsächlich getestet haben

Die Forscher haben nicht nur Mathematik betrieben; sie führten Experimente auf einem leistungsstarken Computerchip (einer H100-GPU) durch, um ein Gerät zu simulieren:

Sie verglichen ein kleines Modell, das mit der alten „schweren Rucksack"-Methode trainiert wurde, mit einem viel größeren Modell, das mit der neuen „leichten" Methode trainiert wurde.
Das Ergebnis: Obwohl die neue Methode länger brauchte (etwa 2 Stunden, um gute Ergebnisse zu erzielen), war das größere Modell, das sie trainierte, deutlich intelligenter (82 % Genauigkeit) als das kleine Modell, das schnell trainiert wurde (unter 75 % Genauigkeit).
Sie testeten auch „sparse" Training (nur 1 % des Modellgehirns aktualisieren). Selbst mit diesem Trick benötigte die alte Methode immer noch mehr Speicher als die neue Methode, da das „Kritzelpapier" (Aktivierungen) immer noch das größte Problem darstellte.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass MeZO die bessere Wahl ist, wenn Sie eine wirklich intelligente KI auf einem Gerät mit begrenztem Speicher ausführen möchten. Es ermöglicht Ihnen, ein „größeres Gehirn" an den Rand zu bringen, vorausgesetzt, Sie sind bereit, etwas länger auf das Lernen zu warten. Es verwandelt die Einschränkung „kleiner Speicher" in einen Vorteil, indem es verändert, wie das Lernen stattfindet, anstatt das Modell nur zu verkleinern.

Technische Zusammenfassung: On-Device Fine-Tuning durch backprop-freie Nullter-Ordnung-Optimierung

Problemstellung

On-Device Fine-Tuning ist für Edge-KI-Systeme unerlässlich, um sich an spezifische agentische Aufgaben und sich wandelnde Benutzerbedürfnisse anzupassen, ohne auf externe Server angewiesen zu sein. Ein kritischer Engpass besteht jedoch: Das konventionelle Fine-Tuning mittels Backpropagation (BP) ist erheblich speicherintensiver als die Inferenz. BP erfordert die Speicherung von Aktivierungen der Zwischenschichten und Optimiererzuständen für jede Schicht, was oft eine um eine Größenordnung höhere Speichermenge erfordert als ein einzelner Vorwärtsdurchlauf. Folglich sind Edge-Geräte mit strengen Speicherbeschränkungen gezwungen, für das Fine-Tuning deutlich kleinere Modelle einzusetzen als für die Inferenz möglich wäre, was die Leistungsfähigkeit von On-Device-KI erheblich einschränkt.

Methodik

Dieses Papier schlägt und analysiert speichereffiziente Nullter-Ordnung-Optimierung (MeZO) als Lösung für den Speicherengpass vor. Im Gegensatz zu BP schätzt MeZO Gradienten ausschließlich durch Vorwärtsauswertungen (Perturbationen) ab, wodurch die Notwendigkeit entfällt, Zwischenaaktivierungen zu speichern oder Optimiererzustände zu verwalten.

Der Ansatz der Autoren umfasst zwei Hauptkomponenten:

Theoretische Speicheranalyse: Das Papier leitet mathematische Schätzungen für die Speicherauslastung von BP und MeZO bei Decoder-only-Transformer-Modellen ab. Die Analyse berücksichtigt:
- Anzahl der Parameter: Einschließlich Multi-Head-Attention (und Varianten mit Grouped Query Attention) und Feedforward Neural Network (FFN)-Schichten.
- Speicherung von Aktivierungen: Berechnung des für das Cachen von Aktivierungen für BP erforderlichen Speichers, der mit der Kontextlänge ( $N$ ), der Batch-Größe ( $B$ ) und der versteckten Dimension ( $D$ ) skaliert.
- Optimiererzustände: Unter der Annahme eines zustandslosen SGD-Optimierers, um den Einfluss der Speicherung von Aktivierungen zu isolieren.
- Implementierungsfaktoren: Einführung eines Faktors $L' \leq L$ , um die maximale Anzahl an Schichten von Aktivierungen darzustellen, die aufgrund implementierungsspezifischer Pufferung von MeZO gespeichert werden, was einen realistischen Vergleich ermöglicht.
Empirische Validierung: Die theoretischen Behauptungen werden durch numerische Experimente auf einer einzelnen H100-GPU unter Verwendung der Datensätze BoolQ und MultiRC validiert. Die Studie vergleicht:
- Vollständiges Fine-Tuning: Vergleich von BP (unter Verwendung von GPT2-medium) mit MeZO (unter Verwendung von Llama2-7B und Llama2-13B) unter festen Speicherbudgets (~17 GB).
- Parameter-effizientes Fine-Tuning (PEFT): Bewertung von spärlichen Updates (Fine-Tuning nur 1 % der Parameter) für sowohl BP als auch MeZO unter Verwendung von Qwen3-Modellen, um den Einfluss der Sparsity auf Speicher und Genauigkeit zu bewerten.

Hauptbeiträge

Das Papier leistet die folgenden spezifischen Beiträge:

Speicheranalyse: Ein theoretischer Vergleich, der zeigt, dass MeZO unter festen On-Chip-Speicherbudgets Modelle von mindestens 2× größerer Größe als BP aufnehmen kann. Dieser Vorteil skaliert mit der Kontextlänge und erreicht bei langen Kontexten (z. B. $N=32768$ ) ohne Checkpointing bis zu 25× und mit Aktivierungs-Checkpointing etwa 5×.
Skalierungserkenntnisse: Die Analyse zeigt, dass während der Parameterspeicher linear mit der Anzahl der Schichten ( $L$ ) skaliert, der Aktivierungsspeicher bei BP quadratisch mit der Kontextlänge ( $N$ ) und linear mit $L$ skaliert. MeZO vermeidet die quadratische Kontextstrafe und wird mit wachsenden Kontextfenstern zunehmend überlegen.
Empirische Validierung: Numerische Ergebnisse bestätigen, dass MeZO zwar in Bezug auf die Wandzeit eine langsamere Konvergenz aufweist, aber unter strengen Speicherbeschränkungen eine überlegene Validierungsgenauigkeit erreicht, da es den Einsatz deutlich größerer, leistungsfähigerer Modelle ermöglicht.
PEFT-Bewertung: Die Studie zeigt, dass selbst bei spärlichen Updates (1 % Parameteranpassung) die Speichereinsparungen von BP modest (~12–13 %) bleiben, da der Aktivierungsspeicher den Gesamtverbrauch dominiert. Im Gegensatz dazu ermöglicht MeZO weiterhin das Fine-Tuning größerer Modelle (z. B. 4B vs. 0,6B) innerhalb desselben Speicherbudgets und erzielt bessere Leistungen.

Ergebnisse

Abwägung zwischen Genauigkeit und Zeit: Experimente mit dem BoolQ-Datensatz zeigen, dass MeZO in der Wandzeit langsamer konvergiert als BP. Nach etwa 2 Stunden Fine-Tuning erreicht MeZO (unter Verwendung eines 13B-Parameter-Modells) jedoch eine Genauigkeit von ~82 %, während BP (aufgrund von Speicherlimits ein kleineres äquivalentes Modell mit 0,6B–1,5B Parametern verwendend) unter 75 % bleibt.
Speichereffizienz: Das Verhältnis der Speicheranforderungen (BP/MeZO) steigt mit der Kontextlänge. Bei einer Kontextlänge von 32.768 benötigt MeZO ohne Checkpointing etwa 25-mal weniger Speicher als BP.
Limitationen der Sparsity: Das Papier zeigt, dass die Reduzierung der Anzahl aktualisierter Parameter durch PEFT die Speicherbelastung von BP nicht signifikant verringert, da die Speicherung von Aktivierungen weiterhin der dominierende Faktor bleibt. Da MeZO die Speicherung von Aktivierungen vollständig vermeidet, behält es seinen Vorteil auch dann bei, wenn BP spärlich gemacht wird.

Bedeutung und Behauptungen

Das Papier positioniert MeZO als starken Kandidaten für On-Device-Fine-Tuning-Szenarien, insbesondere für agentische Edge-Systeme und Anwendungen des kontinuierlichen Lernens. Die primäre Bedeutung liegt in der Verschiebung der Einschränkung von der „Modellgröße“ zur „Fine-Tuning-Zeit“. Durch die Akzeptanz einer längeren Trainingsdauer in der Wandzeit können Edge-Geräte Modelle fine-tunen, die um Größenordnungen größer sind als diejenigen, die mit Backpropagation möglich wären, wodurch höhere Leistungsfähigkeiten direkt auf dem Gerät freigeschaltet werden.

Die Autoren kommen zu dem Schluss, dass MeZO die Trainingspeicheranforderungen effektiv auf das Niveau des Inferenzspeichers reduziert und damit den Einsatz größerer Modelle und längerer Kontextfenster auf hardware mit begrenzten Ressourcen ermöglicht. Sie weisen darauf hin, dass die aktuelle Analyse zwar auf Standard-Transformer-Architekturen fokussiert ist, die Schlussfolgerungen jedoch auf moderne Varianten (z. B. Sliding-Window-Attention, Mixture-of-Experts) verallgemeinert werden können und dass weitere Forschung erforderlich ist, um diese Erkenntnisse für neuromorphe Systeme und dynamische Sparsity zu spezialisieren.