Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

1. Problemstellung

Das Paper adressiert drei zentrale Herausforderungen im Bereich der effizienten Inferenz von Large Language Models (LLMs):

• Cross-Family Inkompatibilität: Herkömmliches Speculative Decoding (vorausschauendes Decodieren) setzt voraus, dass das kleine „Draft"-Modell und das große „Target"-Modell denselben Tokenizer teilen. Dies schränkt die Auswahl an Draft-Modellen stark ein. Für polnische Sprachmodelle ist dies besonders kritisch, da die führende Familie „Bielik" nicht tokenizer-homogen ist: Das große Zielmodell Bielik 11B basiert auf Mistral (Tokenizer: ~32k Vokabular), während das kleine Modell Bielik 1.5B auf Qwen2.5 basiert und einen maßgeschneiderten polnischen Tokenizer (APT4) verwendet. Eine direkte Kombination ist ohne Übersetzung unmöglich.
• Morphologisch reiche Sprachen: Polnisch ist eine stark flektierende Sprache mit vielen Diakritika (z. B. ą, ę, ź). Dies führt zu komplexen Tokenisierungsgrenzen, die bei der Übersetzung zwischen verschiedenen Vokabularen leicht zu Fehlern führen, wenn der Kontext nicht berücksichtigt wird.
• Hardware-Einschränkungen auf Apple Silicon: Die Theorie des Speculative Decoding geht davon aus, dass die Verifizierung von $k$ Kandidaten-Token-Kosten fast gleich der Generierung eines Tokens ist, da das Laden der Gewichte aus dem Speicher der dominante Kostenfaktor ist. Auf Apple Silicon (Unified Memory Architecture) teilen sich CPU und GPU denselben Speicherbus mit begrenzter Bandbreite (~200 GB/s beim M2 Pro). Es ist unklar, ob sich die Kosten für das Laden der Draft-Modelle über $k$ Positionen amortisieren, wenn beide Modelle denselben Speicherbus belegen.

2. Methodik

Die Studie erweitert das Inferenz-Framework MLX-LM (für Apple Silicon) um Universal Assisted Generation (UAG), um cross-tokenizer-basiertes Speculative Decoding zu ermöglichen.

• Implementierung von UAG:
  • Naive Übersetzung: Draft-Token werden in Text decodiert und direkt im Target-Tokenizer neu kodiert (String-Round-Trip). Dies führt oft zu Fehlern an den Token-Grenzen.
  • Kontextbewusste Übersetzung (Context-Aware): Um Token-Grenzen korrekt zu setzen, werden die letzten $p$ akzeptierten Tokens (Prefix-Kontext) vor der Neu-Tokenizerung an den Draft-String angehängt. Nach der Kodierung wird der Prefix wieder entfernt, sodass nur die neuen Kandidaten an das Target-Modell weitergegeben werden. Dies löst das Problem der Verschiebung von Token-Grenzen (Boundary Misalignment).
• Experimentelles Setup:
  • Target-Modell: Bielik 11B-Instruct (Mistral-Architektur, 8-bit quantisiert).
  • Draft-Modelle: Drei Modelle unterschiedlicher Familien: Bielik 1.5B (Qwen2.5-basiert, polnischer APT4-Tokenizer), Qwen2.5-1.5B und Llama 3.2-1B.
  • Hardware: Apple M2 Pro (32 GB Unified Memory, 200 GB/s Bandbreite).
  • Datensätze: Polnische Wikipedia, pl_alpaca (Anweisungen) und synthetische kurze Fragen.
  • Parameter: Draft-Längen $k \in \{2, 4, 6\}$.

3. Hauptbeiträge

1. Erste Implementierung von UAG in MLX-LM: Die Autoren haben eine vollständige Unterstützung für cross-tokenizer-basiertes Speculative Decoding auf Apple Silicon implementiert, inklusive einer kontextbewussten Übersetzungsstrategie, die Token-Grenzen-Äquivalenzen löst.
2. Systematische Evaluation für Polnisch: Erste empirische Studie, die zeigt, dass allgemeine Modelle (Qwen, Llama) als Draft-Modelle für polnische Modelle besser funktionieren als ein spezialisiertes polnisches Modell (Bielik 1.5B), wenn Tokenizer-Inkompatibilitäten bestehen.
3. Hardware-spezifische Kostenanalyse: Widerlegung der Annahme, dass sich die Kosten auf Unified-Memory-Hardware vollständig amortisieren. Die Studie zeigt, dass die sequenziellen Draft-Passes auf dem geteilten Speicherbus einen signifikanten Overhead verursachen.
4. Parametrische Speedup-Formel: Entwicklung einer hardwarebewussten Formel, die den Break-even-Punkt (die notwendige Akzeptanzrate) in Abhängigkeit von der Draft-Länge $k$ und der Hardware-Bandbreite beschreibt.

4. Ergebnisse

• Kontextbewusste Übersetzung ist essenziell:
  • Die kontextbewusste Strategie ($p=5$ Prefix-Token) erzielte konsistent die höchsten Akzeptanzraten (bis zu 45 % mit Qwen/Llama).
  • Die naive Übersetzung führte zu drastischen Einbrüchen der Akzeptanzrate (oft < 10 %), da Token-Grenzen falsch gesetzt wurden.
  • Keine Übersetzung („No translation") funktionierte nur bei sehr strukturierten Daten (Wikipedia) teilweise gut, scheiterte aber bei Anweisungen.
• Überraschende Performance-Ranking:
  • Das polnisch-spezialisierte Bielik 1.5B schnitt als Draft-Modell schlechter ab als die allgemeinen Modelle Qwen2.5-1.5B und Llama 3.2-1B.
  • Grund: Der APT4-Tokenizer von Bielik 1.5B segmentiert polnische Wörter anders als der Mistral-Tokenizer von Bielik 11B (z. B. bei Diakritika), was trotz gleicher Sprache zu Token-Level-Misalignment führt.
• Hardware-Bottleneck und $k$-Abhängigkeit:
  • Bei $k=2$ konnte auf dem M2 Pro ein Speedup von bis zu 1,7-fach (bei strukturierten Texten) oder ein Gleichstand mit der Baseline erreicht werden.
  • Bei $k=4$ und $k=6$ brach die Performance ein. Der Overhead durch das sequenzielle Laden der Draft-Modelle über den Speicherbus war zu hoch.
  • Die benötigte Akzeptanzrate für einen Break-even stieg von ~40 % bei $k=2$ auf über 100 % bei $k=6$ (theoretisch unmöglich).
• Inhaltseffekte:
  • Strukturierte Texte (Wikipedia, Listen) erlauben höhere Akzeptanzraten als offene Anweisungen (pl_alpaca), da sie vorhersagbarer sind.
  • Polnische Diakritika stellen eine besondere Herausforderung für die Token-Übersetzung dar.

5. Bedeutung und Schlussfolgerungen

• Praktische Anwendbarkeit: Cross-Family Speculative Decoding ist auf Apple Silicon für polnische Modelle machbar, erfordert aber zwingend eine kontextbewusste Übersetzung und kurze Draft-Längen ($k=2$).
• Kein „Free Lunch" auf Unified Memory: Im Gegensatz zu dedizierten GPUs (NVIDIA A100), wo die Verifizierungskosten gering sind, dominiert auf Apple Silicon die Speicherbandbreite. Das sequenzielle Ausführen von $k$ Draft-Passes + 1 Verifizierung ist zu teuer, wenn die Bandbreite begrenzt ist.
• Energieeffizienz: Trotz geringerer Geschwindigkeit als High-End-GPUs ist Apple Silicon (M2 Pro) extrem energieeffizient (~2,0–2,7 Joule pro Token), was es für lokale, datenschutzkonforme Anwendungen (z. B. private Agenten) attraktiv macht.
• Zukunftsperspektiven: Die Studie liefert eine Grundlage für die Optimierung von Inferenz auf Consumer-Hardware. Zukünftige Arbeiten sollten sich auf intelligentere Grenzerkennung (um den Overhead der Kontext-Präfixe zu minimieren) und die Anpassung der Draft-Länge an die Inhalte konzentrieren.

Fazit: Das Paper demonstriert, dass Speculative Decoding auch für komplexe, tokenizer-inkompatible Szenarien auf Consumer-Hardware funktionieren kann, wenn die Hardware-Beschränkungen (Speicherbandbreite) und linguistischen Besonderheiten (Tokenisierung) sorgfältig berücksichtigt werden. Es warnt jedoch davor, die theoretischen Vorteile von $k > 2$ auf Bandbreiten-begrenzten Architekturen blind zu übernehmen.