Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

Titolo

Decodifica Speculativa Cross-Family per Modelli Linguistici Polacchi su Apple Silicon: Una Valutazione Empirica di Bielik 11B con UAG-Extended MLX-LM

1. Il Problema

La decodifica speculativa è una tecnica nota per accelerare l'inferenza dei Large Language Models (LLM) utilizzando un modello "bozzetto" (draft) più piccolo per proporre candidati che un modello target più grande verifica in un singolo passaggio. Tuttavia, l'applicazione di questa tecnica incontra tre ostacoli principali nel contesto dei modelli linguistici polacchi su hardware consumer:

1. Incompatibilità dei Tokenizer: La maggior parte delle implementazioni richiede che il modello bozzetto e quello target condividano lo stesso tokenizer. Nel caso dei modelli polacchi, la famiglia Bielik presenta una frammentazione architetturale: il modello grande (Bielik 11B) è basato su Mistral con un tokenizer derivato da Mistral, mentre il modello piccolo (Bielik 1.5B) è basato su Qwen2.5 con un tokenizer personalizzato (APT4) ottimizzato per la morfologia polacca. Questo rende impossibile l'uso della decodifica speculativa standard "same-family".
2. Hardware Apple Silicon: L'architettura a memoria unificata di Apple (es. M2 Pro) presenta vincoli di larghezza di banda (200 GB/s) molto inferiori rispetto alle GPU datacenter (es. A100 con 2 TB/s). Non è chiaro se il modello teorico di costo della decodifica speculativa (dove la verifica di $k$ token costa quanto la generazione di uno) regga su questa architettura, dove sia il modello bozzetto che quello target competono per la stessa larghezza di banda di memoria.
3. Mancanza di Studi Empirici: Non esisteva una valutazione sistematica della decodifica speculativa cross-family per lingue morfologicamente ricche come il polacco su hardware Apple Silicon.

2. Metodologia

Gli autori hanno esteso il framework di inferenza MLX-LM (Apple) integrando il supporto per la Universal Assisted Generation (UAG), permettendo la decodifica speculativa tra modelli con tokenizer diversi.

• Implementazione UAG: È stata implementata una strategia di traduzione dei token a livello di stringa.
  • Traduzione Naive: Conversione diretta token-stringa-token senza contesto.
  • Traduzione Consapevole del Contesto (Context-Aware): Per risolvere le ambiguità ai confini dei token (critico per il polacco), viene preposto un prefisso di $p$ token accettati precedentemente prima della re-tokenizzazione. Questo permette al tokenizer target di segmentare correttamente i nuovi token candidati.
• Configurazione Sperimentale:
  • Modello Target: Bielik 11B-Instruct (quantizzato a 8-bit, architettura Mistral).
  • Modelli Bozzetto (Draft): Tre modelli di famiglie diverse: Bielik 1.5B (Qwen2.5-based), Qwen2.5-1.5B e Llama 3.2-1B (tutti quantizzati a 4-bit).
  • Dataset: Polish Wikipedia (testo strutturato/fattuale), pl_alpaca (istruzioni varie) e domande sintetiche brevi.
  • Hardware: Apple M2 Pro (32 GB RAM unificata, 200 GB/s bandwidth).
  • Variabili: Lunghezze di bozzetto $k \in \{2, 4, 6\}$ e strategie di traduzione.

3. Contributi Chiave

1. Prima Implementazione UAG su MLX-LM: Sviluppo di un sistema di traduzione dei token cross-family (inclusa la strategia context-aware) specifico per l'ecosistema Apple Silicon.
2. Valutazione Empirica sui Modelli Polacchi: Prima analisi sistematica che dimostra come, paradossalmente, i modelli bozzetto generici (Qwen, Llama) possano performare meglio di un modello specializzato nella lingua (Bielik 1.5B) a causa delle incompatibilità dei tokenizer.
3. Modello di Costo Hardware-Aware: Dimostrazione empirica che su Apple Silicon il costo di verifica non si ammortizza come previsto dalla teoria per $k$ elevati. Gli autori derivano una formula parametrica per il speedup che tiene conto della larghezza di banda e dell'overhead quadratico legato alla lunghezza del bozzetto.
4. Linee Guida per la Deployment: Definizione delle condizioni (tipo di contenuto, lunghezza del bozzetto) in cui la decodifica speculativa è vantaggiosa su hardware consumer.

4. Risultati Principali

• Efficacia della Traduzione Consapevole del Contesto: La strategia context-aware ha costantemente migliorato il tasso di accettazione dei token rispetto alla traduzione naive o all'assenza di traduzione. La traduzione naive ha causato un crollo delle prestazioni (specialmente per Llama e Qwen) a causa di errori di allineamento ai confini dei token.
• Paradosso del Modello Specializzato: Il modello Bielik 1.5B (nativo polacco) ha ottenuto tassi di accettazione inferiori rispetto a Qwen2.5-1.5B e Llama 3.2-1B. Questo è dovuto all'incompatibilità tra il tokenizer APT4 (morfologico) e il tokenizer Mistral del target, che frammenta le parole polacche in modo diverso, rendendo difficile la previsione corretta dei token da parte del bozzetto.
• Impatto della Lunghezza del Bozzetto ($k$):
  • Per $k=2$, è possibile ottenere un speedup fino a 1.7x su testi strutturati (es. Wikipedia) con tassi di accettazione superiori al 40-50%.
  • Per $k=4$ e $k=6$, le prestazioni crollano drasticamente. L'overhead di eseguire $k+1$ passaggi sequenziali sul modello bozzetto (limitato dalla larghezza di banda di 200 GB/s) supera i benefici della verifica in batch. Il punto di pareggio (break-even) richiesto sale a tassi di accettazione irraggiungibili (>80-90%).
• Dipendenza dal Tipo di Contenuto: La tecnica funziona bene su testi ripetitivi o strutturati (Wikipedia, liste, codice) dove i modelli bozzetto possono prevedere facilmente la sequenza. Fallisce su istruzioni aperte e contenuti creativi (pl_alpaca) dove la distribuzione dei token è ad alta entropia.
• Efficienza Energetica: Nonostante lo speedup limitato, Apple Silicon offre un'efficienza energetica eccezionale (~2.0-2.7 J/token), superiore alle GPU consumer (RTX 4090) e paragonabile alle GPU datacenter (A100), rendendola ideale per l'inferenza locale privata.

5. Significato e Conclusioni

Il paper stabilisce che la decodifica speculativa cross-family è fattibile e vantaggiosa per i modelli linguistici polacchi su Apple Silicon, ma solo sotto condizioni specifiche:

1. È obbligatorio utilizzare una traduzione dei token context-aware per gestire le ambiguità morfologiche.
2. È preferibile utilizzare $k=2$; valori più alti sono controproducenti su hardware a larghezza di banda limitata.
3. Non è necessario un modello bozzetto specializzato nella lingua; modelli generici funzionano meglio grazie a una migliore compatibilità dei tokenizer con il target.
4. La tecnica è particolarmente utile per applicazioni di agenti locali che richiedono privacy e basso costo energetico, anche se i guadagni di velocità sono moderati rispetto alle GPU datacenter.

Gli autori concludono che, nonostante le sfide ingegneristiche (gestione della cache KV, allineamento dei confini), l'investimento in ottimizzazioni di traduzione dei token può portare a guadagni significativi di throughput, rendendo l'ecosistema Apple Silicon una piattaforma valida per l'inferenza locale di modelli LLM multilingue.