Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

Resumen Técnico: Decodificación Especulativa Cruzada para Modelos de Lenguaje Polacos en Apple Silicon

1. El Problema

La decodificación especulativa es una técnica que acelera la inferencia de Grandes Modelos de Lenguaje (LLM) utilizando un modelo "borrador" (más pequeño y rápido) para proponer $k$ tokens candidatos, que un modelo "objetivo" (más grande) verifica en una sola pasada. Sin embargo, esta técnica enfrenta tres barreras críticas que este artículo aborda:

1. Incompatibilidad de Tokenizadores: La mayoría de los métodos asumen que el modelo borrador y el objetivo comparten el mismo tokenizador. En el caso del polaco, el modelo objetivo principal (Bielik 11B, basado en Mistral) y los modelos borradores potenciales (como Bielik 1.5B, basado en Qwen2.5) utilizan tokenizadores diferentes (Mistral vs. APT4), lo que impide el uso de la decodificación especulativa estándar.
2. Falta de Soporte en Hardware de Consumo: El marco de inferencia de Apple Silicon (MLX-LM) no soportaba previamente la decodificación especulativa cruzada (Cross-Tokenizers), limitando a los usuarios de Mac a modelos de la misma familia o a la decodificación autoregresiva lenta.
3. Costos en Memoria Unificada: La teoría asume que verificar $k$ tokens cuesta lo mismo que generar uno en hardware limitado por ancho de banda. Sin embargo, en arquitecturas de memoria unificada como Apple Silicon, donde tanto el modelo borrador como el objetivo compiten por el mismo bus de memoria, no está claro si el costo de cargar los pesos del modelo borrador $k$ veces anula los beneficios de la verificación en lote.

2. Metodología

Los autores extendieron el marco MLX-LM para implementar Generación Asistida Universal (UAG - Universal Assisted Generation), permitiendo la decodificación especulativa entre modelos con tokenizadores incompatibles.

• Estrategias de Traducción:
  • Traducción Ingenua (Naive): Convierte los tokens del borrador a texto y luego los re-tokeniza en el vocabulario objetivo sin contexto.
  • Traducción Consciente del Contexto (Context-Aware): Propone una mejora clave: prependir una ventana de $p$ tokens previamente aceptados (en este estudio, $p=5$) antes de re-tokenizar. Esto resuelve las ambigüedades en los límites de los tokens, cruciales para el polaco debido a su morfología rica y diacríticos.
• Configuración Experimental:
  • Modelo Objetivo: Bielik 11B-Instruct (Mistral, 8-bit).
  • Modelos Borrador: Bielik 1.5B (Qwen2.5 base, tokenizador APT4), Qwen2.5-1.5B, y Llama 3.2-1B.
  • Hardware: Apple M2 Pro (32 GB de memoria unificada, 200 GB/s de ancho de banda).
  • Datasets: Wikipedia polaca, pl_alpaca (instrucciones) y preguntas sintéticas cortas.
  • Longitudes de Borrador ($k$): Evaluado en $k \in \{2, 4\}$ y confirmado en $k=6$.

3. Contribuciones Clave

1. Implementación de UAG en MLX-LM: Primera integración funcional de traducción de tokenizadores cruzados en el ecosistema Apple Silicon, incluyendo una estrategia de contexto adaptable para resolver desalineaciones de límites.
2. Evaluación Empírica en Idiomas Ricos en Morfología: Primer estudio sistemático de decodificación especulativa para modelos polacos, revelando que los modelos generales (Qwen/Llama) pueden superar a los modelos especializados en polaco (Bielik 1.5B) como borradores debido a la incompatibilidad de tokenizadores.
3. Modelo de Costo para Memoria Unificada: Demostración de que en Apple Silicon, el costo de la verificación no se amortiza linealmente con $k$ como predice la teoría de GPU discreta. Se derivó una fórmula paramétrica de aceleración basada en el hardware que explica por qué aumentar $k$ es contraproducente.
4. Guías de Despliegue: Identificación de las condiciones de contenido (texto estructurado vs. instrucciones abiertas) bajo las cuales la aceleración es viable.

4. Resultados Principales

• Efectividad de la Traducción: La traducción consciente del contexto superó consistentemente a la traducción ingenua y a la ausencia de traducción. La traducción ingenua causó tasas de aceptación muy bajas (3-10% para Llama/Qwen) debido a la mala alineación de límites de tokens.
• Rendimiento del Borrador: Sorprendentemente, Bielik 1.5B (especializado en polaco) tuvo las tasas de aceptación más bajas. Los modelos generales Qwen2.5-1.5B y Llama 3.2-1B lograron tasas de aceptación superiores (40-54% con contexto), probablemente porque sus tokenizadores compartían más vocabulario básico con el objetivo que el tokenizador APT4 especializado.
• Impacto de la Longitud del Borrador ($k$):
  • En $k=2$, se lograron aceleraciones de hasta 1.7x en contenido estructurado (Wikipedia) y se igualó el rendimiento base en otros casos.
  • En $k=4$ y $k=6$, el rendimiento se degradó drásticamente (hasta 0.4x del rendimiento base). El costo de cargar los pesos del modelo borrador múltiples veces en el bus de memoria unificado (200 GB/s) supera el beneficio de verificar más tokens.
• Umbral de Equilibrio (Break-Even): Se calculó que para $k=2$, se necesita una tasa de aceptación del 38-53% para igualar la inferencia autoregresiva. Para $k=4$, este umbral sube a 77-92%, un nivel inalcanzable en la práctica con borradores cruzados.
• Dependencia del Contenido: La aceleración es fuerte en textos con patrones repetitivos (Wikipedia, listas), pero falla en instrucciones variadas (pl_alpaca) donde la predictibilidad del siguiente token es baja.

5. Significado y Conclusiones

• Viabilidad en Apple Silicon: La decodificación especulativa cruzada es viable en hardware de consumo Apple Silicon, pero solo con longitudes de borrador cortas ($k=2$) y utilizando traducción consciente del contexto.
• Eficiencia Energética: A pesar de no ser el hardware más rápido en términos absolutos (TPS), Apple Silicon ofrece una eficiencia energética superior (~2.0 J/token) en comparación con GPUs de consumo como la RTX 4090, lo que la hace ideal para inferencia local privada y de larga duración sin costos de API.
• Implicaciones para el Polaco: Los usuarios de modelos polacos no necesitan un modelo pequeño específico en polaco para beneficiarse de la aceleración; modelos generales bien configurados funcionan mejor como borradores.
• Futuro: El estudio sugiere que para hardware de mayor ancho de banda (M3 Ultra, M4 Max), el equilibrio podría cambiar, permitiendo $k$ más altos. Además, se identifican desafíos de ingeniería en la gestión de caché KV y la detección de límites de tokens que, si se resuelven, podrían mejorar aún más el rendimiento.

En resumen, el artículo demuestra que, mediante una ingeniería cuidadosa de la traducción de tokenizadores y una comprensión realista de las limitaciones de ancho de banda de la memoria unificada, es posible acelerar significativamente la inferencia de modelos de lenguaje polacos en dispositivos Mac, ofreciendo una alternativa privada y eficiente a la inferencia en la nube.