🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

El artículo presenta BaseRT, un entorno de ejecución de inferencia nativo de Metal para Apple Silicon que aprovecha optimizaciones específicas del chip para lograr un rendimiento sin precedentes para modelos de lenguaje extensos, superando a marcos de trabajo existentes como llama.cpp y MLX hasta en 1.56x.

Autores originales: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Publicado 2026-07-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Construir un Coche de Carreras Personalizado

Imagina que quieres conducir un coche de carreras (un Modelo de Lenguaje Grande, o LLM) en una pista muy específica (chips Apple Silicon como el M3 o el M4).

Actualmente, la mayoría de la gente conduce estos coches usando un "adaptador universal" o un "kit de coche de alquiler" (software existente como llama.cpp o MLX). Estos kits son excelentes porque funcionan en muchas pistas diferentes, pero no están perfectamente ajustados para esta pista específica de Apple. Tienen peso extra, pasos innecesarios y un conductor que no conoce los atajos.

BaseRT es un nuevo coche de carreras construido a medida, diseñado solo para la pista de Apple. El equipo de Base Compute eliminó los adaptadores pesados y construyó un vehículo desde cero para que coincida con las curvas y reglas únicas de la pista. ¿El resultado? Conduce significativamente más rápido.

El Probleما: Por qué el software actual es "lento"

El artículo argumenta que el software existente para ejecutar IA en Macs es como un camión de reparto que hace demasiadas paradas.

El problema del "intermediario": La mayoría del software utiliza un "framework" (como un intermediario) para hablar con el chip de gráficos (la GPU) de la computadora. Este intermediario añade pasos extra, como un gerente revisando una tabla de anotaciones antes de cada tarea.
El problema de la "memoria": Las computadoras Apple tienen una característica especial llamada "Memoria Unificada", donde la CPU y la GPU comparten un mismo gran depósito de RAM. El software existente a menudo los trata como si estuvieran en habitaciones separadas, obligando a los datos a caminar de un lado a otro innecesariamente.

La Solución: Cómo funciona BaseRT

BaseRT elimina al intermediario y construye una autopista directa entre el cerebro y el músculo. Aquí están los cuatro trucos principales que utilizaron:

El plano "impulsado por datos":
En lugar de escribir un nuevo conjunto de instrucciones para cada modelo de IA diferente (como Qwen, Llama o Gemma), BaseRT utiliza un plano único y flexible. Piensa en esto como un control remoto universal que detecta automáticamente a qué televisor estás apuntando y cambia sus botones instantáneamente, en lugar de necesitar un control remoto diferente para cada marca. Esto mantiene el motor funcionando sin detenerse a reconfigurarse.
El bucle de "Cero Paradas":
Cuando le pides a una IA que escriba una frase, esta genera una palabra a la vez. En el software antiguo, la computadora tiene que encontrar un lugar de estacionamiento (asignación de memoria) para cada nueva palabra que crea. BaseRT pre-estaciona todos los lugares antes de que comience la carrera. Una vez que la IA empieza a hablar, nunca se detiene a buscar un lugar de estacionamiento; simplemente sigue conduciendo. Esto elimina los "atascos de tráfico" causados por la gestión de la memoria.
La cocina de "Fusión":
Normalmente, una IA tiene que cocinar los ingredientes en ollas separadas (Multiplicación de Matrices, Atención, Normalización) y mover la comida entre ellas. BaseRT fusiona estos pasos en una sola olla gigante. Cocina los ingredientes juntos en un solo movimiento, ahorrando el tiempo que se tarda en mover la comida de un lado a otro.
El "Conductor Personalizado":
El software sabe exactamente en qué chip de Apple se está ejecutando (M1, M2, M3, etc.). Ajusta su estilo de conducción según el tamaño específico del motor, asegurando que obtenga la máxima potencia de cada gota de combustible.

Los Resultados: ¿Quién ganó la carrera?

El equipo probó BaseRT contra sus dos mayores competidores: llama.cpp (el ejecutor de código abierto más popular) y MLX (el propio framework oficial de Apple).

Velocidad: BaseRT fue el más rápido en casi todas las pruebas.
- En modelos pequeños, fue hasta 1.56 veces más rápido que llama.cpp.
- En modelos grandes de "Mezcla de Expertos" (cerebros de IA complejos), fue hasta 1.78 veces más rápido al procesar el prompt inicial.
El punto ideal de los "Modelos Pequeños": Las mayores victorias ocurrieron en los modelos más pequeños. Esto se debe a que, en los modelos pequeños, el "overhead" (el tiempo perdido en tareas administrativas) constituye una gran parte del tiempo total. Al eliminar ese desperdicio, BaseRT marcó una diferencia masiva.
La realidad de los "Modelos Grandes": En modelos muy grandes, la velocidad está limitada principalmente por la rapidez con la que los datos pueden moverse a través de la memoria (ancho de banda). Incluso con un motor perfecto, no puedes ir más rápido que el límite de velocidad de la carretera. Sin embargo, BaseRT logró extraer velocidad extra aquí, demostrando que el software anterior no estaba usando la carretera de manera eficiente.

¿Por qué es esto importante? (El cambio hacia el "Edge")

El artículo sugiere que nos dirigimos hacia un futuro donde la IA se ejecuta en tu propio dispositivo (tu laptop o teléfono) en lugar de en un servidor remoto en la nube.

Privacidad: Tus datos nunca salen de tu computadora.
Velocidad: Sin esperar a que el internet envíe tu solicitud de ida y vuelta.
Costo: No pagas una cuota mensual por palabra; simplemente pagas por el hardware una vez.

BaseRT demuestra que Apple Silicon es mucho más potente para ejecutar IA localmente de lo que pensábamos, si utilizas software construido específicamente para ello.

Lo que BaseRT No hace (Las Limitaciones)

El artículo es honesto sobre lo que esta herramienta aún no es:

Solo para un usuario: Está diseñado para una persona usando la IA a la vez. No maneja a cientos de personas haciendo preguntas simultáneamente (carga del servidor).
Solo para Apple: Solo funciona en Macs e iPads. Aún no funciona en Windows, Android o tarjetas gráficas NVIDIA.
Sin "Visión" todavía: Actualmente maneja modelos de texto, no modelos que puedan "ver" imágenes.

La Conclusión

Los autores construyeron un motor personalizado (BaseRT) que elimina todo el equipaje innecesario de ejecutar IA en computadoras Apple. Al hacerlo, desbloquearon todo el potencial de velocidad del hardware, haciendo que la IA local sea más rápida, más privada y más eficiente que nunca. Puedes probarlo tú mismo en GitHub.

Resumen Técnico: BaseRT – Inferencia de LLM de Clase Mundial en Apple Silicon mediante Metal Nativo

Declaración del Problema

El artículo identifica una brecha de rendimiento en la inferencia de Modelos de Lenguaje de Gran Escala (LLM) en Apple Silicon. Si bien la arquitectura de memoria unificada (UMA) de Apple ofrece un alto ancho de banda y capacidad adecuados para el despliegue local de LLM, los entornos de ejecución existentes no logran explotar plenamente este hardware.

Sobrecarga de Frameworks: Los entornos dominantes como llama.cpp (originalmente centrado en CPU con un backend de Metal) y MLX (un framework de arrays de propósito general con evaluación perezosa) introducen restricciones arquitectónicas. Estas incluyen capas de abstracción innecesarias, programación de nivel de framework y sobrecargas de despacho que no están optimizadas para el modelo de ejecución de Metal.
Utilización Subóptima de Recursos: Estos frameworks a menudo dejan rendimiento "sobre la mesa", particularmente en lo que respecta a las sobrecargas de lanzamiento de kernels, ineficiencias en el diseño de memoria e la incapacidad de realizar la fusión de kernels específica del chip.
Contexto de Inferencia en el Borde (Edge): A medida que la industria se desplaza hacia la inferencia en el borde impulsada por preocupaciones de privacidad, latencia, conectividad y costos, la incapacidad de los entornos de ejecución actuales para maximizar el rendimiento en hardware de consumo limita la viabilidad de la IA en dispositivos.

Metodología

BaseRT es un entorno de ejecución de inferencia nativo en C++ construido directamente sobre la API de Metal de Apple, eliminando dependencias de frameworks intermedios como MLX, PyTorch o CoreML. El diseño se guía por cuatro principios fundamentales para minimizar la sobrecarga:

Descriptores de Arquitectura Basados en Datos: En lugar de codificar rígidamente las variaciones de arquitectura (por ejemplo, mecanismos de atención, normalización) en el bucle de inferencia mediante ramas condicionales, BaseRT captura estas diferencias como datos. Un descriptor compacto dirige el motor, asegurando que la "ruta caliente" (hot path) sea idéntica a través de diferentes familias de modelos (LLaMA, Qwen3, Gemma, etc.), reduciendo las ramificaciones y mejorando la uniformidad.
Bucle de Decodificación de Cero Asignación: Para eliminar la contención en la gestión de memoria, todos los buffers intermedios (residuales, atención scratch, logits, caché KV) se preasignan en el momento de la carga. El bucle de decodificación asigna cero bytes durante la operación, dependiendo enteramente del despacho de comandos de la GPU y del parcheo ligero en el lado de la CPU.
Fusión y Especialización de Kernels:
- Fusión: BaseRT fusiona secuencias de operadores (por ejemplo, dentro de las rutas de atención y los bloques de feed-forward) que normalmente se despachan como kernels separados en otros entornos de ejecución. Esto reduce los viajes de ida y vuelta a la memoria global y la sobrecarga de lanzamiento de kernels, lo cual es crítico durante la fase de decodificación donde los tiempos de ejecución de los kernels individuales son cortos.
- Especialización: El entorno incluye una librería de shaders de Metal escritos a mano con variantes dedicadas de GEMV (para decodificación) y GEMM (para prefill) para cada formato de cuantización (Q2–FP16). La descuantización se integra directamente en el bucle interno para evitar la materialización de pesos en la memoria global.
- Adaptabilidad al Hardware: La selección de kernels, los tamaños de threadgroup y las decisiones de fusión se configuran dinámicamente según el chip específico (M1–M5) y el recuento de núcleos de la GPU.
Optimización de Prefill: Las operaciones de prefill utilizan kernels GEMM segmentados (tiled) con intrínsecos de matriz simdgroup. Una implementación de FlashAttention calcula la atención en segmentos utilizando softmax en línea para lograr una complejidad de memoria de $O(n)$ , evitando la materialización de la matriz de atención completa de $O(n^2)$ .

Contribuciones Clave

Entorno de Ejecución Metal Nativo: El primer entorno de ejecución de inferencia de LLM para Apple Silicon construido nativamente en Metal sin depender de MLX u otros frameworks intermedios.
Optimizaciones Específicas del Chip: Implementación de estrategias de fusión de kernels y diseños de datos conscientes de la memoria unificada, específicamente adaptados a la topología de Apple Silicon.
Lógica de Despacho Personalizada: Un mecanismo de despacho de comandos de baja sobrecarga que elimina el trabajo de programación por operador y la evaluación de grafos presentes en los entornos de ejecución basados en frameworks.
Benchmarking Exhaustivo: Una evaluación rigurosa a través de múltiples familias de modelos (Qwen3, Llama 3.2, Gemma 4) y niveles de cuantización (Q4, Q8) en dispositivos M3 y M4 Pro, estableciendo nuevos puntos de referencia de rendimiento.

Resultados

El artículo reporta que BaseRT logra el mayor rendimiento de inferencia en Apple Silicon hasta la fecha, superando a llama.cpp, MLX y el entorno de ejecución nativo de Metal uzu (Mirai).

Rendimiento de Decodificación (Generación de Tokens):
- BaseRT logra un rendimiento de 1.04× a 1.56× mayor que llama.cpp en los modelos probados. La mejora es más significativa en modelos densos pequeños (por ejemplo, 56% más rápido en Qwen3-0.6B) donde la sobrecarga fija por token es una fracción mayor de la latencia.
- BaseRT logra un rendimiento de 1.01× a 1.35× mayor que MLX en la mayoría de los modelos.
- En dispositivos M3 Base, BaseRT lidera a llama.cpp por 1.13× a 1.34× y a MLX por 1.01× a 1.22×.
Rendimiento de Prefill (Procesamiento de Prompts):
- Modelos Densos: El rendimiento es muy similar entre los entornos de ejecución, ya que el prefill está limitado por cómputo y satura las unidades de matmul de la GPU. BaseRT lidera en prompts cortos pero queda ligeramente por detrás en prompts largos para algunos modelos densos.
- Modelos de Mezcla de Expertos (MoE): BaseRT demuestra una ventaja sustancial, logrando hasta 1.78× más rendimiento que MLX y 1.81× más que llama.cpp en modelos MoE (por ejemplo, Qwen3-30B-A3B) en longitudes de prompt cortas.
Comparación con uzu: BaseRT supera a uzu en el rendimiento de decodificación en la mayoría de las configuraciones (hasta 1.19× en Qwen3-0.6B). Sin embargo, uzu lidera en el rendimiento de prefill en modelos densos, probablemente debido a su utilización del Apple Neural Engine (ANE) vía MPSGraph, una capacidad que la ruta exclusiva de GPU de BaseRT no explota actualmente.

Significado y Reivindicaciones

El artículo afirma que BaseRT establece un nuevo punto de referencia de rendimiento para la inferencia de LLM en el dispositivo en Apple Silicon, demostrando que el potencial del hardware ha sido sistemáticamente subutilizado por los enfoques basados en frameworks.

Redefiniendo las Capacidades del Hardware: Los resultados sugieren que Apple Silicon es una plataforma de inferencia más capaz de lo que se reportaba anteriormente, y que el techo de rendimiento es significativamente más alto cuando se elimina la sobrecarga de abstracción de los frameworks.
Habilitando la Inferencia en el Borde: Al entregar un rendimiento constante de clase mundial desde modelos de menos de 1B hasta 30B de parámetros, BaseRT sirve como una capa habilitadora crítica para la transición hacia el despliegue en el dispositivo. Esto apoya el paradigma emergente de la inferencia en el borde impulsado por requisitos de privacidad, restricciones de latencia y presiones de costos de la nube.
Disponibilidad Abierta: El entorno de ejecución está disponible públicamente, permitiendo a la comunidad aprovechar estas optimizaciones nativas.

Los autores mantienen la modestia respecto a las limitaciones, señalando que BaseRT actualmente solo soporta inferencia de un solo dispositivo, carece de continuous batching o paralelismo de tensores, y es exclusivo de Apple Metal (sin un backend de CUDA/Vulkan por ahora). El trabajo futuro busca extender la cobertura de arquitectura y añadir soporte de backend para una compatibilidad de plataforma más amplia.