Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
El artículo presenta Bevy, un sistema de inferencia de MoE que supera a los métodos tradicionales de prelectura mediante el empleo de un planificador de autoequilibrio para entrelazar solicitudes concurrentes, superponiendo así la obtención de expertos con la computación sin depender de predicciones imprecisas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el zumbido silencioso de una computadora personal, un nuevo tipo de inteligencia está echando raíces. Los modelos de lenguaje extensos, los motores detrás de los chatbots modernos y los asistentes de escritura, se están trasladando cada vez más desde los enormes centros de datos hacia máquinas locales como computadoras de escritorio y estaciones de trabajo. Este cambio permite a los usuarios ejecutar estas poderosas herramientas sin depender de internet, pero introduce una restricción física: la memoria de la computadora es limitada. Para lograr que estos modelos quepan, los investigadores utilizan una técnica llamada "mezcla de expertos" (mixture of experts). Imagine una vasta biblioteca de conocimiento donde, para cada pregunta realizada, solo se extraen unos pocos libros específicos del estante para ser leídos, mientras que el resto permanece intacto. Esto mantiene el trabajo rápido y eficiente. Sin embargo, en un dispositivo personal, incluso los "pocos libros" necesarios para un solo momento podrían no caber todos a la vez en la memoria activa de la computadora. Cuando la computadora necesita un libro que no está allí, debe pausar su pensamiento para buscarlo en una unidad de almacenamiento más lenta, dejando al procesador ocioso y esperando.
Durante años, la solución estándar a este juego de esperas ha sido la predicción. El sistema intenta adivinar qué libros se necesitarán a continuación y los busca con antelación mientras el procesador trabaja en la tarea actual. Esto es como un bibliotecario que, mientras usted lee un capítulo, extrae silenciosamente los siguientes capítulos probables del estante para que estén listos cuando usted pase la página. Pero un equipo de investigadores de la Universidad Nacional de Seúl y la Universidad de Yale ha descubierto que esta estrategia suele fallar cuando la computadora ya mantiene un pequeño caché de libros en su memoria activa. A medida que ese caché se llena con los libros más útiles, las suposiciones del bibliotecario se vuelven menos precisas, desperdiciando tiempo y ancho de banda buscando libros que nunca serán abiertos. En lugar de intentar adivinar el futuro, los investigadores encontraron una mejor manera: simplemente dejar que el trabajo ocurra en un orden diferente. Al permitir que las diferentes solicitudes avancen a su propio ritmo, el sistema puede revelar exactamente lo que se necesita a continuación sin adivinar, convirtiendo el tiempo de espera ocioso en trabajo productivo.
Los investigadores, liderados por Hongseung Yu y Kyunghan Lee, construyeron un nuevo sistema llamado Bevy para probar esta idea. Observaron que cuando se envían múltiples solicitudes al modelo al mismo tiempo —como cuando un usuario pide una revisión de código mientras otra parte del software verifica un correo electrónico— las solicitudes no necesitan todos los mismos libros al mismo tiempo. En los sistemas tradicionales, la computadora espera hasta que cada una de las solicitudes haya reunido todos sus libros necesarios antes de comenzar el siguiente paso para cualquiera de ellas. Esto crea un cuello de botella donde el procesador se queda quieto mientras la unidad de almacenamiento trabaja. Bevy cambia este ritmo. Permite que una solicitud que tiene todos sus libros listos avance al siguiente paso inmediatamente, mientras que otras solicitudes esperan a que lleguen sus libros faltantes. A medida que la solicitud lista avanza, revela exactamente qué libros necesitará para el siguiente paso. El sistema entonces busca esos libros específicos mientras el procesador está ocupado con la solicitud que ya está lista. Esto crea un solapamiento fluido donde la unidad de almacenamiento y el procesador trabajan al mismo tiempo, pero sin necesidad de predicción alguna.
La clave para que esto funcione sin problemas es un planificador autoequilibrado que decide cómo agrupar las solicitudes. Si el sistema simplemente dejara que cada solicitud corriera sola, el procesador tendría que leer los mismos libros compartidos de la memoria una y otra vez para cada solicitud, ralentizando todo. Si las agrupara todas de forma demasiado rígida, perdería el beneficio de dejar que las solicitudes rápidas avancan. Bevy resuelve esto agrupando las solicitudes dinámicamente, capa por capa. Si muchas solicitudes están listas al mismo tiempo, las agrupa para maximizar la eficiencia. Si solo unas pocas están listas porque otras aún esperan sus libros, deja que esas pocas avancen en grupos más pequeños. Esta flexibilidad asegura que el procesador nunca esté ocioso esperando a que se forme un grupo, y que la unidad de almacenamiento nunca esté ociosa esperando a que una solicitud termine. El sistema se adapta en tiempo real a las necesidades cambiantes de las solicitudes, creando un flujo donde la computación y la búsqueda ocurren en paralelo de forma natural.
Los resultados de este enfoque se midieron en dos plataformas de computación local diferentes, una que utiliza un chip de Apple y otra que utiliza un NVIDIA Jetson AGX Thor Developer Kit con 128 GB de memoria unificada y un Samsung 9100 PRO 2 TB SSD, ejecutando dos modelos de lenguaje extensos diferentes. Los investigadores compararon Bevy contra el método estándar utilizado en software popular como llama.cpp, así como contra los sistemas basados en predicción más avanzados disponibles. Encontraron que Bevy superó consistentemente a los demás. En pruebas con variaciones en el número de solicitudes simultáneas, Bevy entregó hasta 3.46 veces más trabajo por segundo que el método estándar y hasta 1.55 veces más que el sistema de predicción más rápido. La mejora fue más significativa cuando la computadora tenía que lidiar con muchas solicitudes a la vez. Incluso cuando los investigadores probaron el sistema con un gran caché de libros ya en memoria, donde los sistemas de predicción tienen dificultades debido a su baja precisión, Bevy mantuvo su velocidad. Esto se debe a que Bevy nunca desperdició tiempo buscando libros que no necesitaba; solo buscó lo que era explícitamente requerido por las solicitudes que avanzaban por el sistema.
El estudio también exploró si añadir la predicción sobre Bevy ayudaría aún más. Los investigadores intentaron combinar el nuevo método de planificación con un sistema de predicción, esperando que ambos trabajaran juntos. Sin embargo, descubrieron que la predicción no aportaba ningún valor e incluso, en ocasiones, ralentizaba las cosas. Debido a que Bevy mantiene el enlace de almacenamiento tan ocupado buscando los libros exactos necesarios para las solicitudes listas, no queda tiempo libre para buscar libros predichos. Además, cuando el sistema intenta predecir, a menudo falla en su suposición, desperdiciando ancho de banda en libros que nunca se usarán. Los investigadores concluyeron que en este entorno específico, donde un caché local ya contiene muchos de los elementos necesarios, el acto de predecir no solo es innecesario, sino perjudicial. El camino más eficiente es dejar que las solicitudes revelen sus necesidades a medida que avanzan y programar el trabajo para que el sistema siempre esté haciendo algo útil, ya sea computando o buscando.
Este trabajo sugiere un cambio fundamental en la forma en que se puede gestionar la inteligencia artificial local. Demuestra que la eficiencia no siempre proviene de intentar ser más inteligente sobre el futuro, sino de ser más receptivo al presente. Al permitir que las tareas procedan a su propio ritmo y agruparlas solo cuando tiene sentido, el sistema elimina el tiempo de inactividad que ha plagado durante mucho tiempo a la IA local. Los hallazgos se basan en mediciones concretas de rendimiento y tiempos a través de múltiples configuraciones de hardware, proporcionando una imagen clara de cómo este nuevo método de planificación se desempeña en condiciones del mundo real. Los investigadores no afirmaron que esto resuelva todos los problemas de la inferencia local, pero demostraron que, para el desafío específico de ejecutar modelos grandes y ávidos de memoria en dispositivos personales, un simple cambio en el orden de las operaciones puede generar mejoras dramáticas. El sistema, llamado Bevy, se presenta como un ejemplo práctico de cómo replantear el flujo de trabajo puede desbloquear todo el potencial del hardware existente, haciendo que la inteligencia poderosa sea más rápida y receptiva directamente en el escritorio del usuario.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.