🤖 machine learning

SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

SelectInfer es un marco de optimización a nivel de neurona que permite la inferencia eficiente de modelos de lenguaje extensos en dispositivos mediante el uso de un perfilador fuera de línea para identificar y cargar selectivamente, así como computar únicamente, las neuronas más importantes, reduciendo así significativamente los costos de memoria y computación sin comprometer el rendimiento de la tarea.

Autores originales: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante de conocimiento, tan vasta que contiene la respuesta a casi cualquier pregunta que pudieras hacer. Esto es lo que los científicos llaman un Modelo de Lenguaje Grande (LLM). Piensa en esto como un cerebro de robot superinteligente que ha leído casi todos los libros de internet. Pero aquí está el truco: este cerebro es tan grande y pesado que normalmente necesita un centro de datos masivo y costoso con supercomputadoras potentes para funcionar. Es como intentar llevar una biblioteca de tamaño real en tu mochila; simplemente no cabe.

Recientemente, la gente ha querido meter esta "biblioteca" en dispositivos más pequeños, como los aparatos inteligentes en tus bolsillos o las computadoras en los autos que se conducen solos. Estos se llaman "dispositivos de borde" (edge devices). El problema es que estos aparatos tienen un espacio y una potencia de batería muy limitados. Si intentas forzar toda la biblioteca en ellos, el dispositivo se bloquea o funciona tan lento que resulta inútil. Los científicos han intentado encoger la biblioteca aplastando los libros (haciéndolos más pequeños pero más difíciles de leer) o tirando estanterías enteras (lo que hace que el robot olvide cosas). Pero estos viejos trucos suelen romper la capacidad del robot para pensar con claridad. La gran pregunta es: ¿Podemos hacer que este cerebro gigante quepa en una mochila pequeña sin perder su genialidad?

Entra SelectInfer, una nueva idea de investigadores de la Universidad de Paderborn que sugiere una forma ingeniosa de resolver este rompecabezas. En lugar de intentar encoger toda la biblioteca o tirar libros al azar, SelectInfer actúa como un bibliotecario muy inteligente que sabe exactamente qué libros necesitas justo ahora.

Así es como funciona, usando una historia simple. Imagina que el cerebro de tu robot es una fábrica masiva con miles de trabajadores (llamados "neuronas"). En una fábrica normal, cada uno de los trabajadores se presenta a trabajar todos los días, incluso si no tienen nada que hacer. Esto desperdicia espacio y energía. Los investigadores descubrieron que estos trabajadores en realidad se dividen en dos grupos. Algunos son "Generalistas" que siempre se presentan, sin importar el trabajo—como las personas que mantienen las luces encendidas y la máquina de café funcionando. Otros son "Especialistas" que solo aparecen para tareas específicas, como el equipo que arregla la plomería o el equipo que pinta las paredes.

El artículo muestra que, para cualquier tarea dada, no necesitas a todos los especialistas, y definitivamente no necesitas a los que no están trabajando hoy. SelectInfer usa un truajo de magia de dos pasos para hacer que la fábrica funcione en un dispositivo pequeño:

Carga Selectiva (El Truco de la Mochila): Antes de que el robot siquiera comience a trabajar, los investigadores usan un "perfilador offline" (una especie de explorador) para determinar qué Generalistas y Especialistas son los más importantes. Luego, cuando el robot está listo para ir, solo empaca a esos trabajadores específicos en su mochila (memoria). Deja al resto atrás. Esto es como empacar solo las herramientas que necesitas para un viaje de campamento en lugar de toda la ferretería. Esto permite que el robot quepa en dispositivos que antes eran demasiado pequeños para contenerlo. Por ejemplo, en un dispositivo con solo 8 GB de memoria (como un NVIDIA Jetson Orin Nano), un modelo que usualmente necesita 9 GB de espacio ahora puede meterse porque solo está cargando el 70% esencial de sus trabajadores.
Computación Selectiva (El Truco de Bajo Demanda): Incluso con una mochila más ligera, el robot todavía tiene que pedirle a cada trabajador que haga su trabajo, lo que toma tiempo. SelectInfer añade una segunda regla: una vez que el robot comienza a trabajar, solo le pide a los trabajadores más relevantes que realmente hagan las matemáticas para ese momento específico. Si el robot está escribiendo un poema, no necesita que el equipo de plomería calcule la rima. Solo despierta a los poetas. Esto hace que el robot pienera mucho más rápido.

Los investigadores probaron esto en tres cerebros de robot (Llama3.2-3B, Llama3.2-1B y Qwen2.5-3B) en un pequeño chip de computadora. Descubrieron que, al usar este método, podían ejecutar estos modelos gigantes en dispositivos que antes eran imposibles de usar. Para el modelo de 3 mil millones de parámetros, SelectInfer hizo que funcionara aproximadamente 1.53 veces más rápido que el método actual de aplastar los datos (cuantización de 4 bits) y más de 13 veces más rápido que intentar extraer datos de un disco lento.

Crucialmente, el artículo argumenta que esto no hace al robot "más tonto". De hecho, para muchas tareas como la traducción y el resumen de historias, SelectInfer fue en realidad más preciso que otros métodos que intentaban ahorrar espacio. Los investigadores encontraron que, mientras otros métodos o bien ahorraban memoria pero funcionaban lento, o bien eran rápidos pero olvidaban cosas, SelectInfer logró equilibrar los tres: ahorró memoria, aceleró el pensamiento y mantuvo las respuestas precisas.

El artículo descarta explícitamente la idea de que necesites desechar todo el modelo o entrenarlo desde cero para que quepa. También muestra que simplemente elegir trabajadores al azar para dejarlos atrás (carga aleatoria) causa que el robot falle por completo, demostando que necesitas un mapa inteligente para saber a quién mantener. Si bien el método requiere una fase de "exploración" de una sola vez para determinar qué trabajadores son importantes, los resultados sugieren que esta es una forma práctica y poderosa de llevar una IA superinteligente a los pequeños aparatos en nuestros bolsillos sin necesidad de una supercomputadora en la nube.

Resumen Técnico: SelectInfer

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan barreras significativas para su despliegue en dispositivos periféricos (edge) con recursos limitados (por ejemplo, NVIDIA Jetson Orin Nano) debido a sus altas demandas de memoria y computación. Las estrategias de optimización existentes no logran abordar simultáneamente las tres dimensiones críticas del despliegue en el borde: la huella de memoria, la velocidad de inferencia y la precisión de la salida.

La cuantización reduce la memoria pero a menudo degrada el rendimiento de la decodificación y ofrece un control de grano grueso (por ejemplo, 4 bits frente a 8 bits).
La poda (Pruning) requiere un reentrenamiento costoso y elimina pesos de forma permanente, careciendo de adaptabilidad en tiempo de ejecución.
El volcado (Offloading) (por ejemplo, a disco) se ve limitado por el ancho de banda de E/S y suele ser incompatible con las arquitecturas de memoria unificada que se encuentran en los SoCs de borde.
Los métodos de dispersión en tiempo de ejecución (Runtime Sparsity) (por ejemplo, CoreInfer) mejoran la velocidad al omitir neuronas inactivas, pero requieren que el modelo completo resida en la memoria, lo que impide el despliegue de modelos más grandes en hardware con memoria restringida.

Metodología

SelectInfer es un marco de optimización a nivel de neurona que permite una inferencia de LLM eficiente mediante la carga selectiva y la computación selectiva, guiadas por una fase de perfilado offline. La idea central es que las neuronas de los LLM exhiben una estructura dual: un núcleo estable de neuronas específicas del modelo (de propósito general) que se activan universalmente en diversas tareas, y neuronas específicas de la tarea que impulsan el rendimiento para entradas individuales.

1. Fase Offline: Perfilador de LLM

Antes del despliegue, SelectInfer utiliza un perfilador offline para analizar las activaciones de las neuronas a través de diversos conjuntos de datos (por ejemplo, QA, traducción, resumen).

Puntuación: Para cada neurona $n$ , se calcula una puntuación $s_n$ basada en la suma de las activaciones absolutas sobre un conjunto de tokens $T$ : $s_n = \sum_{t \in T} |a_n(t)|$ .
Clasificación: Las neuronas se categorizan en dos grupos:
- Neuronas Base: Neuronas específicas de la tarea identificadas mediante la fusión de puntuaciones de prompts dentro de una tarea específica.
- Neuronas Secundarias: Neuronas específicas del modelo identificadas mediante la fusión de puntuaciones a través de diferentes tareas.
Salida: El perfilador genera archivos de neuronas clasificados que identifican las neuronas más importantes para tareas específicas y para el comportamiento general del modelo.

2. Fase Online: Optimización

Durante la ejecución en el dispositivo de borde, SelectInfer aplica dos mecanismos:

Carga Selectiva (Optimización de Memoria):
En lugar de cargar el modelo completo, SelectInfer carga solo un subconjunto de neuronas en la memoria. Prioriza las neuronas base (específicas de la tarea) y completa el presupuesto de memoria restante con neuronas secundarias (específicas del modelo) hasta un umbral de carga definido $\gamma$ . Esto permite que modelos que de otro modo excederían la memoria del dispositivo (por ejemplo, modelos de 3B en dispositivos de 8 GB) se ejecuten descartando por completo los pesos irrelevantes.
Computación Selectiva (Optimización de Velocidad):
Incluso con una huella de memoria reducida, computar todas las neuronas cargadas puede ser lento. SelectInfer restringe aún más la computación a un subconjunto de las neuronas cargadas ( $\epsilon < \gamma$ ).
- Neuronas Estáticas: Corresponden a las neuronas base; siempre se computan independientemente de la entrada.
- Neuronas Dinámicas: Seleccionadas en tiempo de ejecución durante la fase de prefill. El sistema computa los valores de activación para todas las neuronas cargadas, los ordena y selecciona las $\alpha$ neuronas superiores por token. Luego, las agrega para encontrar las $\beta$ neuronas más frecuentes para el prompt.
- La relación de computación total $\phi = \delta + \epsilon$ es configurable por el usuario, permitiendo un compromiso entre velocidad y precisión.

Contribuciones Clave

Perfilador Offline: Un mecanismo para identificar y clasificar neuronas específicas del modelo y de la tarea, estableciendo una "estructura dual" de la activación de los LLM.
Carga Selectiva: Una estrategia de despliegue que carga solo las neuronas relevantes, permitiendo la ejecución de modelos más grandes que la memoria disponible del dispositivo.
Computación Selectiva: Un mecanismo en tiempo de ejecución que computa dinámicamente solo las neuronas más relevantes (estáticas + dinámicas), acelerando la inferencia sin una pérdida significativa de precisión.
Marco Ajustable: Un sistema que trata la memoria, la velocidad y la precisión como parámetros independientemente ajustables, ofreciando un control de grano fino en comparación con los controles de grano grueso de la cuantización o la poda.

Resultados de la Evaluación

El marco fue evaluado en la NVIDIA Jetson Orin Nano (8 GB de memoria compartida) utilizando los modelos Llama3.2-1B, Llama3.2-3B y Qwen2.5-3B en tareas de QA, traducción y resumen.

Viabilidad: SelectInfer permitió que modelos de escala 3B (que requieren ~8.5–9.5 GB nativamente) se ejecutaran en el dispositivo Jetson de 8 GB cargando solo el 70% de las neuronas.
Huella de Memoria: SelectInfer redujo el uso de memoria en un ~13.2% para Llama3.2-3B (de 6.88 GB a 5.97 GB) en comparación con el modelo original, y significativamente más en comparación con CoreInfer (que requiere la carga del modelo completo). Aunque la cuantización de 4 bits logró un uso de memoria absoluto menor, SelectInfer mantuvo una mayor precisión para los pesos cargados.
Precisión: SelectInfer mantuvo una precisión competitiva. En tareas de traducción (WMT16), Selectifer logró ~~25–26 BLEU para Llama3.2-3B, superando significativamente a CoreInfer (~~4–5 BLEU) y a CoreInfer con carga aleatoria. Generalmente superó o igualó a la cuantización de 4 bits en tareas de traducción y resumen.
Velocidad: SelectInfer logró un rendimiento de decodificación de ~9.85 tokens/s para Llama3.2-3B. Esto representa una mejora de 1.53× sobre la cuantización de 4 bits y una mejora de 13× sobre los enfoques de volcado a disco (disk-offloading).
Comparación: SelectInfer superó a CoreInfer en precisión (debido al perfilado offline) y eficiencia de memoria (debido a la carga selectiva). Ofreció mejor velocidad y precisión que la cuantización en tareas de traducción, evitando las limitaciones de hardware de los kernels de baja precisión.

Significancia y Reivindicaciones

El artículo afirma que SelectInfer representa un paso práctico hacia el despliegue de LLMs en dispositivos de borde al resolver el "trilema" de memoria, velocidad y precisión. A diferencia del trabajo previo que optimiza solo uno o dos aspectos, SelectInfer proporciona un punto de operación equilibrado y ajustable en los tres.

Los autores enfatizan que su enfoque:

No requiere reentrenamiento, lo que lo distingue de la poda y la destilación.
Es compatible con arquitecturas de memoria unificada, a diferencia de los métodos de volcado (offloading).
Ofrece un control de grano fino, permitiendo a los usuarios ajustar el porcentaje de neuronas cargadas y computadas para adaptarse a las restricciones específicas del dispositivo y las necesidades de la aplicación.
Se generaliza a través de familias de modelos, demostrando efectividad tanto en arquitecturas Llama como Qwen.

Este trabajo posiciona a SelectInfer como una evolución necesaria más allá de la compresión de grano grueso, permitiendo la ejecución de modelos más grandes y capaces en hardware que anteriormente se consideraba insuficiente para tales tareas.