🤖 machine learning

SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

O SelectInfer é um framework de otimização ao nível de neurônio que permite a inferência eficiente de Grandes Modelos de Linguagem em dispositivos, utilizando um perfilador offline para identificar e carregar e computar seletivamente apenas os neurônios mais importantes, reduzindo assim significativamente os custos de memória e computação sem comprometer o desempenho da tarefa.

Autores originais: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante de conhecimento, tão vasta que contém a resposta para quase qualquer pergunta que você possa fazer. Isso é o que os cientistas chamam de Modelo de Linguagem de Grande Escala (LLM). Pense nisso como um cérebro de robô superinteligente que leu quase todos os livros da internet. Mas aqui está o problema: esse cérebro é tão grande e pesado que geralmente precisa de um centro de dados massivo e caro com supercomputadores poderosos para funcionar. É como tentar carregar uma biblioteca de tamanho real em sua mochila; simplesmente não cabe.

Recentemente, as pessoas quiseram colocar essa "biblioteca" em dispositivos menores, como os aparelhos inteligentes no seu bolso ou os computadores em carros autônomos. Esses são chamados de "dispositivos de borda" (edge devices). O problema é que esses dispositivos têm espaço e energia de bateria muito limitados. Se você tentar forçar a biblioteca inteira neles, o dispositivo trava ou roda tão devagar que se torna inútil. Os cientistas tentaram encolher a biblioteca espremendo os livros (tornando-os menores, mas mais difíceis de ler) ou jogando fora prateleiras inteiras (o que faz o robô esquecer coisas). Mas esses truques antigos costumam quebrar a capacidade do robô de pensar com clareza. A grande questão é: Podemos fazer esse cérebro gigante caber em uma mochila pequena sem perder sua genialidade?

Apresentamos o SelectInfer, uma nova ideia de pesquisadores da Universidade de Paderborn que sugere uma maneira inteligente de resolver este quebra-cabeça. Em vez de tentar encolher a biblioteca inteira ou jogar fora livros aleatórios, o SelectInfer age como um bibliotecário muito inteligente que sabe exatamente quais livros você precisa agora mesmo.

Veja como funciona, usando uma história simples. Imagine que o cére-lo de seu robô é uma fábrica enorme com milhares de trabalhadores (chamados de "neurônios"). Em uma fábrica normal, cada um dos trabalhadores aparece para trabalhar todos os dias, mesmo que não tenham nada para fazer. Isso desperdiça espaço e energia. Os pesquisadores descobriram que esses trabalhadores na verdade se dividem em dois grupos. Alguns são "Generalistas", que sempre aparecem, não importa o trabalho — como as pessoas que mantêm as luzes acesas e a máquina de café funcionando. Outros são "Especialistas", que só aparecem para tarefas específicas, como a equipe que conserta o encanamento ou a equipe que pinta as paredes.

O artigo mostra que, para qualquer tarefa dada, você não precisa de todos os especialistas, e definitivamente não precisa daqueles que não estão trabalhando hoje. O SelectInfer usa um truque de mágica de duas etapas para fazer a fábrica funcionar em um dispositivo pequeno:

Carregamento Seletivo (O Truque da Mochila): Antes mesmo de o robô começar a trabalhar, os pesquisadores usam um "perfilador offline" (uma espécie de batedor/explorador) para descobrir quais Generalistas e Especialistas são os mais importantes. Então, quando o robô está pronto para ir, ele apenas empacota esses trabalhadores específicos em sua mochila (memória). Ele deixa o resto para trás. Isso é como levar apenas as ferramentas que você precisa para uma viagem de acampamento em vez de toda a loja de ferragens. Isso permite que o robô caiba em dispositivos que anteriormente eram pequenos demais para contê-lo. Por exemplo, em um dispositivo com apenas 8 GB de memória (como um NVIDIA Jetson Orin Nano), um modelo que normalmente precisaria de 9 GB de espaço pode agora se espremer porque está carregando apenas os 70% essenciais de seus trabalhadores.
Computação Seletiva (O Truque Sob Demanda): Mesmo com uma mochila mais leve, o robô ainda tem que pedir a cada trabalhador para fazer seu trabalho, o que leva tempo. O SelectInfer adiciona uma segunda regra: uma vez que o robô começa a trabalhar, ele só pede aos trabalhadores mais relevantes para realmente fazerem a matemática para aquele momento específico. Se o robô estiver escrevendo um poema, ele não precisa da equipe de encanamento para calcular a rima. Ele apenas acorda os poetas. Isso faz o robô pensar muito mais rápido.

Os pesquisadores testaram isso em três cérebros de robôs diferentes (Llama3.2-3B, Llama3.2-1B e Qwen2.5-3B) em um chip de computador minúsculo. Eles descobriram que, ao usar este método, puderam rodar esses modelos gigantes em dispositivos que antes eram impossíveis de usar. Para o modelo de 3 bilhões de parâmetros, o SelectInfer fez com que ele rodasse cerca de 1,53 vezes mais rápido do que o método atual de espremer os dados (quantização de 4 bits) e mais de 13 vezes mais rápido do que tentar puxar dados de um disco lento.

Crucialmente, o artigo argumenta que isso não torna o robô "mais burro". Na verdade, para muitas tarefas como tradução e resumo de histórias, o SelectInfer foi, na verdade, mais preciso do que outros métodos que tentavam economizar espaço. Os pesquisadores descobriram que, enquanto outros métodos ou economizavam memória mas rodavam lentamente, ou eram rápidos mas esqueciam as coisas, o SelectInfer conseguiu equilibrar os três: economizou memória, acelerou o pensamento e manteve as respostas precisas.

O artigo descarta explicitamente a ideia de que você precisa jogar fora o modelo inteiro ou treiná-lo do zero para fazê-lo caber. Também mostra que simplesmente escolher trabalhadores aleatórios para deixar para trás (carregamento aleatório) faz com que o robô falhe completamente, provando que você precisa de um mapa inteligente para saber quem manter. Embora o método exija uma fase de "exploração" única para descobrir quais trabalhadores são importantes, os resultados sugerem que esta é uma maneira prática e poderosa de trazer uma IA superinteligente para os pequenos aparelhos em nossos bolsos sem a necessidade de um supercomputador na nuvem.

Resumo Técnico: SelectInfer

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) enfrentam barreções significativas para implantação em dispositivos de borda com recursos limitados (ex: NVIDIA Jetson Orin Nano) devido às altas demandas de memória e computação. As estratégias de otimização existentes falham em abordar simultaneamente as três dimensões críticas da implantação em borda: pegada de memória, velocidade de inferência e precisão da saída.

Quantização reduz a memória, mas frequentemente degrada o rendimento (throughput) de decodificação e oferece apenas controle de grão grosso (ex: 4-bit vs. 8-bit).
Poda (Pruning) requer retreinamento custoso e remove pesos permanentemente, carecendo de adaptabilidade em tempo de execução.
Descarregamento (Offloading) (ex: para disco) é limitado pelo largura de banda de I/O e muitas vezes é incompatível com arquiteturas de memória unificada encontradas em SoCs de borda.
Métodos de Esparsidade em Tempo de Execução (ex: CoreInfer) melhoram a velocidade ao pular neurônios inativos, mas exigem que o modelo completo resida na memória, impedindo a implantação de modelos maiores em hardware com restrição de memória.

Metodologia

O SelectInfer é um framework de otimização ao nível de neurônio que permite a inferência eficiente de LLMs através de carregamento seletivo e computação seletiva, guiados por uma fase de perfilamento offline. O insight central é que os neurônios dos LLMs exibem uma estrutura dual: um núcleo estável de neurônios específicos do modelo (propósito geral) que são ativados universalmente entre tarefas, e neurônios específicos de tarefas que impulsionam o desempenho para entradas individuais.

1. Fase Offline: LLM Profiler

Antes da implantação, o SelectInfer utiliza um perfilador offline para analisar as ativações dos neurônios através de diversos conjuntos de dados (ex: QA, tradução, sumarização).

Pontuação: Para cada neurônio $n$ , uma pontuação $s_n$ é calculada com base na soma das ativações absolutas sobre um conjunto de tokens $T$ : $s_n = \sum_{t \in T} |a_n(t)|$ .
Classificação: Os neurônios são categorizados em dois grupos:
- Neurônios Base: Neurônios específicos de tarefas identificados ao mesclar pontuações de prompts dentro de uma tarefa específica.
- Neurônios Secundários: Neurônios específicos do modelo identificados ao mesclar pontuações entre diferentes tarefas.
Saída: O perfilador gera arquivos de ranking de neurônios identificando os neurônios mais importantes para tarefas específicas e para o comportamento geral do modelo.

2. Fase Online: Otimização

Durante o tempo de execução no dispositivo de borda, o SelectInfer aplica dois mecanismos:

Carregamento Seletivo (Otimização de Memória):
Em vez de carregar o modelo completo, o Selectifer carrega apenas um subconjunto de neurônios na memória. Ele prioriza os neurônios base (específicos de tarefas) e preenche o orçamento de memória restante com neurônios secundários (específicos do modelo) até um limite de carregamento definido $\gamma$ . Isso permite que modelos que de outra forma excederiam a memória do dispositivo (ex: modelos de 3B em dispositivos de 8GB) sejam executados ao descartar pesos irrelevantes inteiramente.
Computação Seletiva (Otimização de Velocidade):
Mesmo com uma pegada de memória reduzida, computar todos os neurônios carregados pode ser lento. O SelectInfer restringe ainda mais a computação a um subconjunto dos neurônios carregados ( $\epsilon < \gamma$ ).
- Neurônios Estáticos: Correspondem aos neurônios base; eles são sempre computados, independentemente da entrada.
- Neurônios Dinâmicos: Selecionados em tempo de execução durante a fase de prefill. O sistema computa os valores de ativação para todos os neurônios carregados, ordena-os e seleciona os top $\alpha$ neurônios por token. Em seguida, agrega-os para encontrar os top $\beta$ neurônios mais frequentes para o prompt.
- A razão de computação total $\phi = \delta + \epsilon$ é configurável pelo usuário, permitindo um compromisso entre velocidade e precisão.

Principais Contribuições

Perfilador Offline: Um mecanismo para identificar e classificar neurônios específicos do modelo e de tarefas, estabelecendo uma "estrutura dual" de ativação de LLM.
Carregamento Seletivo: Uma estratégia de implantação que carrega apenas os neurônios relevantes, permitendo a execução de modelos maiores do que a memória disponível no dispositivo.
Computação Seletiva: Um mecanismo de tempo de execução que computa dinamicamente apenas os neurônios mais relevantes (estáticos + dinâmicos), acelerando a inferência sem perda significativa de precisão.
Framework Ajustável: Um sistema que trata memória, velocidade e precisão como parâmetros independentemente ajustáveis, oferecendo controle de grão fino em comparação com os controles de grão grosso da quantização ou poda.

Resultados de Avaliação

O framework foi avaliado no NVIDIA Jetson Orin Nano (8 GB de memória compartilhada) usando os modelos Llama3.2-1B, Llama3.2-3B e Qwen2.5-3B em tarefas de QA, tradução e sumarização.

Viabilidade: O SelectInfer permitiu que modelos de escala 3B (que requerem nativamente ~8.5–9.5 GB) rodassem no dispositivo Jetson de 8 GB carregando apenas 70% dos neurônios.
Pegada de Memória: O SelectInfer reduziu o uso de memória em ~13.2% para o Llama3.2-3B (de 6.88 GB para 5.97 GB) em comparação com o modelo original, e significativamente mais em comparação ao CoreInfer (que exige o carregamento do modelo completo). Embora a quantização de 4 bits tenha alcançado um uso de memória absoluto menor, o SelectInfer manteve maior precisão para os pesos carregados.
Precisão: O SelectInfer manteve uma precisão competitiva. Em tarefas de tradução (WMT16), o SelectInfer alcançou ~~25–26 BLEU para o Llama3.2-3B, superando significativamente o CoreInfer (~~4–5 BLEU) e o CoreInfer com carregamento aleatório. Geralmente, superou ou igualou a quantização de 4 bits em tarefas de tradução e sumarização.
Velocidade: O SelectInfer alcançou um rendimento de decodificação de ~9.85 tokens/s para o Llama3.2-3B. Isso representa uma melhoria de 1.53× sobre a quantização de 4 bits e uma melhoria de 13× sobre abordagens de descarregamento para disco.
Comparação: O SelectInfer superou o CoreInfer em precisão (devido ao perfilamento offline) e eficiência de memória (devido ao carregamento seletivo). Ofereceu melhor velocidade e precisão que a quantização em tarefas de tradução enquanto evitava as limitações de hardware de kernels de baixa precisão.

Significância e Alegações

O artigo afirma que o SelectInfer representa um passo prático em direção à implantação de LLMs em dispositivos de borda ao resolver o "trilema" de memória, velocidade e precisão. Ao contrário de trabalhos anteriores que otimizam apenas um ou dois elementos, o SelectInfer fornece um ponto de operação equilibrado e ajustável através de todos os três.

Os autores enfatizam que sua abordagem:

Não requer retreinamento, distinguindo-se da poda e da destilação.
É compatível com arquiteturas de memória unificada, ao contrário dos métodos de descarregamento.
Oferece controle de grão fino, permitindo que os usuários ajustem a porcentagem de neurônios carregados e computados para corresponder às restrições específicas do dispositivo e necessidades da aplicação.
Generaliza entre famílias de modelos, demonstrando eficácia tanto nas arquiteturas Llama quanto Qwen.

O trabalho posiciona o SelectInfer como uma evolução necessária além da compressão de grão grosso, permitindo a execução de modelos maiores e mais capazes em hardware anteriormente considerado insuficiente para tais tarefas.