Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
O artigo apresenta o Bevy, um sistema de inferência de MoE que supera os métodos tradicionais de prefetching ao empregar um escalonador de autoequilíbrio para intercalar requisições concorrentes, sobrepondo assim a busca de especialistas com a computação sem depender de previsões imprecisas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No zumbido silencioso de um computador pessoal, um novo tipo de inteligência está criando raízes. Os modelos de linguagem de grande escala, os motores por trás dos chatbots modernos e assistentes de escrita, estão se movendo cada vez mais dos enormes centros de dados para máquinas locais, como desktops e estações de trabalho. Essa mudança permite que os usuários executem essas ferramentas poderosas sem depender da internet, mas introduz uma restrição física: a memória do computador é limitada. Para fazer com que esses modelos caibam, os pesquisadores usam uma técnica chamada "mistura de especialistas" (mixture of experts). Imagine uma vasta biblioteca de conhecimento onde, para cada pergunta feita, apenas alguns livros específicos são retirados da estante para serem lidos, enquanto o restante permanece intocado. Isso mantém o trabalho rápido e eficiente. No entanto, em um dispositivo pessoal, mesmo os "poucos livros" necessários para um único momento podem não caber todos na memória ativa do computador de uma só vez. Quando o computador precisa de um livro que não está lá, ele deve pausar seu pensamento para buscá-lo em uma unidade de armazenamento mais lenta, deixando o processador ocioso e esperando.
Por anos, a solução padrão para esse jogo de espera tem sido a predição. O sistema tenta adivinhar quais livros serão necessários a seguir e os busca antecipadamente enquanto o processador trabalha na tarefa atual. Isso é como um bibliotecário que, enquanto você lê um capítulo, puxa silenciosamente os próximos capítulos prováveis da estante para que estejam prontos quando você virar a página. Mas uma equipe de pesquisadores da Universidade Nacional de Seul e da Universidade de Yale descobriu que essa estratégia frequentemente falha quando o computador já mantém um pequeno cache de livros em sua memória ativa. À medida que esse cache se enche com os livros mais úteis, os palpites do bibliotecário tornam-se menos precisos, desperdiçando tempo e largura de banda buscando livros que nunca serão abertos. Em vez de tentar adivinhar o futuro, os pesquisadores encontraram uma maneira melhor: simplesmente deixar o trabalho acontecer em uma ordem diferente. Ao permitir que diferentes solicitações avancem no seu próprio ritmo, o sistema pode revelar exatamente o que é necessário a seguir sem adivinhar, transformando o tempo de espera ocioso em trabalho produtivo.
Os pesquisadores, liderados por Hongseung Yu e Kyunghan Lee, construíram um novo sistema chamado Bevy para testar essa ideia. Eles observaram que, quando múltiplas solicitações são enviadas ao modelo ao mesmo tempo — como um usuário pedindo uma revisão de código enquanto outra parte do software verifica um e-mail —, as solicitações não precisam todas dos mesmos livros ao mesmo tempo. Em sistemas tradicionais, o computador espera até que cada uma das solicitações tenha reunido todos os seus livros necessários antes de iniciar a próxima etapa para qualquer uma delas. Isso cria um gargalo onde o processador fica parado enquanto a unidade de armazenamento trabalha. O Bevy muda esse ritmo. Ele permite que uma solicitação que tenha todos os seus livros prontos avance para a próxima etapa imediatamente, enquanto outras solicitações esperam que seus livros faltantes cheguem. Conforme a solicitação pronta avança, ela revela exatamente quais livros precisará para a próxima etapa. O sistema então busca esses livros específicos enquanto o processador está ocupado com a solicitação pronta. Isso cria uma sobreposição contínua onde a unidade de armazenamento e o processador estão trabalhando ao mesmo tempo, mas sem qualquer necessidade de predição.
A chave para fazer isso funcionar suavemente é um escalonador de autoequilíbrio que decide como agrupar as solicitações. Se o sistema simplesmente deixasse cada solicitação rodar sozinha, o processador teria que ler os mesmos livros compartilhados da memória repetidamente para cada solicitação, atrasando tudo. Se agrupasse todas de forma muito rígida, perderia o benefício de deixar as solicitações rápidas avançarem. O Bevy resolve isso agrupando as solicitações dinamicamente, camada por camada. Se muitas solicitações estiverem prontas ao mesmo tempo, ele as agrupa para maximizar a eficiência. Se apenas algumas estiverem prontas porque outras ainda esperam por livros, ele as deixa avançar em grupos menores. Essa flexibilidade garante que o processador nunca fique ocioso esperando a formação de um grupo, e que a unidade de armazenamento nunca fique ociosa esperando o término de uma solicitação. O sistema se adapta em tempo real às necessidades mutáveis das solicitações, criando um fluxo onde a computação e a busca acontecem em paralelo naturalmente.
Os resultados desta abordagem foram medidos em duas plataformas de computação local diferentes, uma usando um chip Apple e outra um NVIDIA Jetson AGX Thor Developer Kit com 128 GB de memória unificada e um Samsung 9100 PRO 2 TB SSD, executando dois modelos de linguagem de grande escala diferentes. Os pesquisadores compararam o Bevy com o método padrão usado em softwares populares como o llama.cpp, bem como com os sistemas baseados em predição mais avançados disponíveis. Eles descobriram que o Bevy superou consistentemente os outros. Em testes com números variados de solicitações simultâneas, o Bevy entregou até 3,46 vezes mais trabalho por segundo do que o método padrão e até 1,55 vezes mais do que o sistema baseado em predição mais rápido. A melhoria foi mais significativa quando o computador tinha que lidar com muitas solicitações ao mesmo tempo. Mesmo quando os pesquisadores testaram o sistema com um grande cache de livros já na memória, onde os sistemas de predição lutavam com baixa precisão, o Bevy manteve sua velocidade. Isso ocorre porque o Bevy nunca desperdiçou tempo buscando livros que não precisava; ele buscou apenas o que era explicitamente requerido pelas solicitações que passavam pelo sistema.
O estudo também explorou se adicionar a predição sobre o Bevy ajudaria ainda mais. Os pesquisadores tentaram combinar o novo método de escalonamento com um sistema de predição, esperando que os dois trabalhassem juntos. No entanto, descobriram que a predição não agregava valor e, às vezes, até retardava as coisas. Como o Bevy mantém o link de armazenamento tão ocupado buscando os livros exatos necessários para as solicitações prontas, não sobra tempo para buscar livros preditos. Além disso, quando o sistema tenta prever, muitas vezes erra o alvo, desperdiçando largura de banda em livros que nunca serão usados. Os pesquisadores concluíram que, neste ambiente específico, onde um cache local já contém muitos dos itens necessários, o ato de prever não é apenas desnecessário, mas prejudicial. O caminho mais eficiente é deixar as solicitações revelarem suas necessidades conforme avançam e escalonar o trabalho para que o sistema esteja sempre fazendo algo útil, seja computando ou buscando dados.
Este trabalho sugere uma mudança fundamental na forma como a inteligência artificial local pode ser gerenciada. Mostra que a eficiência nem sempre vem de tentar ser mais inteligente sobre o futuro, mas de ser mais responsivo ao presente. Ao permitir que as tarefas procedam em seu próprio ritmo e agrupá-las apenas quando faz sentido, o sistema elimina o tempo de espera que há muito assombra a IA local. As descobertas baseiam-se em medições concretas de vazão e tempo em múltiplas configurações de hardware, fornecendo um quadro claro de como este novo método de escalonamento performa em condições reais. Os pesquisadores não alegaram que isso resolve todos os problemas da inferência local, mas demonstraram que, para o desafio específico de executar modelos grandes e ávidos por memória em dispositivos pessoais, uma mudança simples na ordem das operações pode gerar melhorias dramáticas. O sistema, chamado Bevy, serve como um exemplo prático de como repensar o fluxo de trabalho pode desbloquear o potencial total do hardware existente, tornando a inteligência poderosa mais rápida e responsiva diretamente na mesa do usuário.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.