MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
O MOSAIC é um framework de busca de arquitetura neural multiobjetivo que otimiza os orçamentos de cache KV por camada para inferência de LLMs de contexto longo, superando consistentemente a alocação uniforme em vários modelos e métodos de expulsão ao alcançar pontuações de tarefa mais altas com uso de memória significativamente reduzido.
Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os grandes modelos de linguagem são os motores por trás de muitas das ferramentas de inteligência artificial mais avançadas de hoje, capazes de ler documentos vastos ou manter conversas longas. No entanto, esses modelos enfrentam uma limitação física quando tentam processar sequências longas de texto: eles devem armazenar uma quantidade crescente de informações temporárias em sua memória de computador para acompanhar o que já leram. Essa área de armazenamento, conhecida como cache de chave-valor, expande-se linearmente com o comprimento do texto. Para um modelo que tenta compreender um documento do tamanho de um livro, esse requisito de memória pode se tornar tão massivo que excede a capacidade do hardware padrão, forçando o sistema a parar ou descartar informações.
Para resolver isso, pesquisadores desenvolveram métodos para serem seletivos sobre quais informações manter. Essas técnicas agem como um filtro, decidendo quais partes do texto são importantes o suficiente para serem retidas na memória e quais podem ser esquecidas com segurança. Até agora, esses filtros aplicavam as mesmas regras estritas a cada parte do processamento interno do modelo. A suposição era que cada camada do "cérebro" do modelo precisava da mesma quantidade de memória para realizar seu trabalho. Esta nova pesquisa desafia essa suposição, propondo que diferentes camadas precisam, na verdade, de quantidades diferentes de espaço, e que dar a elas partes iguais é um desperdício de recursos.
Uma equipe de pesquisadores introduziu um novo método chamado MOSAIC, que descobre automaticamente a quantidade perfeita de memória a ser atribuída a cada camada de um grande modelo de linguagem. Em vez de tratar o modelo como um bloco uniforme onde cada seção recebe uma fatia igual da torta de memória, o MOSAIC trata as camadas como indivíduos com necessidades únicas. O sistema utiliza um processo de busca sofisticado para testar milhares de maneiras diferentes de distribuir a memória. Ele procura por um padrão específico onde algumas camadas recebem mais espaço enquanto outras recebem menos, tudo isso permanecendo dentro de um limite total de memória. O objetivo é encontrar o arranjo que permita ao modelo responder perguntas ou resumir textos com a maior precisão possível sem ficar sem memória.
Os pesquisadores testaram essa abordagem em dois modelos de linguagem de grande escala populares e a compararam com o método padrão de dar a cada camada a mesma quantidade de memória. Eles avaliaram os modelos em uma variedade de tarefas difíceis, incluindo compreensão de leitura complexa, geração de código e resumo de documentos longos. Os resultados mostraram que o novo método superou consistentemente o antigo na grande maioria dos casos, vencendo a alocação uniforme em 146 de 154 configurações de teste. Em alguns casos, a melhoria foi dramática, com o modelo ganhando quase cinquenta pontos em um teste padronizado de compreensão de contexto longo. Talvez mais importante, o novo método permitiu que os modelos alcançassem o mesmo alto desempenho usando até quatro vezes menos memória do que antes. Isso significa que os modelos poderiam lidar com textos mais longos ou rodar em computadores menores e menos caros.
Uma das descobertas mais surpreendentes foi que a melhor distribuição de memória não era aleatória. A busca revelou um padrão consistente: um pequeno grupo de camadas no meio do modelo consistentemente precisava de mais memória do que as camadas no início ou no fim. As camadas no começo e no fim podiam funcionar bem com menos espaço, enquanto as camadas do meio atuavam como o gargalo crítico onde a informação precisava ser preservada. Ao deslocar a memória das camadas que não precisavam dela para as que precisavam, o sistema tornou-se muito mais eficiente. Essa descoberta sugere que a estrutura interna desses modelos não é uniforme; diferentes partes da rede desempenham diferentes papéis e requerem diferentes recursos para funcionar em seu melhor estado.
Os pesquisadores também descobriram que esse padrão ideal poderia ser descoberto uma única vez e depois aplicado a muitos limites de memória diferentes. Eles não precisaram realizar uma nova e cara busca para cada tamanho de memória que um usuário pudesse querer. Em vez disso, encontraram uma "forma vencedora" para a distribuição de memória e simplesmente a escalaram para cima ou para baixo. Isso significa que uma única busca, feita uma única vez, poderia fornecer a solução para qualquer restrição de memória futura, tornando o método prático para o uso no mundo real. O sistema funciona aprendendo o equilíbrio ideal offline, antes de o modelo ser usado para responder a uma pergunta, de modo que não adiciona nenhum atraso durante o uso real.
Quando comparado a outras tentativas recentes de resolver este problema, esta nova abordagem explorou um espaço de possibilidades vastamente maior. Enquanto outros métodos testavam apenas algumas variações por vez, este sistema avaliou uma fração minúscula do total de configurações possíveis — percorrendo um espaço de busca bilhões de vezes maior do que os métodos anteriores, enquanto avaliava apenas algumas centenas de candidatos para encontrar a melhor solução. Apesar de olhar para muito mais opções, exigiu menos horas de computador para encontrar a melhor solução. O estudo confirma que a antiga ideia de tratar cada camada da mesma forma é ineficiente. Ao reconhecer que algumas partes do modelo são mais críticas do que outras e alocar recursos de acordo, podemos tornar essas ferramentas poderosas mais rápidas, mais baratas e capazes de compreender contextos muito mais longos do que o anteriormente pensado como possível.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.