FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration

O mundo da inteligência artificial está atualmente correndo em direção a um limite físico. Os modelos de linguagem mais avançados, os sistemas que escrevem código, redigem histórias e resolvem problemas complexos, tornaram-se tão massivos que não cabem mais dentro dos chips de memória padrão acoplados aos processadores de computador que os executam. Imagine tentar carregar uma biblioteca de um bilhão de livros em uma mochila que só pode conter algumas dezenas; esta é a realidade atual para o hardware que alimenta esses modelos. Para fazer esses sistemas funcionarem, os engenheiros foram forçados a dividir os modelos entre muitos computadores separados, uma solução que é cara, lenta e faminta por energia porque os computadores devem conversar constantemente entre si para compartilhar a carga. Uma nova tecnologia chamada flash de alta largura de banda oferece uma maneira de armazenar essas bibliotecas massivas bem ao lado do processador, fornecendo terabytes de espaço em um pacote minúsculo. No entanto, este novo armazenamento é muito mais lento para ler do que a própria memória do processador, criando um gargalo onde o computador passa a maior parte do tempo esperando os dados chegarem.

Pesquisadores da Huawei e da ETH Zurich projetaram um sistema chamado FLINT para resolver esse problema de espera. O trabalho deles, detalhado em um estudo recente, propõe uma maneira de fazer com que este armazenamento flash de alta capacidade funcione rápido o suficiente para acompanhar as demandas do processador sem a necessidade dos cronogramas complexos e pré-planejados que os designs anteriores exigiam. Em vez de adivinhar quais dados o processador precisará a seguir, o FLINT observa o processador em tempo real e organiza as solicitações de dados conforme elas acontecem. Ao agrupar essas solicitações e usar os buffers internos do chip de armazenamento de forma mais eficiente, o sistema pode transmitir dados em velocidades que quase se igualam à própria memória do processador. A equipe simulou este sistema usando seis modelos de linguagem de grande escala diferentes, incluindo alguns dos modelos mais grandes e complexos existentes atualmente. Seus resultados mostram que esta abordagem permite que um único pacote de computador lide com tarefas que anteriormente exigiam dezenas de máquinas, enquanto utiliza significativamente menos energia e entrega resultados muito mais rápidos.

O cerne do problema reside em como esses modelos são construídos. Para executar uma inferência, que é o ato do modelo gerar uma resposta, o computador deve acessar constantemente os pesos do modelo, que são essencialmente os bilhões de números que definem seu conhecimento. No passado, esses pesos eram pequenos o suficiente para caber inteiramente na memória de alta velocidade acoplada diretamente ao processador. Agora, com modelos contendo centenas de bilhões ou até trilhões de parâmetros, os pesos são grandes demais para essa memória rápida. A alternativa tem sido usar unidades de estado sólido (SSDs), que são grandes e baratas, mas excessivamente lentas, ou usar múltiplos processadores, o que introduz atrasos conforme eles sincronizam seu trabalho. O flash de alta largura de banda foi proposto como um meio-termo: uma tecnologia de armazenamento que cabe no mesmo pacote pequeno que o processador e oferece capacidade massiva, mas com uma velocidade de leitura que ainda é muito lenta para o processador usar diretamente sem travar.

Tentativas anteriores de usar este armazenamento flash baseavam-se em um método semelhante a um bibliotecário tentando adivinhar quais livros um leitor precisará a seguir. O sistema tentava prever a próxima camada do modelo e começava a buscar esses pesos antes que o processador os solicitasse. Os pesquisadores descobriram que esse jogo de adivinhação falhava miseravelmente. Como os modelos são tão complexos e seu comportamento muda dependendo da pergunta específica feita, as suposições eram frequentemente erradas. O sistema buscava dados que o processador ainda não precisava, preenchendo o espaço limitado do buffer e forçando-o a descartar dados que eram realmente necessários. Isso resultava no processador passando a maior parte do tempo esperando que os dados corretos fossem buscados novamente, desperdiçando a alta velocidade do armazenamento flash.

O FLINT muda essa abordagem ao remover o jogo de adivinhação inteiramente. Em vez de um bibliotecário adivinhando, o sistema age como um controlador de tráfego altamente eficiente que observa o fluxo de carros em tempo real. Quando o processador pede uma peça específica de dado, o FLINT não apenas busca essa única peça. Ele observa o fluxo de solicitações vindas do processador e as agrupa. Se o processador pede várias peças de dados que, por acaso, estão armazenadas na mesma área física do chip flash, o FLINT as agrupa em uma única solicitação grande. Isso permite que o chip flash leia uma quantidade massiva de dados de uma só vez, utilizando sua velocidade total. O sistema então mantém esses dados em seus buffers internos, prontos para serem entregues ao processador exatamente quando forem necessários. Esse agrupamento dinâmico significa que o sistema nunca perde tempo buscando dados que não são necessários e mantém o pipeline de dados cheio e fluindo.

Outro grande obstáculo para o armazenamento flash é que ele requer manutenção. Com o tempo, o ato de ler dados pode causar a degradação das cargas elétricas dentro do chip, levando a erros. Para corrigir isso, o chip deve periodicamente pausar e reescrever os dados em locais novos. Em designs anteriores, essa manutenção tinha que acontecer enquanto o processador tentava ler dados, fazendo com que o sistema congelasse por longos períodos. Os pesquisadores resolveram isso criando um sistema de "plano fantasma". Eles adicionaram uma pequena quantidade de espaço extra ao chip que atua como uma faixa de reserva. Quando uma seção do chip precisa de manutenção, o sistema copia silenciosamente os dados para esta faixa de reserva em segundo plano, sem nunca interromper o fluxo principal de dados para o processador. Isso garante que o trabalho de manutenção nunca interrompa o trabalho do processador, mantendo o sistema funcionando suavemente mesmo à medida que o chip envelhece.

A equipe também simplificou a maneira como o sistema traduz as solicitações do processador em localizações físicas no chip. Sistemas de armazenamento padrão são construídos para lidar com escrita e reescrita constantes, o que exige mapas complexos e maquinário pesado para gerenciar. Como os pesos de um modelo de linguagem são escritos uma única vez e nunca mudam, o FLFT usa um mapa muito mais simples e leve, otimizado apenas para leitura. Essa redução de complexidade significa que o sistema pode traduzir solicitações quase instantaneamente, removendo outra camada de atraso.

Quando os pesquisadores testaram essas ideias em uma simulação detalhada, os resultados foram impressionantes. Eles compararam seu novo sistema com três outras configurações: um sistema padrão usando unidades de estado sólido lentas, um sistema usando apenas a memória rápida através de muitos processadores e uma tentativa anterior de usar armazenamento flash. O sistema FLINT foi capaz de decodificar texto, que é o processo de gerar a saída do modelo, até 1.205 vezes mais rápido do que o sistema usando unidades de estado sólido. Comparado ao sistema que dependia de muitos processadores trabalhando juntos, o FLINT foi mais do que duas vezes mais rápido, em média. Talvez o mais importante: ele alcançou esse desempenho usando muito menos computadores. Para um pequeno lote de solicitações, um único computador equipado com FLINT pôde realizar o trabalho que anteriormente exigia de quatro a oito computadores, e o fez consumindo significativamente menos energia.

O estudo também analisou quanto tempo o sistema duraria. Como o armazenamento flash está sendo lido constantemente, os pesquisadores estavam preocupados com a rapidez com que os chips se desgastariam. Eles descobriram que seu sistema de manutenção, que reescreve os dados antes que ocorram erros, estende a vida útil do armazenamento por muitos anos, mesmo sob uso intenso. O sistema foi testado com seis modelos diferentes, variando de modelos densos a modelos complexos que alternam entre diferentes especialistas para resolver problemas, e apresentou um bom desempenho em todos eles. Os pesquisadores observaram que, embora o sistema adicione uma pequena quantidade de espaço físico ao chip, o custo é insignificante comparado aos enormes ganhos em velocidade e capacidade.

Este trabalho demonstra que as limitações da inteligência artificial não dizem respeito apenas ao quão inteligentes são os modelos, mas também a como movimentamos os dados ao redor deles. Ao repensar como o armazenamento interage com o processador, os pesquisadores mostraram que é possível construir sistemas que sejam simultaneamente massivos em capacidade e rápidos em velocidade. O sistema FLINT transforma uma tecnologia que antes era considerada lenta demais para uso em tempo real em uma solução prática para a próxima geração de inteligência artificial, permitindo que modelos poderosos rodem em máquinas únicas em vez de exigirem centros de dados inteiros. As descobertas sugerem que, com a engenharia correta, as restrições físicas da memória podem ser superadas, abrindo as portas para sistemas de IA mais capazes e eficientes no futuro.