🤖 AI

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

Este trabalho propõe um mecanismo de compressão sequencial de entrada que, ao explorar regularidades estruturais inerentes nos modelos de linguagem multimodal, realiza a compressão do cache chave-valor durante a fase de pré-preenchimento para reduzir significativamente o uso de memória de pico sem comprometer substancialmente o desempenho de geração.

Autores originais: Junwan Kim, Hyunkyung Bae

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junwan Kim, Hyunkyung Bae

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de IA muito inteligente (um "Cérebro Multimodal") capaz de olhar fotos, vídeos e ler textos ao mesmo tempo para responder perguntas. O problema é que, quando ele tenta analisar uma foto em 4K ou um vídeo longo, ele precisa guardar toda a informação na sua "memória de trabalho" (a RAM da placa de vídeo) antes de começar a responder.

Se a foto for muito grande ou o vídeo muito longo, essa memória de trabalho enche instantaneamente, como se fosse um balde que transborda antes mesmo de você começar a encher a torneira. O computador trava (erro de "memória insuficiente") e a tarefa falha.

Este artigo apresenta uma solução inteligente para esse problema. Vamos explicar como funciona usando algumas analogias do dia a dia:

1. O Problema: O "Balde que Transborda"

Normalmente, quando esses modelos processam uma imagem, eles quebram a foto em milhões de pequenos pedaços (chamados "tokens"). Eles guardam todos esses pedaços na memória de uma só vez, como se tentássemos colocar toda a água de um rio dentro de um balde pequeno de uma vez só. O balde explode (o computador trava) antes mesmo de a IA começar a pensar.

2. A Solução: O "Filtro de Café" Inteligente

Os autores propõem uma nova forma de fazer isso: em vez de tentar guardar tudo de uma vez, eles usam uma estratégia de "processamento passo a passo com filtro".

Imagine que você está fazendo um café, mas só tem uma xícara pequena.

O jeito antigo: Tentar despejar todo o grão de café e toda a água de uma vez. A xícara transborda.
O jeito novo (deste artigo): Você coloca um pouco de café, deixa passar, joga fora o que é "lixo" (o que não é importante) e guarda apenas o essencial na xícara. Depois, você coloca mais um pouco de café, filtra de novo e guarda mais um pouco do essencial.

A IA faz isso enquanto está lendo a imagem, não depois. Ela descarta informações redundantes (como pixels repetidos em um céu azul ou quadros idênticos em um vídeo) no momento em que os vê, mantendo a "xícara" (a memória) sempre cheia, mas nunca transbordando.

3. As Duas Estratégias de "Filtragem"

O artigo descreve dois tipos de filtros que a IA pode usar para decidir o que guardar e o que jogar fora:

O Filtro com "Pergunta" (Query-Aware):
Imagine que você está procurando um "ponto vermelho" em uma foto gigante. Se você já sabe o que procura (a pergunta), o filtro é super inteligente: ele olha para a foto e diz: "Ah, essa parte tem o ponto vermelho, guardo! Aquela parte é só céu azul repetido, jogo fora!". Isso é ótimo quando a IA já tem a pergunta do usuário.
O Filtro "Sem Pergunta" (Query-Agnostic):
E se a IA ainda não sabe o que o usuário vai perguntar? Ela usa um filtro diferente. Ela pensa: "Não sei o que o usuário quer, então vou guardar as partes mais 'diferentes' e 'únicas' da imagem, e jogar fora as partes que são todas iguais". É como guardar as peças mais coloridas de um quebra-cabeça e descartar as peças que são todas do mesmo tom de azul. Isso garante que a IA não perca informações importantes, mesmo sem saber a pergunta final.

4. O Resultado: Mais Fotos, Menos Travamentos

Os testes mostraram que essa técnica é incrível:

Economia de Memória: A IA consegue processar imagens gigantes e vídeos longos sem travar, usando até 90% menos memória do que os métodos atuais.
Qualidade: Mesmo jogando fora 90% dos dados "sobra", a IA continua respondendo com quase a mesma precisão. Ela aprendeu a guardar apenas o que realmente importa.
O "Custo": A única desvantagem é que o processo fica um pouquinho mais lento, porque a IA precisa fazer essa filtragem em tempo real, como se estivesse lendo a foto em câmera lenta para selecionar os melhores momentos. Mas, para a maioria das pessoas, é melhor esperar 2 segundos a mais do que o computador travar completamente.

Resumo em uma frase

Em vez de tentar guardar toda a informação de uma foto gigante na memória de uma vez (o que faz o computador explodir), essa técnica ensina a IA a olhar a foto aos poucos, descartar o que é repetitivo na hora e guardar apenas o essencial, permitindo que ela analise imagens e vídeos enormes sem precisar de computadores superpotentes.

Resumo Técnico: Redução do Uso de Memória de Pico em Pipelines de Modelos Multimodais de Grande Escala (MLLMs)

1. O Problema: O "Gargalo" da Memória na Fase de Prefill

Os Modelos Multimodais de Grande Escala (MLLMs) alcançam capacidades avançadas de raciocínio visual-textual ao processar imagens de alta resolução e sequências de vídeo longas. No entanto, essa escalabilidade introduz um custo de memória severo durante a inferência, especificamente devido ao crescimento do cache de Chave-Valor (KV Cache).

Causa Raiz: Em arquiteturas Transformer, o cache KV armazena representações intermediárias para evitar recálculos. O tamanho desse cache cresce linearmente com o número de tokens.
O Desafio Multimodal: Diferente de modelos de texto puro, os MLLMs geram milhares de tokens visuais (ex: uma imagem 4K pode gerar >42.000 tokens). Isso faz com que a fase de prefill (onde todo o contexto de entrada é codificado antes da geração) se torne o ponto de pico de consumo de memória.
Limitação das Soluções Atuais: Métodos existentes de compressão de KV cache geralmente operam após o processamento completo do contexto multimodal ("processar primeiro, comprimir depois"). Isso não resolve o pico de memória que ocorre durante a construção inicial do cache, levando frequentemente a falhas de "Out-Of-Memory" (OOM) em GPUs.

2. Metodologia: Compressão Online e Consciente da Estrutura

Os autores propõem um framework de compressão de KV cache que opera durante a fase de prefill, sob um orçamento de memória fixo. A abordagem baseia-se na observação de que os tokens visuais possuem regularidades estruturais e redundâncias que podem ser exploradas precocemente.

Componentes Principais:

Processamento em Blocos (Block-wise Prefill):
- Em vez de construir o cache completo e depois podar, o input é dividido em blocos contíguos (ex: 256 tokens).
- O cache é construído e comprimido incrementalmente após cada bloco.
- Se o tamanho do cache exceder o orçamento $M$ , ocorre uma evicção imediata. Isso garante que a memória de pico permaneça constante e controlada durante todo o processamento.
Estratégias de Evicção (Seleção de Tokens):
O sistema utiliza duas estratégias para decidir quais tokens manter ou descartar, dependendo da disponibilidade de consultas (queries):
1. Evicção Consciente da Consulta (Query-Aware): Para cenários de turno único, utiliza-se o texto do prompt para calcular a atenção cruzada. Tokens visuais com baixa relevância para a consulta específica são removidos (baseado em SnapKV).
2. Evicção Agnóstica à Consulta (Query-Agnostic): Para cenários de múltiplos turnos ou onde a consulta não está disponível, utiliza-se a diversidade representacional. Mantém-se os tokens cujas chaves mais se desviam da média (baseado em KeyDiff), preservando características visuais raras e redundâncias estruturais sem depender do texto.
Alinhamento Estrutural:
Os limites dos blocos são alinhados com a estrutura visual (ex: tiles de imagem ou grupos de frames de vídeo), garantindo que a compressão não destrua informações semanticamente importantes.

3. Contribuições Chave

Mudança de Paradigma: Transição de uma abordagem "compressão pós-prefill" para uma abordagem "compressão durante o prefill" (compress as you prefill), eliminando o pico de memória inicial.
Framework de Orçamento Fixo: Proposta de um mecanismo que impõe um limite rígido de memória durante a codificação de entrada, permitindo a execução de inputs visuais massivos em GPUs com memória limitada.
Flexibilidade de Cenário: Desenvolvimento de estratégias tanto dependentes quanto independentes da consulta, cobrindo desde tarefas de VQA (Visual Question Answering) até interações de múltiplos turnos.
Análise de Trade-off: Demonstração clara da relação entre latência e memória, mostrando que é possível evitar falhas OOM com um aumento moderado na latência.

4. Resultados Experimentais

Os métodos foram avaliados em modelos de ponta (InternVL3.5 e Qwen2.5-VL) em benchmarks de imagem e vídeo (ImageNeedleInHaystack, V*, MLVU, Video-MME).

Redução de Memória: O método consegue reduzir o cache em até ~90% (orçamento de 1024 tokens vs. cache completo) mantendo a memória de pico constante, independentemente do número de tiles de imagem ou frames de vídeo.
Desempenho:
- A degradação na acurácia foi mínima. Por exemplo, no modelo InternVL3.5-8B com orçamento de 1024, a queda média de acurácia foi de apenas 0,78 pontos (com estratégia Query-Aware).
- Em alguns casos de vídeo, a compressão até melhorou o desempenho ao suprimir informações temporais redundantes.
Escalabilidade: O método permitiu a execução de inputs que causariam falha OOM em métodos tradicionais (full-cache).
Trade-off Memória-Latência: Embora o processamento sequencial aumente o tempo até o primeiro token (TTFT), o método torna viáveis tarefas que seriam impossíveis de executar devido à falta de memória.
Importância do Tamanho do Bloco: A precisão é maximizada quando o tamanho do bloco alinha-se com a tokenização nativa do modelo (ex: 784 tokens para Qwen2.5-VL), reforçando a necessidade de alinhamento estrutural.

5. Significado e Impacto

Este trabalho é fundamental para a viabilidade prática de MLLMs em cenários do mundo real com recursos limitados.

Viabilidade de Hardware: Permite que modelos multimodais de alta resolução rodem em GPUs de consumo ou data centers com restrições de memória, sem precisar reduzir a resolução das imagens de entrada (o que causaria perda drástica de informação).
Eficiência de Sistema: Oferece uma solução escalável para o problema de "explosão de tokens visuais", transformando um problema de memória intransponível em um problema gerenciável de latência.
Futuro: Sugere que a otimização de memória não deve focar apenas no tamanho final do cache, mas sim em como o contexto visual é processado e comprimido dinamicamente durante a fase de pré-processamento.

Conclusão: A abordagem proposta permite inferência multimodal escalável e eficiente em memória, mantendo a alta qualidade de geração mesmo sob orçamentos de cache extremamente agressivos, superando as limitações das técnicas de compressão tradicionais que atuam apenas após a codificação completa.