Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference

Este artigo analisa a "inflação de modalidade" como uma fonte crítica de ineficiência energética na inferência de modelos de linguagem multimodais (MLLMs), quantificando o aumento de consumo de energia em comparação com modelos baseados apenas em texto, identificando gargalos específicos por estágio e propondo o escalonamento dinâmico de tensão e frequência (DVFS) como uma estratégia eficaz para otimização.

O essencial

Imagine que os Modelos de Linguagem Multimodais (MLLMs) são como chefs de cozinha de elite que, antes, só sabiam cozinhar com receitas escritas (texto). Agora, eles aprenderam a cozinhar também olhando para fotos e vídeos (imagens). Isso é incrível, mas o artigo que você enviou revela um segredo sujo: essa nova habilidade está gastando uma energia elétrica absurda, e nem todos os chefs gastam da mesma forma.

Os autores chamam esse problema de "Inflação de Modalidade". Vamos descomplicar isso com algumas analogias do dia a dia.

1. O Problema: A "Inflação" da Comida

Quando você pede um prato apenas com uma receita (texto), o chef lê e prepara. Rápido e eficiente.
Mas quando você manda uma foto do prato que quer, o processo muda:

1. O Fotógrafo (Codificador de Visão): Antes de cozinhar, o chef precisa mandar um fotógrafo analisar a foto, medir cada ingrediente e transformar a imagem em uma lista de ingredientes detalhada (os "tokens visuais").
2. A Lista Gigante: Essa lista de ingredientes gerada pela foto é enorme. Às vezes, uma única foto gera milhares de "palavras" de ingredientes.
3. O Caos na Cozinha: Agora, o chef tem que ler essa lista gigante antes de começar a cozinhar. Isso faz a cozinha ficar lotada, o forno esquentar demais e a conta de luz disparar.

O artigo mostra que, dependendo de como o "chef" (o modelo) foi treinado, essa etapa extra pode aumentar o gasto de energia em 17% até 94% apenas para processar a mesma coisa que um modelo de texto faria. É como se, para fazer um sanduíche, você tivesse que primeiro construir uma fábrica inteira só para analisar o pão.

2. Os Dois Tipos de "Gastos" (Arquiteturas Diferentes)

Os pesquisadores testaram quatro modelos diferentes e descobriram que eles "queimam" energia de formas distintas:

• O Chef "Fotógrafo Caríssimo" (Ex: Qwen2.5-VL):
  Este modelo tem um fotógrafo muito sofisticado e lento. Ele gasta muita energia antes mesmo de começar a cozinhar (na etapa de codificação da imagem). É como ter um fotógrafo que usa equipamentos de cinema para tirar uma foto de um cachorro. O gasto inicial é enorme.
• O Chef "Lista Infinita" (Ex: LLaVA-OneVision):
  Este modelo tem um fotógrafo rápido, mas ele transforma a foto em uma lista de ingredientes tão longa que a cozinha fica cheia de papelada. O chef gasta muita energia apenas lendo essa lista gigante antes de cozinhar (na etapa de "preenchimento" ou prefill). É como ter que ler um livro inteiro só para saber que vai fazer um sanduíche.

A lição: Não existe uma solução única. O que economiza energia em um modelo pode desperdiçar no outro.

3. O Segredo da Economia: "Diminuir a Marcha" (DVFS)

A parte mais legal do artigo é a solução proposta. Eles descobriram que a GPU (o cérebro do computador) não precisa estar sempre no "modo turbo".

Imagine que você está dirigindo um carro:

• O Erro Atual: O carro fica no modo "Super Turbo" o tempo todo, mesmo quando você está só andando devagar no trânsito ou esperando o semáforo. Isso gasta muita gasolina.
• A Solução Proposta (DVFS): O artigo sugere um sistema inteligente que muda a marcha do carro dependendo da tarefa:
  • Quando o "fotógrafo" está trabalhando (codificando a imagem), o carro pode andar em uma marcha mais baixa, gastando menos energia, porque não precisa de velocidade máxima.
  • Quando o "chef" está cozinhando rápido (gerando a resposta), aí sim, você acelera.

Os testes mostraram que, ao ajustar a velocidade (frequência) da GPU em cada etapa separadamente, é possível economizar muita energia sem deixar o usuário perceber que o sistema ficou mais lento.

4. Por que isso importa para o futuro?

Hoje, os data centers (os "grandes restaurantes" onde esses modelos rodam) estão consumindo tanta energia que isso se torna um problema ambiental e financeiro.

Se continuarmos usando os mesmos métodos antigos para todos os modelos multimodais, vamos gastar energia demais. A mensagem principal do artigo é: Precisamos tratar cada modelo como um caso único.

• Se o modelo é lento na análise de imagem, diminua a velocidade da GPU nessa etapa.
• Se o modelo gera listas gigantes, otimize a leitura dessas listas.

Resumo em uma frase

Este artigo diz que, para fazer a Inteligência Artificial "ver" imagens sem queimar o planeta (e sua conta de luz), precisamos parar de tratar todos os modelos iguais e começar a ajustar a "marcha" da energia em cada passo da receita, economizando onde não precisamos de turbo.

Resumo técnico

Título: Modality Inflation: Caracterização de Energia e Oportunidades de Otimização para Inferência de MLLMs

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) evoluíram a partir de modelos de linguagem (LLMs) puramente textuais, integrando modalidades como imagens e vídeos. Embora isso expanda as capacidades de aplicação (ex: VQA, legendagem de imagens), introduz uma ineficiência energética não explorada anteriormente, denominada "Modality Inflation" (Inflação de Modalidade).

O problema central é que a entrada multimodal não apenas adiciona um estágio de codificação de visão, mas também infla o comprimento da sequência de tokens (de centenas a milhares de tokens visuais), o que impacta desproporcionalmente o estágio de prefill (pré-preenchimento) do LLM. A literatura anterior focou em otimizar throughput e latência, mas carece de uma compreensão detalhada de como a energia é consumida em diferentes estágios da inferência multimodal e como a complexidade da entrada (resolução, número de imagens) afeta o custo energético. Isso resulta em sistemas de serviço ineficientes e custos operacionais elevados em datacenters.

2. Metodologia

Os autores realizaram uma caracterização de energia em nível de estágio para inferência de MLLMs em uma GPU NVIDIA A100 (80GB).

• Modelos Avaliados: Quatro MLLMs representativos com arquiteturas de codificador de visão distintas:
  • LLaVA-1.5: Usa tokenização de patches fixos (CLIP ViT).
  • LLaVA-OneVision: Usa tiling de qualquer resolução (gera muitos tokens).
  • Qwen2.5-VL: Usa codificação baseada em ViT comprimido.
  • InternVL3: Usa codificação ViT com downsampling.
• Configuração Experimental:
  • Comparação controlada entre inferência multimodal e uma base de texto-only com o mesmo backbone LLM (7B-8B parâmetros).
  • Isotoken: Igualaram o número total de tokens de entrada (texto + visuais) para isolar o custo da modalidade.
  • Variáveis: Resolução da imagem (de 224x224 a 2048x2048) e contagem de imagens (de 1 a 6).
  • Métricas: Energia por requisição (Joules), latência (ms), consumo de potência (Watts) via NVML (amostragem a cada 5ms) e throughput.
• Análise de Estágios: O pipeline foi decomposto em três fases:
  1. Codificação de Visão (Encoding): Extração de características visuais.
  2. Prefill: Processamento da sequência completa de tokens (texto + visuais) no LLM.
  3. Decodificação: Geração autoregressiva de tokens de saída.

3. Principais Contribuições

1. Caracterização de Energia em Nível de Estágio: Primeiro estudo detalhado que quantifica a distribuição de energia entre codificador, prefill e decodificação, comparando MLLMs com bases textuais.
2. Análise da "Modality Inflation": Demonstra como a complexidade da entrada (resolução e número de imagens) se propaga para custos energéticos maiores, revelando que a contagem de tokens não é o único fator determinante; a arquitetura do codificador é crucial.
3. Perfil de Potência da GPU: Identificação de fases de potência intermediária ("mid-power phases") específicas da inferência multimodal que não ocorrem em modelos puramente textuais.
4. Otimização via DVFS (Escalonamento Dinâmico de Tensão e Frequência): Avaliação de que o ajuste de frequência da GPU por estágio (stage-wise DVFS) pode economizar energia significativamente com impacto moderado na latência.

4. Resultados Chave

• Custo Energético Adicional: A inferência multimodal impõe um overhead de energia de 17% a 94% em comparação com a base de texto-only para entradas equivalentes, dependendo da arquitetura.
  • Qwen2.5-VL teve o maior aumento (94%), devido a um codificador de visão computacionalmente intensivo.
  • LLaVA-OneVision teve o menor aumento relativo (17%), mas gerou o maior número de tokens (3.715), deslocando o gargalo para o estágio de prefill.
• Gargalos Variáveis:
  • Em modelos como Qwen2.5-VL, o gargalo de energia é o codificador de visão (consumindo 6x mais energia que outros codificadores).
  • Em modelos como LLaVA-OneVision, o gargalo é o estágio de prefill, onde a expansão de tokens visuais aumenta a energia em até 12x e a latência em 8,5x em comparação com bases equilibradas.
• Comportamento de Potência da GPU: A inferência multimodal exibe fases de potência intermediária (100W - 250W) durante a codificação de visão, antes que a GPU atinja a saturação total (400W) típica do prefill de texto. Políticas de frequência padrão ("race-to-idle") podem manter a GPU em clocks altos desnecessariamente durante essas fases de baixa utilização.
• Sensibilidade à Complexidade:
  • Modelos com codificadores de resolução fixa (LLaVA-1.5) mostram energia estável com o aumento da resolução.
  • Modelos com tiling dinâmico (InternVL3, LLaVA-OneVision, Qwen2.5-VL) mostram aumentos discretos ou explosivos na energia e latência conforme a resolução aumenta, devido ao crescimento do número de tokens visuais.
• Otimização DVFS:
  • Reduzir a frequência da GPU em estágios dominantes (como o codificador no InternVL3) pode reduzir o consumo de energia em 25% com apenas uma pequena perda de latência (12%).
  • Não existe uma frequência global ótima que minimize simultaneamente latência, throughput e energia; a configuração deve ser específica para o estágio e o objetivo de serviço (SLO).

5. Significado e Impacto

Este trabalho fornece insights práticos para o projeto de sistemas de serviço de MLLMs mais eficientes energeticamente:

• Fim das Políticas "One-Size-Fits-All": Demonstra que políticas de gerenciamento de energia genéricas são ineficientes para MLLMs devido às grandes variações arquiteturais.
• Otimização Específica por Estágio: Sugere que sistemas futuros devem implementar controle de frequência (DVFS) adaptativo por estágio (ex: reduzir frequência durante a codificação de visão se a latência permitir).
• Consciência da Entrada: Sistemas de serviço devem considerar a complexidade da entrada (resolução e número de imagens) para prever e gerenciar custos energéticos, especialmente em cenários de "cauda longa" com muitas imagens de alta resolução.
• Sustentabilidade: Oferece caminhos concretos para reduzir o custo operacional e a pegada de carbono de grandes implantações de IA multimodal em datacenters.

Em resumo, o artigo estabelece que a "inflação de modalidade" é um fator crítico de ineficiência energética e que a otimização deve ser feita com base na arquitetura específica do modelo e nas características da carga de trabalho, utilizando técnicas como DVFS em nível de estágio.