Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

---

1. O Problema

Os Modelos de Linguagem Multimodal Grandes (MLLMs) têm alcançado sucesso notável, mas enfrentam dois desafios críticos para sua aplicação em tarefas downstream:

• Custo Computacional e de Parâmetros Excessivo: O ajuste fino (fine-tuning) de MLLMs para tarefas específicas consome uma quantidade enorme de parâmetros e recursos computacionais.
• Ineficiência em Métodos Existentes:
  • Métodos de Transferência de Aprendizado Eficiente em Parâmetros (PETL), como Adapters e LoRA, reduzem o número de parâmetros atualizáveis, mas muitas vezes introduzem latência adicional durante a inferência devido a ramificações de rede adicionais.
  • Métodos recentes de Aprendizado de Transferência Eficiente em Parâmetros e Computação (PCETL), como o Dynamic Architecture Skipping (DAS), tentam pular camadas inteiras do Transformer. No entanto, essa abordagem é "granularidade grossa" (pula camadas inteiras) e ainda depende de adapters para as conexões de pulo, o que não resolve completamente o problema de latência.
  • Além disso, não há uma exploração profunda sobre quais componentes específicos (Atenção Multi-cabeça - MHA vs. Rede Feed-Forward - FFN) são redundantes. Pular FFNs frequentemente degrada o desempenho drasticamente, enquanto pular MHAs pode ser menos prejudicial.

2. Metodologia: EAS (Effective Attention Skipping)

Os autores propõem o EAS, um método que visa ajustar MLLMs removendo componentes redundantes (especificamente MHAs) e substituindo-os por um mecanismo eficiente que não adiciona latência.

A. Avaliação de Redundância Granular

Diferente de métodos que avaliam camadas inteiras, o EAS foca na redundância das Atensões Multi-cabeça (MHAs).

• Observação Chave: As MHAs consomem mais tempo de computação do que as FFNs (apesar de terem menos parâmetros) e são frequentemente redundantes para tarefas downstream específicas.
• Algoritmo de Seleção: Utiliza um algoritmo baseado em Bandit de k Braços (k-armed bandit) para avaliar automaticamente a redundância das MHAs. O sistema amostra sub-redes, treina e atualiza uma preferência de ação para cada módulo MHA. As MHAs com menor pontuação de importância (maior redundância) são selecionadas para serem puladas.

B. Propagation-of-Information Adapter (PIA)

Para evitar a latência causada por adapters tradicionais nas conexões de pulo, os autores propõem o PIA.

• Função: O PIA atua como um substituto leve para as MHAs puladas, permitindo a troca de informações globais.
• Arquitetura: Utiliza um design de "bottleneck" com projeções de baixa dimensão. Diferencia-se por incluir um mecanismo de troca de informações via pooling médio (média global dos tokens) combinado com projeções lineares e um roteador (router) que pondera os caminhos de saída.
• Reparametrização (Zero Latência): Esta é a inovação central. Após o treinamento, os parâmetros do PIA podem ser reparametrizados e fundidos diretamente nas camadas Feed-Forward (FFN) vizinhas.
  • O PIA é convertido em uma única camada linear e suas matrizes de peso são multiplicadas e somadas aos pesos existentes da FFN.
  • Resultado: Durante a inferência, o PIA desaparece estruturalmente, resultando em latência zero extra em comparação com o modelo original, mas com menos camadas de atenção ativas.

3. Principais Contribuições

1. Método EAS: Uma nova abordagem de ajuste eficiente que combina a remoção de componentes redundantes (MHAs) com um mecanismo de substituição que preserva a eficiência computacional.
2. PIA (Adapter de Propagação de Informação): Um módulo inovador que substitui as atenções puladas e pode ser totalmente reparametrizado nas FFNs, eliminando a sobrecarga de inferência típica de métodos baseados em adapters.
3. Validação Abrangente: Aplicação e teste em três modelos MLLMs diferentes (LLaVA, LaVIN e METER) em seis benchmarks de visão-linguagem (incluindo ScienceQA, Slake, AID, VQA2.0, NLVR2 e Flickr30K).

4. Resultados Experimentais

Os experimentos demonstram que o EAS supera os métodos existentes (PETL e PCETL) em eficiência e mantém ou melhora o desempenho.

• Aceleração de Inferência:
  • No modelo LaVIN, o EAS (pulando 12 camadas) acelerou a inferência em 2.18x sem degradação de desempenho (até mesmo uma leve melhoria de +0.6% em ScienceQA).
  • No modelo LLaVA, o EAS acelerou a inferência em 1.20x mantendo o desempenho.
  • Comparado ao método DAS (o estado da arte anterior em PCETL), o EAS foi consistentemente 44.4% a 51.6% mais rápido para o mesmo número de camadas puladas.
• Eficiência de Parâmetros:
  • O método atualiza apenas uma fração mínima dos parâmetros (ex: ~0.11% para LaVIN com 12 camadas puladas).
  • Redução significativa no custo de FLOPs (operações de ponto flutuante), com reduções de até 12-13% em alguns benchmarks.
• Desempenho:
  • Em benchmarks como ScienceQA, o EAS obteve 96.2% de precisão (no LLaVA), superando o fine-tuning completo em velocidade e mantendo a acurácia.
  • A análise qualitativa (Figura 5) mostrou que o EAS gera explicações mais detalhadas e logicamente corretas do que o fine-tuning completo em algumas tarefas visuais.
• Ablação:
  • Pular MHAs é muito mais eficaz do que pular FFNs (pular FFNs causa queda drástica de desempenho).
  • O design de troca de informações do PIA é crucial; sem ele, o desempenho cai significativamente.

5. Significado e Impacto

O trabalho "Not All Attention is Needed" oferece um avanço significativo na viabilidade prática de MLLMs:

• Desmistificação da Redundância: Demonstra empiricamente que nem todas as cabeças de atenção em MLLMs são necessárias para tarefas específicas, permitindo uma poda granular e inteligente.
• Solução para Latência: Resolve o dilema comum onde métodos eficientes em parâmetros (como adapters) ainda são lentos na inferência. A técnica de reparametrização do PIA permite que o modelo final seja tão rápido quanto o original (ou mais rápido), mas com menos computação ativa.
• Acessibilidade: Ao reduzir drasticamente o custo computacional e de memória, o EAS torna o ajuste fino de grandes modelos multimodais mais acessível para pesquisadores e empresas com recursos limitados, facilitando a adaptação de modelos gigantes para nichos específicos (como medicina ou sensoriamento remoto) sem a necessidade de supercomputadores.

Em resumo, o EAS estabelece um novo paradigma para o ajuste de MLLMs, equilibrando desempenho, eficiência de parâmetros e velocidade de inferência através da eliminação inteligente de redundâncias e fusão de módulos.