Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

Título: Investigando Redundância em Modelos de Linguagem Multimodal Grandes (MLLMs) com Múltiplos Codificadores Visuais

1. O Problema

Recentemente, uma tendência arquitetônica em Modelos de Linguagem Multimodal Grandes (MLLMs) tem sido a integração de múltiplos codificadores visuais distintos (ex: CLIP, SigLIP, SAM, ConvNext, EVA-02). A premissa subjacente é que diferentes objetivos de pré-treinamento ou arquiteturas capturariam aspectos complementares da visão (desde semântica global até detalhes de pixels), resultando em representações mais ricas e melhor desempenho.

No entanto, os autores desafiam a heurística de que "mais codificadores são sempre melhores". Eles identificam um problema crítico e pouco explorado: a redundância de codificadores. Em muitos casos, os codificadores fornecem sinais visuais sobrepostos ou conflitantes, levando a:

• Dificuldades na fusão de características.
• Distração por sinais irrelevantes.
• Uso ineficiente de recursos computacionais (tempo de treinamento e latência de inferência) sem ganhos significativos de desempenho.

2. Metodologia

Para investigar e quantificar essa redundância, o artigo propõe uma abordagem sistemática baseada em ablação de codificadores e novas métricas quantitativas.

A. Arquitetura e Ablação

Os autores analisam MLLMs representativos de múltiplos codificadores (como Eagle e Cambrian-1). Eles realizam experimentos de mascaramento sistemático, onde substituem a saída de um ou mais codificadores por tensores zero (zero-masking) ou pela média de suas características, avaliando o impacto no desempenho em diversos benchmarks.

B. Novas Métricas Propostas

Para ir além da observação qualitativa, são introduzidas duas métricas principiais:

1. Taxa de Utilização Condicional (CUR - Conditional Utilization Rate):
   Mede a contribuição marginal de um codificador específico na presença dos outros.
   $$u(E_i) = \frac{\text{acc}(f_{E_n}) - \text{acc}(f_{E_n \setminus \{E_i\}})}{\text{acc}(f_{E_n})}$$

   • CUR Alto (>90%): O codificador é essencial e especializado.
   • CUR Próximo de 0: O codificador é redundante.
   • CUR Negativo: O codificador é prejudicial (introduz ruído ou sinais conflitantes).

2. Lacuna de Informação (IG - Information Gap):
   Mede a disparidade entre a contribuição máxima e mínima dos codificadores dentro de um modelo.
   $$\Delta_{gap} = \max(u(E_i)) - \min(u(E_j))$$

   • Um IG alto indica um desequilíbrio severo, onde alguns codificadores dominam enquanto outros são subutilizados ou inúteis.

3. Principais Contribuições

1. Estudo Sistemático Quantitativo: Primeira investigação formal que confirma a existência de redundância prática e ineficiência em MLLMs de múltiplos codificadores.
2. Métricas Diagnósticas (CUR e IG): Introdução de métricas agnósticas ao modelo para quantificar a utilidade e o desequilíbrio dos codificadores.
3. Framework para Eficiência: Demonstração de que variantes com menos codificadores podem recuperar a maior parte do desempenho com custos computacionais drasticamente reduzidos.

4. Resultados Chave

A. Redundância Pervasiva e Especialização

• Degradação Graceful: Remover codificadores específicos frequentemente resulta em uma degradação suave ou até em melhoria de desempenho. Em alguns casos, mascarar 3 codificadores de um modelo de 5 reduziu o desempenho em menos de 4%.
• Especialização Extrema: Em tarefas como OCR e Gráficos (Chart), um único codificador (ex: EVA-02 ou ConvNext) domina com uma CUR > 90%. Outros codificadores contribuem minimamente.
• Interchangeabilidade: Em tarefas gerais de VQA e baseadas em conhecimento, os codificadores são altamente intercambiáveis (baixa CUR), indicando que a informação visual é redundante.
• Codificadores Prejudiciais: Alguns codificadores apresentam CUR negativa (ex: SigLIP em certas tarefas do Cambrian-1), piorando o desempenho quando incluídos.

B. Desempenho vs. Eficiência

• Recuperação de Desempenho: Variantes com 1 ou 2 codificadores recuperam mais de 90% do desempenho do modelo completo na maioria das tarefas (exceto OCR, onde um segundo codificador especializado é necessário).
• Ganhos de Eficiência:
  • Treinar uma variante de dois codificadores é 1,53x mais rápido do que a variante de cinco codificadores.
  • Redução de 34,6% no tempo de treinamento e 19,5% na latência de inferência ao remover codificadores redundantes, mantendo >96% do desempenho original.
  • Redução de ~12% nos FLOPs totais (computação) ao manter apenas os dois codificadores mais úteis.

C. Análise de Fatores

• Tamanho do LLM: Modelos maiores (ex: 13B) exibem maior redundância (maior IG) do que modelos menores, sugerindo que a escala do LLM não resolve a sobreposição de informações visuais.
• Pré-treinamento: O objetivo de pré-treinamento e a arquitetura do codificador influenciam mais a contribuição do que o tamanho do parâmetro. Codificadores com objetivos similares tendem a convergir para representações redundantes (Hipótese da Representação Platônica).

5. Significado e Conclusão

Este trabalho desafia fundamentalmente a crença comum de que adicionar mais codificadores visuais a MLLMs é uma estratégia de otimização direta. Os resultados mostram que:

1. Lei dos Rendimentos Decrescentes: Adicionar mais codificadores gera ganhos de desempenho negligenciáveis em comparação ao aumento massivo de recursos necessários.
2. Diagnóstico Ações: As métricas CUR e IG fornecem ferramentas práticas para engenheiros de IA diagnosticarem ineficiências em arquiteturas existentes.
3. Direção Futura: O design de MLLs deve focar na seleção inteligente e especializada de codificadores (ex: um para semântica geral, outro para OCR) em vez de empilhamento cego, permitindo modelos mais rápidos, baratos e eficientes sem sacrificar a capacidade.

O projeto e o código estão disponíveis publicamente, promovendo a reprodutibilidade e a adoção dessas práticas de otimização na comunidade de visão computacional e processamento de linguagem natural.