Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

Aquí presento un resumen técnico detallado del artículo "Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders", publicado en ICLR 2026.

1. El Problema: La Hipótesis de "Más es Mejor"

Los Modelos de Lenguaje Multimodal (MLLM) recientes han adoptado una tendencia arquitectónica de integrar múltiples codificadores de visión (vision encoders) distintos, asumiendo que objetivos de pre-entrenamiento diversos generarán señales visuales complementarias que mejoran el rendimiento.

Sin embargo, los autores desafían esta hipótesis, argumentando que:

• Existe una redundancia generalizada entre los codificadores.
• A menudo, los codificadores proporcionan información superpuesta o incluso señales conflictivas.
• La adición de más codificadores genera rendimientos decrecientes severos, aumentando drásticamente los costos computacionales (entrenamiento e inferencia) sin mejoras proporcionales en la precisión.
• En algunos casos, la presencia de codificadores redundantes o perjudiciales puede degradar el rendimiento en lugar de mejorarlo.

2. Metodología

Para cuantificar y diagnosticar esta redundancia, los autores proponen un marco sistemático basado en el enmascaramiento de codificadores y nuevas métricas:

A. Enmascaramiento Sistemático (Encoder Masking)

Se realiza un análisis de ablación exhaustivo en MLLMs representativos de múltiples codificadores (como Eagle y Cambrian-1). Se prueban todas las combinaciones posibles de codificadores, reemplazando la salida de los codificadores enmascarados con tensores cero (zero-masking) para observar el impacto en el rendimiento.

B. Métricas Propuestas

Para ir más allá de la observación cualitativa, se introducen dos métricas principistas:

1. Tasa de Utilización Condicional (CUR - Conditional Utilization Rate):
   Mide la contribución marginal de un codificador específico $E_i$ dado el conjunto completo de codificadores $E_n$.
   $$u(E_i) = \frac{acc(f_{E_n}) - acc(f_{E_n \setminus \{E_i\}})}{acc(f_{E_n})}$$

   • Un valor positivo alto indica una contribución única esencial.
   • Un valor cercano a cero indica redundancia.
   • Un valor negativo indica que el codificador es perjudicial (introduce ruido o conflicto).

2. Brecha de Información (IG - Information Gap):
   Define la disparidad en la utilidad entre los codificadores dentro de un modelo.
   $$\Delta_{gap}(E_n) = \max_{i} u(E_i) - \min_{j} u(E_j)$$

   • Una IG alta sugiere un desequilibrio severo: un codificador domina mientras otros son redundantes o dañinos.
   • Una IG baja sugiere un uso equilibrado (o redundancia generalizada).

3. Contribuciones Clave

1. Estudio Cuantitativo Sistemático: Es el primer trabajo que demuestra empíricamente y cuantifica la redundancia y la ineficiencia práctica en MLLMs de múltiples codificadores.
2. Nuevas Métricas (CUR e IG): Proporcionan herramientas agnósticas al modelo para diagnosticar la utilidad y el desequilibrio de los codificadores.
3. Marco de Diseño Eficiente: Demuestran que variantes con uno o dos codificadores pueden recuperar más del 90% del rendimiento del modelo completo con una fracción del costo computacional.

4. Resultados Principales

A. Redundancia Pervasiva y Rendimiento Resiliente

• Degradación Graceful: Al enmascarar codificadores, el rendimiento no colapsa; a menudo se mantiene o incluso mejora.
  • Ejemplo: En Eagle-X5 7B, enmascarar 3 codificadores específicos reduce el rendimiento en menos del 4%.
  • Ejemplo: En Cambrian-1 8B, un subconjunto de 3 codificadores supera al modelo completo en un 3.6%.
• Codificadores Perjudiciales: Se identificaron casos con CUR negativa (ej. SigLIP en tareas centradas en visión en Cambrian-1 8B), lo que indica que su inclusión perjudica el modelo.

B. Especialización vs. Intercambiabilidad

• Tareas Especializadas (OCR y Gráficos): Existe una alta especialización. Un solo codificador (ej. EVA-02 o ConvNext) domina con una CUR > 90%. La IG es alta en estas categorías.
• Tareas Generales y de Conocimiento: Los codificadores son altamente intercambiables (CUR baja, IG baja), lo que sugiere que la información visual es redundante para estas tareas.

C. Eficiencia Computacional

• Entrenamiento: Entrenar una variante de doble codificador es 1.53 veces más rápido que su contraparte de cinco codificadores, manteniendo el 94% del rendimiento.
  • En Eagle-X5 7B, reducir de 5 a 2 codificadores ahorra un 34.6% de tiempo de entrenamiento.
• Inferencia: Enmascarar codificadores redundantes reduce la latencia de extremo a extremo en un 19.5% con una degradación de rendimiento menor al 4%.
• FLOPs: La eliminación de codificadores reduce los FLOPs de visión en un 61.4% y los FLOPs totales en un ~12.1%.

D. Análisis de Factores

• Tamaño del LLM: A medida que aumenta el tamaño del modelo (de 3B a 13B), la redundancia se vuelve más pronunciada (la IG aumenta), lo que indica que los modelos más grandes son más robustos a la pérdida de codificadores individuales pero menos eficientes en su diseño.
• Pre-entrenamiento: El tamaño del parámetro del codificador no garantiza una mayor contribución (ej. EVA-02 de 304M parámetros domina sobre Pix2Struct de 1.2B). La alineación de objetivos de pre-entrenamiento es más crítica.

5. Significado e Impacto

Este trabajo desafía fundamentalmente el heurístico de "más codificadores es mejor" en la arquitectura de MLLMs. Sus implicaciones son:

1. Optimización de Recursos: Permite diseñar modelos más eficientes seleccionando cuidadosamente un subconjunto de codificadores (generalmente 1 o 2) en lugar de apilarlos indiscriminadamente.
2. Diagnóstico de Modelos: Las métricas CUR e IG ofrecen una herramienta práctica para evaluar la necesidad real de cada componente en un sistema multimodal existente.
3. Sostenibilidad: Al reducir la necesidad de múltiples codificadores, se disminuye significativamente la huella de carbono y los costos de infraestructura de entrenamiento e inferencia.
4. Dirección Futura: Sugiere que la investigación futura debe centrarse en la selección dinámica de expertos o en la fusión de codificadores altamente complementarios, en lugar de simplemente aumentar la cantidad de codificadores estáticos.

En conclusión, el artículo demuestra que la mayoría de los MLLMs modernos de múltiples codificadores sufren de una ineficiencia estructural donde la adición de componentes extra ofrece ganancias marginales o nulas, y que una arquitectura simplificada y bien seleccionada puede lograr un rendimiento superior o equivalente con una fracción del costo.