Resumen Técnico: Más allá de la acumulación de codificadores

Planteamiento del problema

A medida que los Modelos de Lenguaje-Visión de Gran Escala (LVLM) escalan para incorporar múltiples flujos visuales heterogéneos, comprender cómo interactúan los diversos codificadores bajo el entrenamiento conjunto es crítico para un diseño con fundamentos sólidos. Sin embargo, los LVLM actuales carecen de herramientas robustas para evaluar estas interacciones. Los métodos existentes, como el Enmascaramiento en Tiempo de Inferencia (IM) sobre puntos de control fijos, sufren dos limitaciones principales:

1. Desajuste entre Entrenamiento y Entrenamiento (Training-Training Mismatch): Evaluar los roles de los codificadores enmascarando ramas en el tiempo de inferencia se desvía del proceso de entrenamiento real, lo que conduce a conclusiones poco fiables sobre las contribuciones de los codificadores.
2. Enumeración Incompleta: Ningún método previo ha evaluado el conjunto completo de posibles subconjuntos de codificadores, lo que dificulta la identificación de configuraciones eficientes en parámetros antes del entrenamiento.

En consecuencia, los diseñadores luchan por determinar qué codificadores incluir, recurriendo a menudo a heurísticas que pueden no reflejar el verdadero paisaje de optimización del entrenamiento conjunto.

Metodología

Los autores proponen un protocolo de Eliminación en Tiempo de Entrenamiento (TR) para reexaminar los roles de los codificadores. Utilizando la arquitectura Eagle-X5 (decodificador Vicuna-7B con cinco codificadores de visión: ConvNeXt, EVA-02, CLIP, Pix2Struct y SAM) como banco de pruebas, el estudio:

• Reentrena los 31 subconjuntos no vacíos de los cinco codificadores desde cero bajo un flujo unificado.
• Evalúa estos 31 modelos en la suite de 16 benchmarks de Cambrian-1 (que cubre tareas de General, Conocimiento, OCR&Chart y Centradas en Visión).
• Contrasta estos resultados con los resultados de Enmascaramiento en Tiempo de Inferencia (IM) de un trabajo previo (Wang et al.) para resaltar las discrepancias entre los contrafácticos en tiempo de inferencia y las realidades en tiempo de entrenamiento.
• Descompone las contribuciones de los codificadores en dos ejes: Capacidad y Necesidad.
• Analiza el rango efectivo pre-proyector de cada codificador para comprender las señales a nivel de representación independientemente del recuento de parámetros.

Contribuciones Clave

1. Protocolo de Atribución: Eliminación en Tiempo de Entrenamiento (TR) vs. Enmascaramiento en Tiempo de Inferencia (IM)

El estudio establece que IM y TR producen clasificaciones sistemáticamente diferentes.

• Discrepancia de Clasificación: Bajo IM, EVA-02 ocupa el primer lugar; bajo TR (verdad fundamental), ConvNeXt ocupa el primer lugar.
• Estabilidad: TR exhibe una menor varianza de contexto cruzado que IM para la mayoría de los codificadores, lo que sugiere que el reentrenamiento de subconjuntos proporciona una medición más estable de las contribuciones individuales.
• Impacto en el Diseño: La elección del protocolo cambia las recomendaciones prácticas. Por ejemplo, la heurística basada en IM sugiere un par superior de ConvNeXt+EVA-02, mientras que el par óptimo basado en TR es CLIP+ConvNeXt.

2. Descomposición Capacidad–Necesidad

Los autores introducen un marco de dos ejes para desentrañar los roles de los codificadores:

• Capacidad: La puntuación que un codificador logra por sí solo (rendimiento de un elemento único o singleton) en relación con el grupo completo.
• Necesidad: La caída de rendimiento cuando un codificador es eliminado del grupo completo (caída de "dejar uno fuera").
• Hallazgos: Estos ejes no son intercambiables. Emparejar los dos codificadores de mayor Capacidad es subóptimo. En su lugar, la estrategia óptima es emparejar un Núcleo Universal (alta Capacidad, alta Necesidad) con un Complemento Adaptativo (Capacidad moderada, baja Necesidad, pero con expansión de rango bajo el entrenamiento conjunto).
• Taxonomía: Esta descomposición produce una taxonomía de cinco clases:
  • Núcleo Universal: ConvNeXt (fuerte en todas las familias).
  • Complemento Adaptativo: CLIP (su rango se expande bajo el entrenamiento conjunto).
  • Especialista Centrado en Visión: EVA-02.
  • Especialista de Nicho: Pix2Struct (OCR&Chart).
  • Reemplazable: SAM.

3. Mecanismo a Nivel de Representación: Rango Efectivo

A un recuento de parámetros fijo, la variación residual de la puntuación se explica por el rango efectivo pre-proyector.

• Tres Regímenes:
  1. Elemento Único (Singleton): La puntuación es predicha por el propio rango efectivo del codificador.
  2. Pares: La puntuación es predicha por el cambio en el rango del complemento bajo el entrenamiento conjunto ($\Delta$rango). El mejor par (CLIP+ConvNeXt) combina un ancla cuyo rango sobrevive intacto con un complemento cuyo rango se expande.
  3. Grupo Completo: La puntuación se satura cuando el rango medio por codificador deja de crecer, lo que indica una restricción compartida del presupuesto del proyector.
• Implicación: Los inputs del proyector con mayor rango y menos colapsados corresponden a un régimen de optimización más favorable en la interfaz codificador-proyector.

Resultados

• Rendimientos Decrecientes: Añadir codificadores genera rendimientos fuertemente decrecientes. Un modelo de dos codificadores bien elegido (CLIP+ConvNeXt) recupera el 97% de la puntuación del modelo completo de cinco codificadores. El tercer y cuarto codificador contribuyen con ganancias insignificantes, con solo el quinto recuperando un pequeño margen para tareas Centradas en Visión.
• Emparejamiento Óptimo: El mejor par es CLIP + ConvNeXt, no el par de los dos codificadores de mayor Capacidad (ConvNeXt + EVA-02). Este par cierra el 97% de la brecha entre un único codificador CLIP y el grupo completo.
• Saturación Específica de la Tarea:
  • OCR&Chart y General se saturan con dos codificadores.
  • Las tareas Centradas en Visión continen beneficios hasta el grupo completo de cinco codificadores.
  • Las tareas de Conocimiento están dominadas por el conocimiento previo (prior) del LLM, lo que hace que las contribuciones del codificador visual sean mínimas.
• Rango vs. Parámetros: El recuento de parámetros es un predictor tosco. Los codificadores con recuentos de parámetros similares (por ejemplo, CLIP, EVA-02, SAM) muestran variaciones amplias en su rango efectivo y puntuaciones de elemento único. El rango efectivo es un descriptor más preciso de la calidad de la representación.

Significancia y Reivindicaciones

El artículo afirma exponer una brecha metodológica en el diseño de LVLM con múltiples codificadores, específicamente la dependencia de aproximaciones de puntos de control fijos (IM) en lugar de contrafácticos en tiempo de entrenamiento.

• Guía Práctica: El estudio ofrece primitivas concretas para el diseño de pools compactos: seleccionar un ancla de alta Capacidad y un Complemento Adaptativo cuyo rango se expanda bajo el entrenamiento conjunto, en lugar de simplemente seleccionar los codificadores individuales más fuertes.
• Implicaciones de la Destilación: Los hallazgos sugieren que destilar un codificador "Reemplazable" es de bajo riesgo, pero destilar un "Complemento Adaptativo" es desafiante porque su contribución depende de interacciones dinámicas codificador-proyector (expansión de rango) que un estudiante congelado no puede reproducir.
• Relevancia Futura: A medida que los modelos fundacionales para el modelado del mundo y la IA física fusionen flujos heterogéneos, los autores argumentan que el reentrenamiento de enumeración completa será inviable. La descomposición Capacidad–Necesidad y el análisis de rango propuestos proporcionan un marco para estimar estas propiedades con un reentrenamiento mínimo, potencialmente mediante de forma ligera a través de la geometría pre-proyector.

Los autores mantienen la modestia, señalando que la heurística de "Ancla con Complemento de Expansión de Rango" es descriptiva para el pool de Eagle-X5 y requiere una validación adicional como regla genérica para pools no vistos.