Resumen Técnico: Repensar la Selección de Modelos en VLM a través de la Distancia de Gromov-Wasserstein

1. Planteamiento del Problema

Los Modelos Visión-Lenguaje (VLM) suelen seguir un paradigma de "pre-entrenamiento seguido de ajuste fino", donde un proyector alinea los espacios de representación de un codificador visual y un Modelo de Lenguaje Grande (LLM). A pesar de la adopción generalizada de este paradigma, existe una falta de comprensión fundamentada sobre qué codificadores visuales pre-entrenados son más adecuados para un LLM específico.

Las prácticas actuales suelen depender de heurísticas como seleccionar el modelo más grande o el que tiene la mayor precisión en cero disparos (zero-shot). Sin embargo, los autores demuestran mediante experimentos exhaustivos que estas métricas:

1. Fallan consistentemente en identificar el codificador visual óptimo para la alineación de VLM.
2. Muestran solo una correlación débil a moderada con el rendimiento final del VLM después del ajuste fino completo.
3. No tienen en cuenta la "compatibilidad" o la similitud estructural entre los espacios de representación visual y textual, lo cual se hipotetiza como el factor crítico en la dificultad de alineación.

2. Metodología

El artículo propone utilizar la distancia de Gromov-Wasserstein (GW) como una métrica sin entrenamiento, basada únicamente en inferencia, para medir la similitud estructural entre la distribución de representaciones visuales y las representaciones textuales.

Concepto Central: Distancia de Gromov-Wasserstein

A diferencia de las métricas de distancia estándar que requieren un espacio ambiente común, la distancia GW está diseñada para comparar dos espacios de medida-métrica (mm-espacios) que pueden residir en dominios diferentes con distintas dimensiones y medidas.

• Intuición: En lugar de comparar las posiciones absolutas de los puntos (lo cual está mal planteado a través de modalidades), la distancia GW compara las relaciones internas (distancias pairwise) dentro de cada espacio. Busca un plan de transporte óptimo (acoplamiento) $\pi$ que minimice la distorsión entre las distancias pairwise del espacio visual ($d_X$) y el espacio textual ($d_Y$).
• Formulación: La distancia GW se define como el ínfimo de la pérdida esperada sobre todos los acoplamientos posibles $\pi$:
  $$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$$
  donde $L$ es una función de penalización (utilizando la distancia $\ell_1$ en este trabajo).

Detalles de Implementación

1. Ajuste de Escala: Para manejar las diferencias inherentes de escala entre modalidades, los autores aplican un ajuste de mediana-ratio. Normalizan las matrices de distancia pairwise de la modalidad visual para que sus valores medianos fuera de la diagonal coincidan con los de la modalidad de texto.
2. Optimización: El plan de transporte óptimo $\pi^*$ se resuelve utilizando un esquema de gradiente condicional (siguiendo [40]), tratando el objetivo GW como un funcional cuadrático sobre el polítopo de transporte.
3. Algoritmo de Selección de Modelos:
   • Extraer características visuales (tokens CLS) y características textuales (estados ocultos) para una muestra de pares imagen-texto.
   • Calcular matrices de distancia pairwise para ambas modalidades.
   • Normalizar distancias y calcular la distancia GW.
   • Seleccionar el codificador visual con la distancia GW mínima hacia el LLM objetivo, prediciendo que rendirá el mejor desempeño en VLM.

3. Análisis Teórico

El artículo proporciona una justificación teórica que vincula la distancia GW con la aprendibilidad de los mapeos cruzados de modalidades.

• Límite de Lipschitz: Los autores demuestran que la constante de Lipschitz ($L_{g^*}$) del proyector Bayes-óptimo de modalidad cruzada $g^*$ está acotada por la distancia GW de norma $\infty$ ($GW_\infty$) entre las modalidades.
• Implicación: Una distancia GW más pequeña implica un límite superior menor para la constante de Lipschitz. Dado que los límites de generalización para redes neuronales a menudo dependen de la constante de Lipschitz (o la norma espectral), una distancia GW más pequeña sugiere que el mapeo óptimo es inherentemente más fácil de aprender con una hipótesis de menor complejidad funcional.

4. Resultados Experimentales

Los autores realizaron experimentos extensos que involucraron más de 60 ejecuciones completas de entrenamiento de VLM utilizando 18 codificadores visuales pre-entrenados diversos y dos LLM base (Qwen-2.5-7B-Instruct y LLaMa-3.1-8B-Instruct).

Hallazgos Clave

• Precisión Superior de Selección: La estrategia de selección basada en GW identificó consistentemente el codificador visual óptimo (aquel que obtuvo la puntuación promedio más alta en 9 benchmarks) tanto en los grupos "Pequeño" (<500M parámetros) como "Grande".
• Correlación con el Rendimiento:
  • La distancia GW logró una correlación de Pearson de 0.6568 y una correlación de Spearman de 0.5341 con el rendimiento final del VLM.
  • El ajuste lineal entre la distancia GW y el rendimiento explicó el 43% de la varianza ($R^2 = 0.4314$).
  • En contraste, los baselines tradicionales como la Precisión en Cero Disparos ($R^2 \approx 0.21$), el Análisis de Similitud Representacional (RSA) y el Análisis de Correlación Canónica (CCA) mostraron correlaciones débiles a moderadas. Cabe destacar que MutualNN mostró una alta correlación de Pearson pero una correlación de Spearman negativa, indicando una relación espuria.
• Robustez: La efectividad de la distancia GW se verificó a través de diferentes LLM base y diferentes conjuntos de datos de pre-entrenamiento (LAION/Capítulos Conceptuales vs. CC3M), sugiriendo que la métrica captura un patrón generalizable de compatibilidad de modalidades.
• Eficiencia: La estimación GW es una tarea puramente de inferencia. Calcular la métrica para 1,000 pares imagen-texto toma aproximadamente 1 minuto en una sola GPU, en comparación con las ~8.5 horas (68 horas de GPU) requeridas para una ejecución completa de entrenamiento de VLM.

5. Significado y Afirmaciones

El artículo afirma proporcionar la primera investigación sistemática sobre los factores que gobiernan la selección de codificadores visuales para VLMs, superando las heurísticas ingenuas.

• Novedad: Introduce el concepto de compatibilidad distribucional entre modalidades como el determinante clave del éxito de VLM, formalizado mediante la distancia GW.
• Impacto Práctico: Ofrece un método computacionalmente eficiente, sin entrenamiento, para predecir el rendimiento de VLM antes de comprometerse con un ajuste fino completo de parámetros costoso.
• Contribución Teórica: Establece un vínculo formal entre la estructura geométrica de los espacios de representación (medida por la distancia GW) y la aprendibilidad del proyector de alineación.

Los autores concluyen que, aunque las heurísticas actuales (tamaño, precisión en cero disparos) son insuficientes, medir la similitud estructural de los espacios de representación mediante la distancia GW proporciona un proxy robusto, fundamentado teóricamente y validado empíricamente para la selección de modelos en Modelos Visión-Lenguaje.