Resumo Técnico: Repensando a Seleção de Modelos em VLM através da Lente da Distância de Gromov-Wasserstein

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) tipicamente seguem um paradigma de "pré-treinamento seguido de ajuste fino", onde um projetor alinha os espaços de representação de um codificador de visão e um Modelo de Linguagem de Grande Escala (LLM). Apesar da adoção generalizada deste paradigma, há uma falta de compreensão principista sobre quais codificadores de visão pré-treinados são mais adequados para um LLM específico.

As práticas atuais frequentemente dependem de heurísticas, como selecionar o maior modelo ou aquele com a maior precisão zero-shot. No entanto, os autores demonstram, por meio de experimentos abrangentes, que essas métricas:

1. Consistentemente falham em identificar o codificador de visão ótimo para o alinhamento de VLMs.
2. Mostram apenas correlação fraca a moderada com o desempenho final do VLM após o ajuste fino completo.
3. Não levam em conta a "compatibilidade" ou similaridade estrutural entre os espaços de representação visual e textual, que é hipotetizada como o fator crítico na dificuldade de alinhamento.

2. Metodologia

O artigo propõe o uso da distância de Gromov-Wasserstein (GW) como uma métrica sem treinamento e apenas de inferência para medir a similaridade estrutural entre a distribuição de representações visuais e representações textuais.

Conceito Central: Distância de Gromov-Wasserstein

Diferentemente de métricas de distância padrão que exigem um espaço ambiente comum, a distância GW é projetada para comparar dois espaços de medida-métrica (mm-espaços) que podem residir em domínios diferentes com dimensões e medidas distintas.

• Intuição: Em vez de comparar posições absolutas de pontos (o que é mal posto entre modalidades), a distância GW compara as relações internas (distâncias pareadas) dentro de cada espaço. Ela busca um plano de transporte ótimo (acoplamento) $\pi$ que minimize a distorção entre as distâncias pareadas do espaço visual ($d_X$) e do espaço textual ($d_Y$).
• Formulação: A distância GW é definida como o ínfimo da perda esperada sobre todos os acoplamentos possíveis $\pi$:
  $$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$$
  onde $L$ é uma função de penalidade (utilizando a distância $\ell_1$ neste trabalho).

Detalhes de Implementação

1. Correspondência de Escala: Para lidar com diferenças de escala inerentes entre modalidades, os autores aplicam correspondência de razão mediana. Eles normalizam as matrizes de distância pareada da modalidade visual de modo que seus valores medianos fora da diagonal correspondam aos da modalidade textual.
2. Otimização: O plano de transporte ótimo $\pi^*$ é resolvido usando um esquema de gradiente condicional (seguindo [40]), tratando o objetivo GW como um funcional quadrático sobre o poliedro de transporte.
3. Algoritmo de Seleção de Modelos:
   • Extrair características visuais (tokens CLS) e características textuais (estados ocultos) para uma amostra de pares imagem-texto.
   • Calcular matrizes de distância pareada para ambas as modalidades.
   • Normalizar distâncias e calcular a distância GW.
   • Selecionar o codificador de visão com a distância GW mínima em relação ao LLM alvo, prevendo que ele produzirá o melhor desempenho de VLM.

3. Análise Teórica

O artigo fornece uma justificação teórica ligando a distância GW à aprendibilidade de mapeamentos entre modalidades.

• Limite de Lipschitz: Os autores provam que a constante de Lipschitz ($L_{g^*}$) do projetor Bayes-ótimo entre modalidades $g^*$ é limitada pela distância GW na norma $\infty$ ($GW_\infty$) entre as modalidades.
• Implicação: Uma distância GW menor implica um limite superior menor para a constante de Lipschitz. Como os limites de generalização para redes neurais frequentemente dependem da constante de Lipschitz (ou norma espectral), uma distância GW menor sugere que o mapeamento ótimo é inerentemente mais fácil de aprender com uma hipótese de menor complexidade funcional.

4. Resultados Experimentais

Os autores conduziram experimentos extensivos envolvendo mais de 60 execuções completas de treinamento de VLM usando 18 codificadores de visão pré-treinados diversos e dois LLMs base (Qwen-2.5-7B-Instruct e LLaMa-3.1-8B-Instruct).

Principais Descobertas

• Precisão Superior de Seleção: A estratégia de seleção baseada em GW identificou consistentemente o codificador de visão ótimo (aquele que produziu a maior pontuação média em 9 benchmarks) tanto nos grupos "Pequeno" (<500M parâmetros) quanto "Grande".
• Correlação com Desempenho:
  • A distância GW alcançou uma correlação de Pearson de 0,6568 e uma correlação de Spearman de 0,5341 com o desempenho final do VLM.
  • O ajuste linear entre a distância GW e o desempenho explicou 43% da variância ($R^2 = 0,4314$).
  • Em contraste, baselines tradicionais como Precisão Zero-Shot ($R^2 \approx 0,21$), Análise de Similaridade Representacional (RSA) e Análise de Correlação Canônica (CCA) mostraram correlações fracas a moderadas. Notavelmente, MutualNN mostrou uma alta correlação de Pearson, mas uma correlação de Spearman negativa, indicando uma relação espúria.
• Robustez: A eficácia da distância GW foi verificada através de diferentes LLMs base e diferentes conjuntos de dados de pré-treinamento (LAION/Captiones Conceituais vs. CC3M), sugerindo que a métrica captura um padrão generalizável de compatibilidade entre modalidades.
• Eficiência: A estimativa GW é uma tarefa puramente de inferência. O cálculo da métrica para 1.000 pares imagem-texto leva aproximadamente 1 minuto em uma única GPU, comparado a ~8,5 horas (68 horas de GPU) necessárias para uma execução completa de treinamento de VLM.

5. Significado e Afirmações

O artigo afirma fornecer a primeira investigação sistemática sobre os fatores que governam a seleção de codificadores de visão para VLMs, indo além de heurísticas ingênuas.

• Novidade: Introduz o conceito de compatibilidade distribucional entre modalidades como o determinante chave do sucesso do VLM, formalizado via distância GW.
• Impacto Prático: Oferece um método computacionalmente eficiente e sem treinamento para prever o desempenho do VLM antes de comprometer-se com o ajuste fino completo de parâmetros, que é caro.
• Contribuição Teórica: Estabelece um link formal entre a estrutura geométrica dos espaços de representação (medida pela distância GW) e a aprendibilidade do projetor de alinhamento.

Os autores concluem que, embora as heurísticas atuais (tamanho, precisão zero-shot) sejam insuficientes, medir a similaridade estrutural dos espaços de representação via distância GW fornece um proxy robusto, fundamentado teoricamente e validado empiricamente para a seleção de modelos em Modelos Visão-Linguagem.