Resumo Técnico: GeoFlowVLM

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) de codificador duplo padrão, como CLIP e SigLIP, mapeiam imagens e texto para pontos determinísticos em uma hipersfera unitária compartilhada via normalização $\ell_2$. Embora eficazes para recuperação e transferência zero-shot, essa representação determinística falha em quantificar a incerteza de previsão. Especificamente, ela não expõe nem a incerteza aleatória (ambiguidade cruzada intrínseca onde uma entrada mapeia para muitas saídas válidas) nem a incerteza epistêmica (falta de suporte para consultas que caem fora da distribuição de treinamento).

Métodos existentes de quantificação de incerteza (UQ) post-hoc sofrem de duas limitações primárias:

1. Agnosticismo Geométrico: Muitos métodos operam no espaço euclidiano ambiente, ignorando a restrição de normalização $\ell_2$ que define o espaço de incorporação do VLM.
2. Modelagem Incompleta de Incerteza: A maioria dos métodos captura apenas um tipo de incerteza (aleatória ou epistêmica) ou falha em respeitar a geometria hipersférica para ambas as modalidades simultaneamente. Por exemplo, o ProbVLM captura ambos, mas usa uma abordagem heurística que perde a estrutura hipersférica e mede a incerteza do adaptador em vez da densidade da base.

O desafio central é quantificar ambos os tipos de incerteza a partir de incorporações de VLM congeladas sem retreinar os codificadores subjacentes, respeitando estritamente a geometria da hipersfera produto ($S^{d-1} \times S^{d-1}$).

Metodologia: GeoFlowVLM

Os autores propõem o GeoFlowVLM, um adaptador probabilístico post-hoc que aprende a distribuição conjunta de incorporações emparelhadas normalizadas por $\ell_2$ na hipersfera produto.

Arquitetura Central e Treinamento

• Correspondência de Fluxo Riemanniano: O modelo utiliza correspondência de fluxo Riemanniano para aprender uma densidade conjunta $p_\phi(e_I, e_T)$ na variedade $M = S^{d-1} \times S^{d-1}$. Ele regressa para um alvo tangente-geodésico de forma fechada, evitando aproximações custosas de núcleo de calor.
• Campo de Velocidade Único Mascarado: Uma escolha de design chave é o uso de uma única rede neural com uma máscara binária estruturada em blocos $m \in \{0, 1\}^{2d}$. Este único campo de velocidade $v_\phi(z_t, m)$ lida com três modos distintos através de máscaras diferentes:
  1. Fluxo Conjunto ($m_{joint}$): Gera tanto incorporações de imagem quanto de texto.
  2. Fluxo Condicional ($m_{I \to T}$): Gera texto dada uma imagem fixa.
  3. Fluxo Condicional ($m_{T \to I}$): Gera imagem dado um texto fixo.
• Objetivo de Treinamento: O modelo é treinado usando um objetivo de correspondência de fluxo condicional mascarado (CFM). A máscara restringe a supervisão às dimensões geradas, mantendo as dimensões condicionadas fixas em seus valores observados ($t=0$). O treinamento emprega transporte ótimo entrópico para emparelhar amostras de origem e destino, endireitando trajetórias na variedade.
• Consistência: O Teorema 1 prova que, no limite populacional, esta rede única mascarada recupera campos de velocidade de fluxo condicional Riemanniano válidos para ambas as direções cruzadas de modalidade e a distribuição conjunta, sem exigir perdas de consistência auxiliares.

Leituras de Incerteza

A partir do modelo conjunto treinado único, duas métricas de incerteza são derivadas:

1. Incerteza Aleatória (Entropia de Recuperação):

   • Derivada da posterior condicional $p_\phi(e_T | e_I)$ (ou vice-versa).
   • Amostras são extraídas do fluxo condicional e agregadas sobre uma galeria de recuperação para formar uma distribuição posterior discreta $\pi$.
   • A entropia de Shannon $H(\pi)$ quantifica a ambiguidade de recuperação.
   • Justificativa Teórica: Usando a desigualdade de Fano, a entropia fornece um limite inferior rigoroso para o risco Bayesiano MAP, certificando que alta entropia corresponde a alta dificuldade de recuperação.

2. Incerteza Epistêmica (Tipicidade Marginal):

   • Derivada via uma decomposição exata da regra da cadeia da Negativa Log-Verossimilhança (NLL) conjunta:
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Tipicidade Epistêmica}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Correspondência Cruzada de Modalidade}}$$
   • Os autores argumentam que o termo de Informação Mútua Ponto a Ponto (PMI) é estruturalmente discriminativo (medindo compatibilidade) e não epistêmico.
   • A Pontuação Epistêmica é definida como a soma das tipicidades marginais: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • Essas marginais são computadas a partir do modelo conjunto usando a identidade de Bayes e integração de tempo reverso da ODE do fluxo, não exigindo parâmetros adicionais.

Contribuições Chave

1. Adaptador GeoFlowVLM: Um adaptador probabilístico post-hoc treinado via correspondência de fluxo Riemanniano na hipersfera produto usando um único campo de velocidade mascarado. Ele produz densidades conjuntas, marginais e condicionais sem retreinamento do codificador. Um estudo de ablação confirma que respeitar a geometria hipersférica é estruturalmente necessário para incerteza calibrada.
2. Entropia Condicional de Recuperação: Um novo estimador aleatório que quantifica ambiguidade cruzada de modalidade. Rastreia a dificuldade de recuperação com calibração monotônica quase ideal através de benchmarks e fornece um limite inferior teórico-decisório para o risco Bayesiano.
3. Decomposição da Regra da Cadeia: Uma derivação teórica mostrando que a NLL conjunta se decompõe em tipicidade marginal (o sinal epistêmico correto) e PMI cruzado de modalidade (um sinal discriminativo). Isso explica o sucesso empírico de métodos de densidade por modalidade como o REPVLM e os enquadra como uma extensão coerente do modelo conjunto.

Resultados Experimentais

O método foi avaliado em um backbone OpenCLIP ViT-H/14 congelado, treinado em Conceptual Captions (CC-1M) e testado zero-shot em sete benchmarks.

• Incerteza Aleatória (Recuperação):

  • Avaliado em MS-COCO, Flickr30k e CUB-200 (ambos Imagem-para-Texto e Texto-para-Imagem).
  • O GeoFlowVLM alcançou calibração monotônica quase perfeita ($\rho \approx -1.0$ de Spearman) entre entropia prevista e Recall@1, superando significativamente as linhas de base (ProbVLM, AsymVLM, GroVE).
  • O ProbVLM mostrou correlação positiva (incerteza aumentando em consultas corretas), e outras linhas de base mostraram tendências instáveis ou não monotônicas.

• Incerteza Epistêmica (Classificação Zero-Shot):

  • Avaliado em ImageNet-1K, Food-101, CIFAR-100 e ObjectNet.
  • A soma da tipicidade marginal ($u_{ep}$) produziu acurácia seletiva consistentemente crescente à medida que a cobertura diminuía (rejeitando amostras de alta incerteza).
  • Análise de componentes confirmou que o PMI é uma pontuação epistêmica independente pobre (frequentemente rejeitando previsões corretas), enquanto a tipicidade marginal fornece o sinal confiável.
  • O GeoFlowVLM igualou ou superou o REPVLM, com uma vantagem notável no ObjectNet (mudança de ponto de vista), atribuída à capacidade do modelo conjunto de capturar estrutura cruzada de modalidade que fluxos independentes por modalidade perdem.

• Ablações:

  • Geometria: Uma linha de base euclidiana (arquitetura idêntica, mas operando em $\mathbb{R}^d \times \mathbb{R}^d$) falhou catastróficamente em ambas as métricas aleatória e epistêmica, confirmando a necessidade da geometria Riemanniana.
  • Eficiência: Estimativas confiáveis foram alcançadas com tão poucos quanto 10 passos de integração ODE e uma única sonda Hutchinson para estimativa de divergência.
  • Backbone: Os resultados transferiram-se para o backbone SigLIP, embora métodos baseados em densidade mostrassem desempenho degradado no ImageNet-1K devido às incorporações mais isotrópicas do SigLIP.

Significado e Alegações

O artigo alega que o GeoFlowVLM aborda uma lacuna crítica na UQ post-hoc para VLMs congelados, fornecendo um modelo único e consciente da geometria que expõe tanto incerteza aleatória quanto epistêmica.

• Insight Teórico: O trabalho fornece uma explicação principial de por que a tipicidade marginal é o sinal epistêmico correto neste cenário e por que o PMI cruzado de modalidade não deve ser usado como pontuação de incerteza. Demonstra que a modelagem conjunta na hipersfera produto é estritamente mais rica do que a modelagem por modalidade.
• Utilidade Prática: O método oferece um estimador calibrado e simétrico em direção para dificuldade de recuperação e uma pontuação robusta baseada em densidade para detecção de fora de distribuição em classificação zero-shot, tudo sem modificar o backbone VLM pré-treinado.
• Limitações: Os autores notam que o teorema de consistência é um resultado de limite populacional; limites de amostra finita permanecem abertos. As pontuações epistêmicas são baseadas em densidade (tipicidade) e não Bayesianas (variância posterior de parâmetro). Além disso, o método requer treinamento único em dados de grande escala e múltiplas resoluções de ODE por consulta, distinguindo-o de abordagens livres de treinamento.

Os autores concluem que a modelagem de incorporação conjunta é uma estratégia geral para raciocínio probabilístico mais rico sobre representações de visão-linguagem, particularmente para aplicações críticas de segurança como recuperação médica e sistemas autônomos.