Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

Resumo Técnico: REPVLM – Quantificação de Incerteza Epistêmica para VLMs Pré-treinados via Correspondência de Fluxo Riemanniano

1. Declaração do Problema

Modelos Visão-Linguagem (VLMs) pré-treinados, como CLIP, BLIP e SigLIP, alcançaram sucesso notável na aprendizagem de representações multimodais por meio de pré-treinamento contrastivo em larga escala. No entanto, esses modelos são inerentemente determinísticos, mapeando entradas para pontos únicos e fixos em um espaço de incorporação de alta dimensão. Essa arquitetura carece de um mecanismo intrínseco para quantificar a incerteza epistêmica (a ignorância do modelo ou a falta de conhecimento em relação às suas próprias representações).

Embora existam frameworks existentes de quantificação de incerteza (UQ) para VLMs, eles abordam predominantemente a incerteza aleatória (ambiguidade dos dados) ao aprender incorporações probabilísticas. Métodos projetados para incerteza epistêmica, como ensembles profundos ou Dropout de Monte Carlo, são frequentemente computacionalmente proibitivos para modelos pré-treinados em larga escala ou produzem estimativas subótimas e dependentes do lote. Há uma necessidade crítica de uma métrica escalável e intrínseca que quantifique diretamente a confiança do modelo em suas representações sem exigir retreinamento caro ou amostragem no espaço de parâmetros.

2. Metodologia: REPVLM

Os autores propõem o REPVLM, um framework que quantifica a incerteza epistêmica estimando a densidade de probabilidade das incorporações de VLM diretamente em sua variedade nativa.

Motivação Teórica
O artigo estabelece uma ligação teórica entre densidade de incorporação e incerteza epistêmica por meio de uma cadeia de três etapas:

1. Covariância para Norma do Jacobiano: Sob suposições bayesianas padrão e linearidade local, alta incerteza epistêmica corresponde a uma grande norma do Jacobiano de Parâmetros, indicando sensibilidade a perturbações de parâmetros.
2. Norma do Jacobiano para Densidade de Dados: Em regiões de alta densidade dos dados de treinamento, a norma do Jacobiano do codificador tende a ser pequena (suavidade), enquanto em regiões de baixa densidade (Fora da Distribuição), ela permanece sem restrições.
3. Densidade de Dados para Densidade de Incorporação: Motivados pelas dinâmicas de alinhamento e uniformidade na aprendizagem contrastiva, os autores postulam uma suposição empírica de que a densidade dos dados de entrada $p(x)$ correlaciona-se com a densidade das incorporações resultantes $p(z)$ na hipersfera.
   Consequentemente, a verossimilhança negativa logarítmica, $-\log p(z)$, serve como um proxy principiado para incerteza epistêmica: regiões de baixa densidade significam ignorância do modelo.

Correspondência de Fluxo Riemanniano (RFM)
Para calcular $p(z)$ eficientemente na hipersfera $S^{d-1}$ (onde residem as incorporações de VLM normalizadas por $\ell_2$), o REPVLM utiliza Correspondência de Fluxo Riemanniano Condicional (CRFM):

• Modelagem Nativa da Variedade: Diferentemente da Correspondência de Fluxo Euclidiana padrão, o REPVLM opera diretamente na hipersfera. Ele aprende um campo vetorial $v_t$ que transporta uma distribuição base uniforme simples $P_0 = \text{Unif}(S^{d-1})$ para as distribuições empíricas específicas da modalidade $P_1$ (Imagem e Texto).
• Interpolação Geodésica: O caminho de probabilidade é construído ao longo de geodésicas (círculos máximos) em vez de linhas retas, respeitando a geometria intrínseca do espaço semântico.
• Framework Condicional Unificado: Uma única rede neural aprende o campo vetorial condicionado à modalidade ($c \in \{\text{imagem}, \text{texto}\}$), permitindo estimativa de incerteza agnóstica à tarefa.
• Cálculo de Verossimilhança: A densidade logarítmica exata é calculada integrando a divergência do campo vetorial aprendido ao longo da trajetória reversa da EDO. Para lidar eficientemente com incorporações de alta dimensão, os autores empregam um estimador de traço de Hutchinson com restrição de variedade para aproximar a divergência com sobrecarga computacional mínima.

3. Contribuições Principais

• Motivação Teórica: O artigo fornece uma derivação formal demonstrando que $-\log p(z)$ é um proxy monotônico para incerteza epistêmica em codificadores contrastivos, ligando incerteza bayesiana à densidade de incorporação.
• Método Nativo da Variedade (REPVLM): Os autores introduzem um método UQ escalável que estende a Correspondência de Fluxo Riemanniano para espaços de incorporação de VLM, permitindo cálculo intrínseco de densidade de probabilidade para modalidades visuais e textuais sem modificar o backbone pré-treinado.
• Validação Empírica: O método é validado em múltiplos benchmarks, demonstrando correlação quase perfeita entre pontuações de incerteza e erros de previsão, superando significativamente as linhas de base existentes em classificação seletiva e detecção de OOD.

4. Resultados Experimentais

Os autores avaliaram o REPVLM em seis benchmarks downstream (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) usando três conjuntos de dados proxy diferentes para treinamento (Conceptual Captions, DataComp-1B, LAION-2B).

• Classificação Seletiva: O REPVLM alcançou correlação de Spearman quase perfeita ($S \ge 0.988$) entre incerteza e erro de previsão em benchmarks padrão. Ele superou consistentemente linhas de base como ProbVLM, Dropout de Monte Carlo e Norma de Incorporação na identificação de erros do modelo.
• Robustez a Mudança de Distribuição: Em conjuntos de dados com mudança de distribuição (ObjectNet, ImageNet-R, ImageNet-Sketch), o REPVLM foi o único método a alcançar $S=1.000$ em todas as células de mudança, enquanto outros métodos (por exemplo, ProbVLM, GMM) mostraram alta variância ou correlações negativas.
• Aplicações:
  • Detecção de OOD: As pontuações de incerteza separaram efetivamente dados Dentro da Distribuição (ID) de dados Próximo-OOD e Longe-OOD, gerando curvas ROC e Precisão-Recall elevadas.
  • Curadoria de Dados Automatizada: Amostras de alta incerteza sinalizadas pelo REPVLM corresponderam a entradas ruidosas, borradas ou sem sentido, demonstrando utilidade na limpeza de conjuntos de dados da web em larga escala.
• Eficiência: O REPVLM requer apenas ~0,55 GFLOPs de sobrecarga adicional além do backbone, tornando-o significativamente mais eficiente que o Dropout de Monte Carlo (que requer ~10x passagens forward), ao mesmo tempo que fornece estimativas epistêmicas mais confiáveis que o ProbVLM.

5. Significância e Limitações

Significância
O artigo argumenta que a densidade de incorporação na variedade é a quantidade operativa para incerteza epistêmica em VLMs pré-treinados. Ao aproveitar a estrutura geométrica do espaço de incorporação via Correspondência de Fluxo Riemanniano, o REPVLM fornece uma métrica escalável, intrínseca e altamente confiável para a confiança do modelo. Isso habilita aplicações práticas, como curadoria de dados automatizada e detecção robusta de OOD, sem o custo computacional de métodos de ensemble.

Limitações
Os autores reconhecem explicitamente várias limitações:

1. Proxy Teórico: A ligação entre incerteza epistêmica bayesiana e densidade de incorporação é um argumento motivador de proxy baseado em suposições empíricas (especificamente regarding preservação de densidade em codificadores contrastivos não invertíveis), não uma identidade formal.
2. Dependência de Proxy: Como todos os métodos post-hoc, o REPVLM requer um conjunto de dados proxy representativo do domínio de pré-treinamento do VLM alvo. VLMs especializados podem exigir proxies dentro do domínio.
3. Suposições Geométricas: A teoria assume incorporações normalizadas por $\ell_2$ em $S^{d-1}$ de codificadores treinados com similaridade de cosseno (como CLIP). Os autores observam que os resultados podem não se extrapolar para modelos com geometrias diferentes (por exemplo, SigLIP, que mostrou desempenho degradado em benchmarks dentro da distribuição devido a variações de densidade impulsionadas por textura).
4. Riscos de Equidade: Os autores alertam que a incerteza baseada em densidade confunde raridade com ignorância. Entradas raras, mas válidas (por exemplo, de grupos sub-representados) podem ser sinalizadas como outliers de alta incerteza. Em configurações críticas para segurança, tais amostras devem ser candidatas a revisão humana em vez de remoção automática.