🤖 machine learning

Post-hoc Probabilistic Vision-Language Models

Este trabalho propõe um método *post-hoc* para estimar incertezas probabilísticas em modelos visão-linguagem sem necessidade de treinamento adicional, utilizando uma aproximação bayesiana nas camadas finais para quantificar analiticamente a incerteza nas similaridades de cosseno, resultando em estimativas bem calibradas e aprendizado ativo mais eficiente para aplicações críticas de segurança.

Autores originais: Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

Publicado 2026-02-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um super-herói da inteligência artificial chamado "Vision-Language Model" (VLM). Ele é incrivelmente inteligente: você mostra uma foto de um gato e ele diz "gato"; você mostra uma foto de um carro e ele diz "carro". Ele foi treinado com bilhões de fotos e textos, então ele sabe quase tudo.

O problema? Esse super-herói é demasiadamente confiante.

Se você mostrar uma foto de um cachorro disfarçado de gato, ele pode dizer com 100% de certeza: "Isso é um gato!", mesmo estando errado. Ele não sabe quando está "chutando" ou quando a situação é confusa. Em situações reais (como carros autônomos ou diagnósticos médicos), essa confiança cega é perigosa.

A Solução: O "Detective da Incerteza" (BayesVLM)

Os autores deste paper criaram uma nova ferramenta chamada BayesVLM. Pense nela não como um novo super-herói, mas como um detective que se senta ao lado do super-herói e diz: "Ei, eu não tenho certeza sobre essa resposta. A probabilidade de estar errado é alta."

Aqui está como funciona, usando analogias simples:

1. O Problema: O Mapa Fixo vs. O Mapa com Nuvens

O Modelo Antigo (Determinístico): Imagine que o modelo vê o mundo através de um mapa de estrada perfeitamente desenhado. Se o caminho está marcado, ele vai direto. Se o caminho não está no mapa, ele ainda tenta ir, mas acha que sabe o caminho, mesmo que esteja perdido.
O Modelo Novo (Probabilístico): O BayesVLM transforma esse mapa fixo em um mapa com nuvens de neblina. Quando o modelo vê algo familiar, a neblina some e ele vê o caminho claramente. Quando vê algo estranho ou novo, a neblina fica densa. A espessura da neblina é a incerteza.

2. A Magia: A "Aproximação de Laplace" (Sem Reaprender Tudo)

Normalmente, para dar a esse modelo a capacidade de sentir incerteza, você teria que reensiná-lo do zero, o que levaria meses e custaria milhões de dólares em energia elétrica.

O BayesVLM é genial porque é "pós-hoc" (feito depois).

Analogia: Imagine que você tem um carro de corrida já pronto. Em vez de desmontar o motor para instalar um novo sistema de navegação, você apenas cola um GPS inteligente no para-brisa. O carro continua rodando igual, mas agora o GPS calcula a probabilidade de você estar no caminho certo ou errado.
Tecnicamente, eles usam uma técnica matemática chamada "Aproximação de Laplace" para estimar essa "neblina" apenas olhando para as últimas camadas do cérebro do modelo, sem precisar reensiná-lo.

3. A Medida: A "Similaridade Cósmica"

Como o modelo decide se é um gato ou um cachorro? Ele compara a foto com textos na memória dele usando uma medida chamada "similaridade de cosseno".

O Desafio: Calcular a incerteza dessa comparação é como tentar prever o tempo futuro com base em dados passados. É difícil.
A Inovação (ProbCosine): Eles criaram uma fórmula mágica (chamada ProbCosine) que transforma essa comparação em uma distribuição de probabilidade. Em vez de dizer "90% de chance de ser gato", o sistema diz: "A média é 90%, mas a variação é alta, então cuidado!". Isso permite que o modelo diga: "Estou inseguro".

Para que serve isso na vida real?

O paper mostra duas aplicações principais:

Aprendizado Ativo (O Estagiário Inteligente):
Imagine que você está ensinando esse modelo a reconhecer plantas. Em vez de mostrar 10.000 fotos aleatórias, você usa o BayesVLM para perguntar: "Qual foto você está mais confuso?".
- O modelo aponta: "Não tenho certeza sobre essa planta estranha".
- Você então mostra a resposta correta apenas para essa planta.
- Resultado: O modelo aprende muito mais rápido, com menos esforço e menos dados. É como um professor que foca apenas nas dúvidas do aluno, em vez de repetir o que ele já sabe.
Segurança (O Freio de Emergência):
Em um carro autônomo, se o modelo vê uma estrada coberta de neve (algo que ele nunca viu no treinamento), o BayesVLM vai gerar uma "neblina" grossa (alta incerteza).
- O carro, percebendo essa incerteza, pode decidir: "Melhor não acelerar, vou pedir ajuda ao motorista humano". Isso evita acidentes causados por confiança excessiva.

Resumo em uma frase

O BayesVLM é uma "capa de segurança" matemática que você coloca em modelos de IA já existentes, permitindo que eles digam "não sei" com precisão, sem precisar gastar uma fortuna para reensiná-los, tornando-os mais seguros e eficientes para o mundo real.

1. Problema e Motivação

Os Modelos Visão-Linguagem (VLMs) pré-treinados em larga escala, como CLIP e SigLIP, alcançaram sucesso notável em tarefas de classificação zero-shot, recuperação e geração. No entanto, a maioria desses modelos opera de forma determinística, mapeando imagens e textos para um espaço latente comum e avaliando a similaridade via produto escalar (cosine similarity).

Essa abordagem determinística falha em capturar incertezas sobre os conceitos, especialmente quando os modelos são aplicados em tarefas downstream ou enfrentam deslocamentos de domínio (domain shifts). A falta de estimativas de incerteza confiáveis limita a aplicação desses modelos em cenários críticos para a segurança e dificulta processos como Active Learning (Aprendizado Ativo), onde a seleção de dados informativos depende da quantificação da incerteza do modelo.

Métodos existentes para quantificação de incerteza em VLMs geralmente exigem:

Retreinamento do modelo do zero (custo computacional proibitivo).
Adição de adaptadores ou camadas extras que precisam ser treinados.
Adaptação no momento da inferência (test-time adaptation), que aumenta drasticamente o custo de inferência.
Foco apenas em calibração, sem capturar incertezas epistêmicas (incerteza do modelo).

2. Metodologia: BayesVLM

O artigo propõe o BayesVLM, um método eficiente e eficaz para estimativa de incerteza post-hoc (após o treinamento) que não requer re-treinamento, alterações na arquitetura ou adaptadores adicionais.

A abordagem baseia-se em três pilares principais:

A. Aproximação de Laplace (Laplace Approximation - LA)

O método aplica uma aproximação de Laplace à distribuição posterior dos parâmetros do modelo. Em vez de estimar a posterior sobre toda a rede neural (o que é computacionalmente inviável), o BayesVLM foca apenas nas camadas de projeção linear finais de cada codificador (imagem e texto).

Assume-se que os parâmetros das camadas de projeção seguem uma distribuição Gaussiana centrada na estimativa MAP (Maximum A Posteriori) do modelo pré-treinado.
A covariância posterior é aproximada usando a Aproximação Generalizada de Gauss-Newton (GGN) fatorada por Kronecker (KFAC), o que reduz drasticamente o custo de memória e computação.

B. Modelagem Probabilística Independente por Modalidade

Para tornar o problema tratável, o método assume dois modelos probabilísticos independentes (um para imagem, outro para texto), satisfazendo a suposição de i.i.d. (independente e identicamente distribuído) condicionada aos dados da outra modalidade.

Isso permite derivar funções de verossimilhança tratables para as projeções $P$ (imagem) e $Q$ (texto) separadamente.
Embora assuma independência local, a interação multimodal é preservada indiretamente através da estimativa da posterior baseada na função de perda conjunta original (InfoNCE ou SigLIP) no ponto MAP.

C. Propagação Analítica da Incerteza (ProbCosine)

O maior desafio é propagar a incerteza das projeções para a similaridade de cosseno final. Como a similaridade de cosseno não é linear, a distribuição resultante não é Gaussiana.

O autores derivam uma expressão analítica (ProbCosine) para aproximar a distribuição da similaridade de cosseno como uma Gaussiana.
Eles calculam a média e a variância da similaridade de cosseno baseando-se nos momentos (média e variância) das embeddings probabilísticas de imagem e texto.
Isso permite uma propagação eficiente da incerteza sem a necessidade de amostragem Monte Carlo cara.

3. Contribuições Principais

BayesVLM: Um método post-hoc que transforma VLMs determinísticos em modelos probabilísticos sem alterar a arquitetura ou exigir treinamento adicional.
Formulação Bayesiana Direta: A primeira formulação bayesiana direta para VLMs, incluindo a derivação de uma expressão analítica para a distribuição de similaridades de cosseno, permitindo propagação de incerteza eficiente.
Aplicação em Aprendizado Ativo: Demonstração de que as estimativas de incerteza do BayesVLM podem ser usadas para selecionar dados informativos para fine-tuning, melhorando a eficiência da amostragem.
Robustez e Eficiência: O método funciona mesmo quando os dados de treinamento originais não estão disponíveis (usando conjuntos de dados proxy) e adiciona um custo computacional de inferência mínimo (< 5% para modelos base, < 1% para modelos grandes).

4. Resultados Experimentais

Os autores avaliaram o método em benchmarks de classificação zero-shot e em cenários de aprendizado ativo:

Quantificação de Incerteza (Zero-shot):
- O BayesVLM produziu estimativas de incerteza melhor calibradas (menor Erro de Calibração Esperado - ECE) em comparação com CLIP/SigLIP padrão, ajuste de temperatura (temperature scaling) e métodos de adaptação no momento da inferência (TTA).
- O modelo reduziu significativamente previsões excessivamente confiantes (overconfident) em classes incorretas, mantendo a acurácia (ACC) comparável aos baselines.
- O método ProbCosine também melhorou a calibração quando aplicado a outros modelos probabilísticos pré-treinados (como PCME++ e ProLIP).
Aprendizado Ativo:
- Em cenários de fine-tuning adaptativo (cross-domain), o uso de funções de aquisição baseadas em incerteza bayesiana (como BALD e EPIG) com BayesVLM superou métodos baseados em entropia e seleção aleatória.
- Os modelos adaptados com dados selecionados pelo BayesVLM apresentaram menor taxa de erro e melhor calibração, evitando o comportamento excessivamente confiante que prejudicava a seleção de dados em métodos determinísticos.
Eficiência e Robustez:
- Custo: O BayesVLM adiciona menos de 1% de custo de FLOPs em comparação com o CLIP determinístico, enquanto o TTA aumenta o custo em 80x.
- Dados Fechados: O método demonstrou robustez ao estimar a Hessian (curvatura) em conjuntos de dados proxy (ex: CC12M) para modelos treinados em dados proprietários (ex: SigLIP), mantendo desempenho competitivo.
- Deslocamento de Distribuição: Sob corrupção de dados (ruído, blur, etc.), a variância estimada pelo método aumentou conforme a degradação, indicando uma detecção eficaz de incerteza.

5. Significado e Conclusão

O trabalho apresenta uma solução prática para um dos maiores gargalos na aplicação de grandes modelos de IA: a falta de estimativas de incerteza confiáveis e eficientes.

Segurança: Ao fornecer intervalos de credibilidade e detectar previsões incertas, o BayesVLM torna os VLMs mais seguros para aplicações críticas.
Eficiência de Dados: A melhoria na seleção de dados para fine-tuning via Aprendizado Ativo significa que menos dados rotulados são necessários para adaptar modelos a novos domínios.
Acessibilidade: Por ser um método post-hoc e training-free, ele democratiza o uso de técnicas bayesianas avançadas em modelos de grande escala, sem exigir recursos computacionais massivos para re-treinamento.

Em suma, o BayesVLM preenche uma lacuna crucial entre o poder preditivo dos VLMs modernos e a necessidade de confiabilidade e interpretabilidade em cenários do mundo real.