Are foundation models for computer vision good conformal predictors?

Este trabalho investiga a adequação de modelos fundamentais de visão para a Predição Conformal, revelando que eles são bem-sucedidos nesse processo, especialmente os baseados em Vision Transformers, e que a calibração de confiança pode degradar a eficiência, enquanto a adaptação few-shot e o método APS oferecem resultados promissores com garantias de cobertura.

O essencial

Imagine que você tem um super-herói da visão (os chamados "Modelos de Fundação" de IA) que consegue reconhecer quase qualquer coisa em uma foto: um gato, um carro, uma flor. Ele é incrível, rápido e aprendeu olhando para bilhões de imagens na internet.

Mas, como todo super-herói, ele tem um problema: ele às vezes acha que sabe mais do que realmente sabe. Às vezes, ele aponta para um cachorro e diz com 99% de certeza: "Isso é um gato!". Em situações simples, isso é engraçado. Mas e se esse modelo estiver ajudando um médico a diagnosticar uma doença ou um carro autônomo a ver um pedestre? Um erro de confiança pode ser catastrófico.

É aqui que entra o Conformal Prediction (Previsão Conformada), o "herói da segurança" deste estudo.

O Problema: A Confiança Cega

Normalmente, quando a IA diz "Isso é um gato", ela nos dá um número de confiança (ex: 90%). Mas esse número nem sempre é verdadeiro. O modelo pode estar superconfiante e errado.

O Conformal Prediction muda o jogo. Em vez de dizer apenas "É um gato", ele diz: "Eu tenho 90% de certeza de que a resposta está dentro deste conjunto de opções: {Gato, Cachorro, Furão}."

Isso é como um guarda-chuva. O objetivo não é acertar o nome exato do animal, mas garantir que o animal real esteja sob o guarda-chuva com uma probabilidade garantida (ex: 90% das vezes). Se o guarda-chuva for muito pequeno, o animal pode ficar de fora (erro). Se for muito grande (ex: {Gato, Cachorro, Furão, Dinossauro, Nuvem}), ele cobre tudo, mas é inútil porque não ajuda a decidir.

A Grande Pergunta do Estudo

Os autores deste trabalho queriam saber: "Esses novos super-heróis da IA (os modelos de Fundação) são bons em usar esse guarda-chuva de segurança?"

Eles testaram modelos modernos (como DINO, CLIP, que usam "olhos" de Transformadores) contra modelos mais antigos e tradicionais.

O Que Eles Descobriram (Com Analogias)

1. Os Novos Super-Heróis são Melhores no Guarda-Chuva

Os modelos modernos, especialmente os que usam Transformadores (uma arquitetura de IA inspirada no cérebro humano), são excelentes para criar esses conjuntos de segurança.

• Analogia: Imagine que os modelos antigos são como um guarda-chuva de papel: eles funcionam, mas se o vento mudar (dados diferentes), eles rasgam ou ficam muito grandes. Os modelos modernos são como guarda-chuvas de fibra de carbono: eles mantêm o tamanho ideal e protegem melhor, mesmo quando a chuva muda de direção.

2. O Perigo de "Ajustar a Confiança" (Calibração)

Existe uma técnica popular chamada "Calibração" que tenta fazer o modelo ser mais honesto sobre sua confiança. É como dizer ao modelo: "Ei, você está muito confiante, diminua um pouco o tom!".

• A Descoberta Surpreendente: Quando você calibra esses modelos modernos e depois tenta usar o guarda-chuva de segurança, o guarda-chuva cresce demais.
• Analogia: Imagine que você ajusta o volume de um rádio para que a música soe mais suave (calibração). O resultado é que, para ouvir a música com clareza, você precisa aumentar o volume do amplificador (o guarda-chuva) para compensar, e ele fica enorme, cobrindo a sala inteira. O estudo mostra que, para esses modelos específicos, tentar "consertar" a confiança antes de usar o método de segurança pode tornar a segurança menos eficiente (o conjunto de respostas fica muito grande).

3. O Método "APS" é o Campeão

Dentre as formas de fazer o guarda-chuva, o método chamado APS (Adaptive Prediction Sets) se saiu muito bem.

• Analogia: Se o LAC (outro método) é um guarda-chuva rígido que não muda de tamanho, o APS é um guarda-chuva inteligente que se expande ou contrai dependendo de quão forte está a chuva. Quando o modelo está confuso (dados estranhos), o APS abre mais para garantir que a resposta certa esteja lá dentro, mesmo que o guarda-chuva fique um pouco maior. Ele é o mais confiável em situações de risco.

4. Aprender com Poucas Amostras (Few-Shot)

Muitos desses modelos modernos podem aprender novas tarefas com poucas fotos (apenas 10 ou 16 exemplos).

• A Descoberta: Quando você ensina o modelo a fazer algo novo com poucas fotos, ele tende a criar guarda-chuvas menores e mais precisos do que quando tenta adivinhar sem nenhum treino (zero-shot). É como se, ao dar um pequeno curso ao modelo, ele se tornasse mais focado e menos propenso a incluir opções inúteis no seu conjunto de segurança.

Conclusão Simples

Este estudo nos diz que os novos modelos de IA são ótimos para serem usados em situações de alto risco (como saúde ou segurança), desde que usamos a ferramenta certa de segurança (Conformal Prediction).

• Não tente "consertar" a confiança deles antes de aplicar a segurança, pois isso pode deixar a proteção ineficiente.
• Use o método APS para garantir que, mesmo em situações estranhas, a resposta correta esteja sempre dentro do "guarda-chuva".
• Se você tiver algumas fotos para treinar o modelo em uma tarefa nova, faça isso! O modelo se tornará mais preciso e seguro.

Em resumo: A IA moderna é poderosa, mas precisa de um "seguro de vida" estatístico. E os autores descobriram como fazer esse seguro funcionar da melhor maneira possível, garantindo que, quando a IA estiver errada, ela pelo menos admita que não sabe e ofereça alternativas seguras, em vez de dar uma resposta errada com certeza absoluta.

Resumo técnico

1. Problema e Motivação

Os modelos de fundação (foundation models) para visão computacional, como DINOv2 e CLIP, alcançaram desempenho sem precedentes em diversas tarefas. No entanto, sua aplicação em cenários de alto risco (saúde, segurança) exige uma compreensão robusta da incerteza das previsões.

• Limitação das Abordagens Atuais: A calibração de confiança (ex: Temperature Scaling) é uma estratégia comum para melhorar a estimativa de incerteza, mas carece de garantias teóricas rigorosas e pode não ser suficiente para aplicações críticas.
• Lacuna de Pesquisa: Embora a Predição Conformal (Conformal Prediction - CP) ofereça garantias teóricas de cobertura marginal (garantindo que o rótulo verdadeiro esteja no conjunto de previsões com uma probabilidade definida), sua aplicação e eficácia em modelos de fundação modernos ainda não foram exploradas em profundidade.
• Questão Central: Os modelos de fundação de visão são bons candidatos para procedimentos de predição conformal? Como eles se comportam sob calibração de confiança, adaptação few-shot e deslocamento de distribuição (domain shift)?

2. Metodologia

Os autores realizaram uma análise empírica extensa envolvendo:

• Modelos: 17 modelos de fundação, incluindo arquiteturas baseadas em Transformers de Visão (ViT) como DINO, DINOv2, CLIP (variantes ViT e ConvNeXt), e modelos baseados em CNNs (VICReg).
• Métodos de CP: Avaliação de três métodos de não-conformidade populares:
  1. LAC (Least Ambiguous Classifier): Usa diretamente as probabilidades softmax.
  2. APS (Adaptive Prediction Sets): Acumula probabilidades em ordem decrescente para garantir cobertura.
  3. RAPS (Regularized Adaptive Prediction Sets): Adiciona um termo de regularização ao APS para penalizar conjuntos grandes e melhorar a eficiência.
• Cenários de Avaliação:
  • Configuração Padrão: Benchmarks clássicos (CIFAR-10, CIFAR-100, ImageNet).
  • Deslocamento de Distribuição (Domain Shift): Teste em variantes do ImageNet (ImageNet-A, -R, -Sketch, -V2) para simular dados fora da distribuição (OOD).
  • Calibração: Aplicação de Temperature Scaling (TS) para ajustar as probabilidades antes da CP.
  • Adaptação Few-Shot: Avaliação de modelos VLMs (como CLIP) adaptados para novas tarefas com poucos exemplos (16 shots) comparado ao zero-shot.

3. Principais Contribuições e Descobertas

A. Desempenho Geral e Arquitetura

• Superioridade dos Foundation Models: Modelos de fundação, especialmente os que utilizam Transformers de Visão (ViT), produzem conjuntos de predição menores e maior cobertura condicional por classe em comparação com modelos tradicionais supervisionados (como ViT treinado apenas no ImageNet).
• Melhor Método de CP: O APS demonstrou ser o método mais robusto, garantindo consistentemente a cobertura marginal desejada, mesmo em cenários desafiadores. O RAPS oferece conjuntos menores (mais eficientes), mas sacrifica a cobertura condicional em classes difíceis ou sob deslocamento de distribuição.

B. Impacto da Calibração de Confiança

• Efeito Contraintuitivo: A calibração de confiança (ex: TS) reduz a eficiência dos conjuntos conformais (aumenta o tamanho do conjunto), particularmente nos métodos adaptativos (APS e RAPS).
• Mecanismo: A calibração suaviza a distribuição softmax, tornando as previsões menos confiantes. Para manter a garantia de cobertura, o algoritmo CP precisa incluir mais classes no conjunto.
• Cobertura: Embora a eficiência diminua, a calibração tende a melhorar ligeiramente a cobertura condicional mínima (MCCC), especialmente no APS.

C. Deslocamento de Distribuição (Domain Shift)

• Robustez do APS: Sob grandes deslocamentos de distribuição (ex: ImageNet-A), o APS mantém as garantias de cobertura marginal, embora o tamanho do conjunto aumente significativamente.
• Fragilidade do RAPS: O RAPS, devido à sua penalização de tamanho, falha em expandir o conjunto o suficiente para cobrir a nova distribuição, resultando em violações da cobertura marginal em cenários extremos.
• Arquiteturas: Modelos baseados em ViT (DINO, CLIP) sofrem menos degradação nas métricas conformais sob domain shift do que modelos baseados em CNNs (VICReg).

D. Adaptação Few-Shot em VLMs

• Melhoria no In-Distribution (ID): A adaptação few-shot de modelos VLMs (como CLIP) para tarefas específicas resulta em conjuntos menores e menor lacuna de cobertura (coverage gap) em comparação com previsões zero-shot em dados da mesma distribuição.
• Degradação da Calibração: Curiosamente, métodos de adaptação few-shot tendem a piorar as estimativas de confiança (má-calibração) em comparação com o zero-shot, o que paradoxalmente leva a conjuntos conformais menores (menos conservadores) em dados ID.

4. Resultados Chave (Métricas)

• Tamanho do Conjunto: Em geral, modelos ViT + APS geram conjuntos menores e mais precisos do que CNNs tradicionais.
• Cobertura Condicional (MCCC): O APS supera o RAPS em garantir que classes minoritárias ou difíceis tenham cobertura adequada, evitando que o modelo "esqueça" classes específicas para manter o conjunto pequeno.
• Trade-off: Existe um compromisso claro entre eficiência (tamanho do conjunto) e garantia de cobertura. O RAPS prioriza a eficiência, enquanto o APS prioriza a garantia de segurança (cobertura).

5. Significado e Conclusão

O estudo conclui que os modelos de fundação de visão são excelentes candidatos para predição conformal, superando modelos tradicionais supervisionados.

• Recomendação Prática: Para aplicações críticas onde a segurança é primordial (ex: diagnóstico médico), o uso de APS com modelos baseados em ViT (como DINOv2 ou CLIP) é a estratégia recomendada, pois garante que o rótulo verdadeiro esteja no conjunto de previsões, mesmo sob incerteza ou deslocamento de dados.
• Alerta: A calibração de confiança, embora comum, deve ser usada com cautela, pois pode inflar o tamanho dos conjuntos de previsão, tornando o sistema menos prático, embora possa melhorar a cobertura condicional.
• Futuro: O trabalho destaca a necessidade de desenvolver métodos de CP que equilibrem melhor a eficiência e a cobertura condicional, especialmente para modelos de fundação que operam em ambientes dinâmicos e não estacionários.

Em suma, a predição conformal é uma ferramenta viável e necessária para a implantação segura de modelos de fundação, sendo o APS a abordagem mais robusta para lidar com a complexidade e a incerteza inerentes a esses modelos.