Resumo Técnico: Predição Conformal Localizada para Classificação de Imagens com Modelos de Visão-Linguagem

1. Definição do Problema

A Predição Conformal (CP) é um arcabouço estatístico amplamente utilizado para quantificação de incerteza em aprendizado de máquina, oferecendo garantias robustas de cobertura marginal (ou seja, o conjunto de predição contém o rótulo verdadeiro com uma probabilidade definida pelo usuário de $1-\alpha$, calculada sobre toda a distribuição de dados). No entanto, uma limitação bem conhecida da CP padrão é sua incapacidade de garantir a cobertura condicional para subgrupos específicos (por exemplo, classes ou regiões de características específicas). Isso leva a disparidades de cobertura, onde certas subpopulações são subcobertas ou sobrecobertas.

Embora a Predição Conformal Localizada (LCP) tenha sido proposta para abordar isso, ponderando exemplos de calibração com base na similaridade com a amostra de teste, sua aplicação tem sido amplamente restrita a tarefas de regressão e conjuntos de dados sintéticos. A aplicação de LCP à classificação de imagens, particularmente utilizando Modelos de Visão-Linguagem (VLMs), permanece subexplorada. Uma questão aberta crítica é se a escolha intuitiva de usar a similaridade de cosseno entre características visuais nos espaços latentes de VLMs é suficiente para melhorar os baselines não locais em tarefas de classificação.

2. Metodologia

2.1 Arcabouço e Configuração

Os autores aplicam o arcabouço LCP a tarefas de classificação usando VLMs (especificamente modelos baseados em CLIP com backbones ViT e CNN). O processo envolve:

1. Calibração: Um conjunto de amostras de calibração é usado para computar escores conformes.
2. Pontuação (Scoring): Quatro escores padrão de classificação conformal são avaliados:
   • TopK: Utiliza o ranking da classe verdadeira no vetor de predição.
   • LAC (Least Ambiguous set-valued Classifier): Utiliza $1 - \text{probabilidade da classe verdadeira}$.
   • APS (Adaptive Prediction Sets): Utiliza a soma cumulativa das probabilidades ordenadas até a classe verdadeira.
   • RAPS (Regularized APS): Adiciona um termo de penalidade ao APS para controlar o tamanho do conjunto.
3. Localização: Em vez de usar uma distribuição uniforme sobre os escores de calibração, a LCP constrói uma distribuição empírica ponderada baseada em uma função localizadora $H(f_{test}, f_i)$, que atribui maior peso aos exemplos de calibração similares à amostra de teste.

2.2 A Inovação Central: Transformação Não Linear da Similaridade de Cosseno

O artigo investiga a função localizadora $H$. Em VLMs, a similaridade de cosseno entre embeddings de imagem ($f_i^T f_j$) é uma medida intuitiva de similaridade visual. Os autores testam duas abordagens:

1. Abordagem Ingênua: Usar a similaridade de cosseno bruta diretamente como o peso do localizador ($H = f_i^T f_j$).
2. Abordagem Proposta: Aplicar uma transformação sigmoide normalizada à similaridade de cosseno:
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   onde $m > 0$ controla a inclinação e $\tau \in [0, 1]$ define o ponto de inflexão.

Os hiperparâmetros $m$ e $\tau$ são ajustados via validação cruzada de 5 dobras (5-fold cross-validation) no conjunto de calibração para minimizar o tamanho médio do conjunto de predição. Os parâmetros finais são derivados da mediana de $m$ e da média de $\tau$ através das dobras.

2.3 Design Experimental

• Datasets: Nove conjuntos de dados diversos de classificação de imagens (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
• Modelos: Quatro backbones de VLM (ViT-B/16, ViT-L/14, RN50, RN101).
• Métricas:
  • Eficiência: Tamanho Médio do Conjunto (MSS - Mean Set Size).
  • Validade: Lacuna de Cobertura (CovGap) e Cobertura Mínima por Classe (MCCC - Minimum Class-Conditional Coverage).
• Baselines: Métodos de CP não locais padrão usando os mesmos escores.

3. Resultados Principais

3.1 Tamanho Médio do Conjunto (Eficiência)

A transformação não linear proposta melhora significativamente a eficiência em comparação tanto com os baselines não locais quanto com a abordagem localizada ingênua.

• Desempenho: O método proposto alcançou uma redução estatisticamente significativa nos tamanhos médios dos conjuntos para 9 de 9 datasets em 3 de 4 backbones (ViT-B/16, ViT-L/14, RN50) quando comparado ao baseline não local TopK.
• Falha da Abordagem Ingênua: A abordagem ingênua (usando similaridade de cosseno bruta) frequentemente degradou o desempenho, aumentando os tamanhos dos conjuntos significativamente em relação aos baselines não locais em vários casos (ex: DTD com ViT-B/16, UCF101 com RN50).
• Consistência: A melhoria manteve-se através de diferentes escores conformes (LAC, APS, RAPS), embora a magnitude tenha variado.

3.2 Métricas de Cobertura (Validade)

Os resultados relativos à validade condicional foram mais sutis:

• CovGap: As abordagens localizadas (tanto a ingênua quanto a proposta) produziram valores de CovGap quase idênticos aos dos baselines não locais em todos os datasets e backbones. Isso sugere que a localização por si só não é suficiente para minimizar a lacuna de cobertura para classificação de imagens com VLMs.
• MCCC: As melhorias na cobertura de pior caso (MCCC) foram inconsistentes. Embora o método proposto tenha melhorado o MCCC em alguns casos específicos (ex: escore LAC no dataset Pets com ViT-B/16), ele degradou o desempenho em outros (ex: escore TopK no mesmo dataset).

4. Contribuições

O artigo apresenta três contribuições primárias:

1. LCP para Classificação: Ele testa a LCP para classificação de imagens usando VLMs e demonstra que o uso intuitivo da similaridade de cosseno é suboptimal. Propõe uma simples transformação sigmoide não linear para aumentar a eficácia do localizador.
2. Benchmarking Abrangente: Fornece uma avaliação abrangente através de nove datasets diversos e quatro backbones de VLM, mostrando que o método proposto reduz consistentemente os tamanhos médios dos conjuntos de predição.
3. Implementação Open-Source: Os autores lançam a primeira implementação open-source de LCP para classificação, projetada para ser compatível com uma ampla gama de datasets e modelos.

5. Significância e Alegações

O artigo afirma que, embora a LCP seja um arcabouço promissor para adaptar conjuntos de predição às propriedades distributivas locais, seu sucesso em tarefas de classificação com VLMs é altamente dependente do design da função localizadora.

• Descoberta Chave: A intuição "ingênua" de usar a similaridade de cosseno bruta no espaço latente visual é insuficiente e pode até ser prejudicial à eficiência.
• Solução: Uma transformação sigmoide não linear ajustável dessas similaridades é necessária para alcançar reduções estatisticamente significativas nos tamanhos dos conjuntos de predição, mantendo as garantias de cobertura marginal.
• Limitação: Os autores observam modestamente que, embora a eficiência seja melhorada, o método atualmente não resolve o problema das disparidades de cobertura condicional (CovGap) para este cenário específico, uma vez que a lacuna de cobertura permanece semelhante aos baselines não locais.

O trabalho visa facilitar o uso da predição conformal localizada em aplicações do mundo real, fornecendo uma ferramenta open-source robusta e esclarecendo os passos de pré-processamento necessários para a classificação baseada em VLM.