Resumo Técnico: Predição Conformal Bayesiana Empírica para Modelos de Visão e Linguagem

Declaração do Problema

A Predição Conformal (CP) oferece um framework livre de distribuição para gerar conjuntos de previsão com cobertura garantida para modelos modernos de visão e linguagem. No entanto, a CP padrão baseia-se em uma única realização de uma pontuação de não conformidade para classificar candidatos. Essa abordagem ignora a incerteza epistêmica e a variabilidade da pontuação decorrentes de parâmetros do modelo, aleatoriedade no treinamento ou formulação de prompts.

Quando múltiplos rótulos ou respostas candidatos recebem pontuações semelhantes, pequenas flutuações podem alterar drasticamente sua ordem de classificação. Consequentemente, a CP padrão pode incluir falsos candidatos de alta variância no conjunto de previsão simplesmente porque uma única realização ruidosa os fez parecer fortes, enquanto exclui candidatos estáveis que tiveram uma pontuação ligeiramente inferior, porém mais consistente. Alternativas existentes, como "média-então-calibrar" (CPavg), suavizam essa variabilidade ao calcular a média das pontuações antes da calibração, descartando assim informações sobre a estabilidade da classificação de um candidato. O problema central é que os métodos atuais de CP falham em utilizar a variabilidade da pontuação como um sinal para distinguir entre evidência estável e flutuações impulsionadas por ruído, levando a conjuntos conformais menos eficientes (maiores) e menos estáveis.

Metodologia: O Framework do Valor-$r$

Os autores propõem o $CPr$-valor, um framework de Predição Conformal Bayesiana Empírica que converte a variabilidade da pontuação em uma pontuação de não conformidade informada pela incerteza, chamada de valor-$r$.

Conceito Central

Em vez de classificar candidatos baseando-se apenas em uma pontuação observada $f(x)_i$, o método trata a classificação como um problema Bayesiano Empírico. Assume-se que cada candidato possui uma pontuação latente não observada $\theta_i$ (o sinal estável) e uma pontuação observada $f(x)_i$, que é uma realização ruidosa de $\theta_i$. O valor-$r$ mede a probabilidade de a pontuação latente de um candidato pertencer ao grupo de maior classificação, levando em conta tanto a pontuação estimada quanto sua incerteza.

Estimadores

O framework fornece dois estimadores para o valor-$r$:

1. Paramétrico (Modelo Normal-Normal): Assume que as pontuações latentes seguem uma distribuição normal e que o ruído de observação é Gaussiano. Isso produz uma expressão de forma fechada para o valor-$r$. Modela explicitamente o compromisso entre a magnitude da pontuação e a variância, contraindo pontuações de alta variância em direção à média empírica.
2. Não Paramétrico (Amostragem Posterior): Um estimador de Monte Carlo sem pressupostos. Classifica candidatos através de múltiplas amostras posteriores (por exemplo, de conjuntos de modelos, dropout de Monte Carlo ou parafraseamento de prompts) e calcula a frequência com que um candidato aparece nas top-$k$ posições. Essa frequência serve como a probabilidade de cauda empírica, que é então convertida em um valor-$r$.

Algoritmo

1. Estimativa de Variabilidade: Gere múltiplas saídas do modelo (por exemplo, via adaptadores de Bootstrap Bayesiano Ponderado para modelos de visão ou parafraseamento de prompts para VLMs/LLMs) para estimar a distribuição de pontuações para cada candidato.
2. Calibração: Calcule os valores-$r$ para os rótulos verdadeiros em um conjunto de calibração. Determine o limiar $\hat{r}$ como o $\lceil(n+1)(1-\alpha)\rceil$-ésimo menor valor-$r$.
3. Previsão: Para uma entrada de teste, calcule os valores-$r$ para todos os candidatos. Inclua candidatos com $r(x, u_j) < \hat{r}$ no conjunto de previsão.

Contribuições Principais

• Garantia Teórica: Sob a premissa de troca, o uso do valor-$r$ como pontuação de não conformidade preserva a garantia de cobertura conformal alvo ($1-\alpha$).
• Melhoria de Eficiência: Teoricamente, o valor-$r$ reduz a probabilidade de inclusão de falsos candidatos de alta variância em comparação com a CP padrão e a CPavg. Isso leva a tamanhos de conjuntos de previsão esperados menores, particularmente quando a variabilidade é informativa.
• Framework Unificado: O método unifica abordagens paramétricas e não paramétricas, permitindo aplicação a diversos tipos de pontuação (logits, probabilidades, pontuações de avaliadores discretas) e arquiteturas de modelo (ViTs, CLIP, LLMs).
• Estabilidade de Classificação: Ao penalizar candidatos com alta variância de pontuação, o método produz classificações mais estáveis, garantindo que candidatos que aparecem consistentemente no topo sejam priorizados sobre aqueles com pontuações altas esporádicas.

Resultados Experimentais

Os autores avaliaram o $CPr$-valor em classificação de imagens, Modelos de Visão e Linguagem (VLMs) e Modelos de Linguagem de Grande Porte (LLMs).

• Modelos de Visão (Classificação de Imagens): Utilizando modelos ViT e ResNet com adaptadores de Bootstrap Bayesiano Ponderado (WBB) para aproximar a variabilidade posterior.
  • Quando a variabilidade é pequena (backbone forte, adaptadores leves), o $CPr$-valor comporta-se de forma semelhante à CP padrão, preservando a cobertura e o tamanho do conjunto.
  • Quando a variabilidade é informativa, o $CPr$-valor produz conjuntos menores e mais estáveis, frequentemente classificando a classe verdadeira mais alto dentro do conjunto do que a CP padrão.
• VLMs e LLMs (CLIP, SigLIP, MobileCLIP, LLaMA): A variabilidade foi induzida via parafraseamento de prompts.
  • Cobertura: O $CPr$-valor manteve a cobertura próxima ao nível nominal (por exemplo, 95% para $\alpha=0.05$).
  • Tamanho do Conjunto: Observaram-se reduções significativas no tamanho do conjunto. Por exemplo, no ImageNet, o $CPr$-valor reduziu o tamanho médio do conjunto em quase metade em comparação com a CP padrão.
  • Tendência de Força do Modelo: Os ganhos de eficiência foram mais pronunciados para modelos com menor precisão e maior variabilidade inerente (por exemplo, SigLIP2). À medida que a precisão do modelo aumentou e a variabilidade diminuiu (por exemplo, MobileCLIP2), os ganhos diminuíram, e o método reverteu naturalmente para um comportamento semelhante ao da CP, consistente com previsões teóricas.
  • Tarefas Abertas: Em tarefas de LLM com pontuações de avaliadores grosseiras (por exemplo, TruthfulQA), o valor-$r$ rompeu com sucesso empates entre respostas com pontuações médias idênticas, aproveitando a estabilidade da pontuação através de paráfrases, fornecendo resolução de classificação mais fina.

Significado e Alegações

O artigo afirma que o $CPr$-valor transforma uma fraqueza percebida dos grandes modelos — sua inconsistência ou variabilidade — em um sinal útil para eficiência conformal.

• Robustez: Fornece um método para construir conjuntos de previsão que não são apenas estatisticamente válidos, mas também mais eficientes, filtrando candidatos instáveis e impulsionados por ruído.
• Praticidade: O framework é aplicável tanto aos domínios de visão quanto de linguagem, utilizando técnicas existentes para estimativa de incerteza (adaptadores, conjuntos, variações de prompts) sem exigir o re-treinamento dos modelos base.
• Limitações: Os autores observam que a eficácia do método depende da qualidade da estimativa de variabilidade. Se a variabilidade estimada for pobre ou negligenciável (como em modelos altamente estáveis), os benefícios são modestos. Além disso, o método introduz uma sobrecarga computacional para gerar múltiplas amostras, embora isso seja frequentemente viável através de adaptadores leves ou inferência paralela.

Em resumo, o $CPr$-valor oferece uma maneira principiante de integrar a incerteza epistêmica na predição conformal, produzindo conjuntos de previsão menores, mais estáveis e mais confiáveis para sistemas modernos de IA.