Resumo Técnico: Avaliação Comparativa de Funções de Pontuação de Não Conformidade em Predição Conformal

Declaração do Problema

A predição conformal (PC) oferece uma alternativa rigorosa à calibração de modelos em classificação de aprendizado de máquina, gerando conjuntos de previsão em vez de previsões de classe única. Embora a PC garanta que a classe verdadeira esteja contida no conjunto de previsão com uma probabilidade pelo menos igual a $1 - \alpha$ (onde $\alpha$ é uma taxa de erro pré-especificada), a utilidade prática desses conjuntos depende fortemente de seu tamanho. Um conjunto de previsão muito grande é pouco informativo.

O tamanho e a utilidade desses conjuntos são determinados pela escolha da função de pontuação de não conformidade. Apesar da existência de inúmeras funções de pontuação na literatura, há uma falta de estudos sistemáticos que examinem suas propriedades, eficácia e interação com arquiteturas de modelos e desequilíbrio de classes. Este artigo aborda a lacuna no entendimento de como diferentes funções de pontuação se desempenham em diversos domínios conformais (espaço de probabilidade, espaço de logits e espaço de características) e sob diferentes condições, incluindo conjuntos de dados desbalanceados.

Metodologia

Métrica de Avaliação

Os autores introduzem uma nova métrica de avaliação, $I_1$, para avaliar funções de pontuação independentemente de uma escolha arbitrária da taxa de erro $\alpha$. Métricas tradicionais relatam o tamanho médio do conjunto de previsão em um $\alpha$ fixo, o que pode ser enganoso se $\alpha$ não estiver alinhado com a precisão do modelo.
A métrica é definida como:
$$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$$
onde $A_k$ é a precisão do modelo top-$k$ (especificamente $A_1$ para precisão top-1), e $\bar{|P|}(\alpha)$ é o tamanho médio do conjunto de previsão na taxa de erro $\alpha$. Esta integral restringe a avaliação ao intervalo "interessante" de taxas de erro (de 0 até a taxa de erro inerente do modelo), fornecendo um único número objetivo onde valores mais baixos indicam melhor desempenho (conjuntos de previsão menores).

Configuração Experimental

• Conjuntos de Dados: ImageNet (1000 classes), CIFAR-100 (100 classes) e CIFAR-10 (10 classes).
• Modelos: ResNet50 (principal), ResNet18 e EfficientNet-B0.
• Domínios Conformais: O estudo avalia funções de pontuação em três espaços distintos:
  1. Espaço de Probabilidade: A saída da função softmax ($\Delta_{n-1}$).
  2. Espaço de Logits: Os vetores de saída brutos antes da softmax ($\mathbb{R}^n$).
  3. Espaço de Características: Os vetores de características finais antes da camada de saída linear.
• Funções de Pontuação Avaliadas:
  • Distância de Rótulo: Distância entre a previsão e o rótulo codificado one-hot.
  • Distância de Margem: Distância até a fronteira de decisão entre a classe verdadeira e a classe incorreta mais provável.
  • Distância Média: Distância até a média dos exemplos de calibração pertencentes à mesma classe.
  • Vizinho Mais Próximo: Razão entre as distâncias até exemplos da mesma classe versus exemplos de classes diferentes.
  • APS/RAPS/SAPS: Conjuntos de Previsão Adaptativos e suas variantes regularizadas (métodos baseados em rank).
  • Gradiente/Gradiente Rápido: Métodos baseados em características que aproximam a distância até a fronteira de decisão no espaço de características.
• Teste de Desequilíbrio: Um cenário condicional à classe foi testado, onde as classes minoritárias foram reduzidas para 10% de prevalência, a fim de avaliar quão bem diferentes funções de pontuação lidam com o desequilíbrio de classes.

Principais Resultados

Desempenho das Funções de Pontuação

Os resultados da avaliação comparativa, resumidos pela métrica $I_1$, revelam padrões de desempenho distintos:

• Baseadas em Distância vs. Baseadas em Rank: Funções de pontuação baseadas em distância geralmente superaram métodos baseados em rank (APS, RAPS, SAPS) em termos de tamanho do conjunto de previsão, particularmente ao usar distância cosseno.
• Domínios e Métricas Ótimas:
  • Distância de Margem no Espaço de Logits usando Distância Cosseno alcançou os menores valores de $I_1$ para o ImageNet em modelos ResNet.
  • Distância Média performou excepcionalmente bem no CIFAR-100, particularmente no Espaço de Características com Distância Cosseno.
  • Distância de Rótulo no Espaço de Probabilidade com Distância Cosseno também foi altamente competitiva.
• Euclidiana vs. Cosseno: A distância euclidiana foi considerada menos adequada para espaços de alta dimensão (como vetores de características no ResNet50), enquanto a distância cosseno performou de forma robusta, sugerindo que esses modelos organizam as classes em clusters aproximadamente ortogonais.
• Randomização em APS/RAPS: O estudo constatou que o termo randomizado ($u$) em APS e RAPS não é estritamente necessário para garantias de cobertura em configurações calibradas. Definir $u$ como uma constante pequena (servindo como desempate) frequentemente resultou em melhor desempenho do que a abordagem randomizada padrão.
• Métodos de Gradiente: Os métodos Gradiente e Gradiente Rápido foram computacionalmente caros e, no caso do Gradiente Rápido, performaram significativamente pior do que outros métodos nos conjuntos de dados testados.

Impacto da Arquitetura do Modelo

Enquanto o ResNet50 e o ResNet18 mostraram uma ordem relativa similar no desempenho das funções de pontuação, o EfficientNet-B0 exibiu uma classificação diferente. Isso sugere que a arquitetura do modelo (por exemplo, funções de ativação como ReLU vs. Swish) influencia as propriedades geométricas do domínio conformal e, consequentemente, a escolha ótima da função de pontuação, potencialmente mais do que a precisão bruta do modelo.

Desequilíbrio de Classes

No cenário desbalanceado, as classes minoritárias foram frequentemente incluídas nos conjuntos de previsão com frequências muito superiores à sua verdadeira prevalência (por exemplo, 27% de inclusão para uma classe com 0,1% de prevalência verdadeira). Os autores observam que, embora isso reduza a precisão do preditor, é um reflexo "honesto" da incerteza subjacente do modelo em relação a classes raras. A Distância Média no espaço de características novamente mostrou a melhor capacidade de minimizar essa inclusão excessiva, mantendo a cobertura.

Significado e Alegações

O artigo afirma preencher uma lacuna de conhecimento sobre as propriedades e eficácia das funções de pontuação de não conformidade. Suas principais contribuições são:

1. Avaliação Comparativa Sistemática: Fornecer uma comparação abrangente de diversas funções de pontuação em múltiplos conjuntos de dados, modelos e domínios conformais.
2. Métrica de Avaliação: Introduzir $I_1$ como uma métrica robusta de único número que leva em conta a precisão do modelo e evita a seleção arbitrária de taxas de erro.
3. Insights sobre Domínio e Métrica: Demonstrar que a distância cosseno é superior à distância euclidiana em domínios conformais de alta dimensão e que o espaço de logits frequentemente supera o simplex de probabilidade.
4. Orientação Prática: Oferecer um ponto de partida para praticantes selecionarem funções de pontuação com base em sua arquitetura de modelo específica e características do conjunto de dados, em vez de confiar em um único método "melhor" universal.

Os autores concluem que nenhuma função de pontuação única é universalmente superior; ao contrário, a escolha ótima depende do contexto específico do modelo e dos dados. No entanto, a avaliação comparativa fornece uma base clara e orientada por dados para fazer essas seleções.