Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

Resumo Técnico: Predição Conformal Confiável para Classificação Ordinal Usando o Ranked Probability Score

Declaração do Problema

A classificação ordinal (CO) envolve a predição de rótulos discretos com uma ordem linear natural (ex: gravidade de doença, faixas etárias, classificações de crédito). Embora progressos significativos tenham sido feitos na predição de ponto para CO, a quantificação de incerteza (UQ) permanece subdesenvolvida, particularmente em domínios de alto risco como medicina e finanças. A Predição Conformal (CP) padrão oferece conjuntos de predição livres de distribuição com garantias de cobertura marginal, mas enfrenta desafios específicos no cenário ordinal:

1. Contiguidade: Os conjuntos de predição devem ser intervalos contíguos (ex: {criança, adolescente, adulto}) para respeitar a ordenação dos rótulos. Conjuntos não contíguos (ex: {criança, idoso}) são semanticamente irracionais.
2. Risco Ordinal: Quando um rótulo verdadeiro cai fora do conjunto de predição (erro de cobertura), a severidade do erro depende da distância ordinal. Um método que minimiza o tamanho do conjunto (eficiência) pode produzir conjuntos que, quando falham, perdem o rótulo verdadeiro por uma margem grande, levando a uma estimativa de risco catastrófica.
3. Suposições de Distribuição: Métios existentes frequentemente dependem de procedimentos de busca gananciosa (greedy) ou impõem unimodalidade (um único pico na distribuição preditiva) para garantir a contiguidade. Essas suposições podem não se sustentar para dados complexos (ex: distribuições bimodais decorrentes de discordância de especialistas) e podem levar a estimativas de incerteza enviesadas.

Abordagens atuais lutam para equilibrar a eficiência do conjunto com a minimização da magnitude do erro de cobertura ordinal sem impor fortes vieses estruturais ao modelo preditivo subjacente.

Metodologia

Os autores propõem um método de CP agnóstico ao modelo para classificação ordinal baseado no Ranked Probability Score (RPS).

Mecanismo Central:

• Pontuação de Não Conformidade: Em vez de usar pontuações centradas no modo (como o Least Ambiguous Set-valued Classifier ou Adaptive Prediction Sets), o método utiliza o RPS como a medida de não conformidade. O RPS é uma regra de pontuação estritamente própria definida sobre distribuições cumulativas preditivas:
  $$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$$
  onde $F_X(k)$ é a função de distribuição cumulativa (CDF) predita e $K$ é o número de classes.
• Construção do Conjunto de Predição: Para uma instância de teste $X_{n+1}$ e uma taxa de erro de cobertura $\alpha$, o conjunto de predição é definido como:
  $$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$$
  onde $\hat{q}_{1-\alpha}$ é o quantil empírico $(1-\alpha)$ das pontuações RPS calculadas em um conjunto de calibração.

Propriedades Teóricas:
O artigo estabelece três propriedades principais para os conjuntos conformais baseados em RPS:

1. Cobertura Marginal: O método satisfaz a garantia padrão de cobertura marginal ($P(Y \in C(X)) \geq 1-\alpha$) sob a suposição de permutabilidade (exchangeability), independentemente do modelo preditivo subjacente.
2. Contiguidade e Centralização na Mediana: Ao contrário das abordagens baseadas no modo, os conjuntos baseados em RPS são contíguos por construção. A função de pontuação RPS é em forma de V em torno da mediana da distribuição preditiva. Consequentemente, os conjuntos de predição resultantes são intervalos contíguos centrados na mediana, não no modo. Isso se mantém mesmo para distribuições multimodais onde o modo e a mediana diferem.
3. Otimização de Risco Ordinal: Sob um cenário de cobertura condicional órfica (onde a distribuição condicional verdadeira é conhecida), os conjuntos baseados em RPS minimizam a distância esperada $L_1$ (risco ordinal) entre o rótulo verdadeiro e o conjunto de predição. O método otimiza para a redução do risco ordinal em vez de apenas a cardinalidade do conjunto.

Eficiência Computacional:
O método é computacionalmente eficiente. Embora calcular o RPS ingenuamente para todos os $K$ rótulos leve $O(K^2)$, os autores demonstram uma relação de recorrência que permite que todas as pontuações sejam computadas em tempo linear $O(K)$. A complexidade geral escala linearmente tanto com o número de pontos de calibração quanto com o número de rótulos.

Principais Contribuições

1. Nova Medida de Não Conformidade: Introdução do Ranked Probability Score (RPS) como uma medida de não conformidade estritamente própria e agnóstica ao modelo, especificamente para predição conformal ordinal.
2. Garantias Teóricas: Prova de que os conjuntos baseados em RPS satisfazem a cobertura marginal, são aninhados em relação a $\alpha$ e são inerentemente contíguos e centrados na mediana sem exigir suposições de unimodalidade.
3. Otimização de Risco: Demonstração de que os conjuntos baseados em RPS otimizam diretamente o risco ordinal (erro $L_1$ baseado em conjunto), contrastando com métodos centrados no modo que priorizam a eficiência do conjunto.
4. Eficiência: Uma implementação de tempo linear que evita os procedimentos de busca gananciosa ou busca binária exigidos pelos métodos de CP ordinal existentes.
5. Validação Empírica: Avaliação abrangente em conjuntos de dados de imagem ordinal (BACH, RetinaMNIST, FGNet) e tabulares, comparando contra baselines como min-CPS, COPOC (LAC/APS) e OCDF.

Resultados Experimentais

Os autores avaliaram o método em múltiplos conjuntos de dados usando métricas que capturam tanto a eficiência quanto o risco ordinal:

• Magnitude de Erro de Cobertura: Medida pelo Mean Absolute Miscoverage Magnitude (MAMM) e Worst-Case Absolute Miscoverage Magnitude (WAMM). Os conjuntos baseados em RPS consistiram em valores menores de MAMM e WAMM em comparação com métodos centrados no modo (min-CPS, COPOCL, COPOCA), indicando que, quando ocorrem erros, o rótulo verdadeiro está mais próximo do conjunto de predição.
• Trade-off Eficiência vs. Risco: Medido pelo Average Interval Score Loss (AISL), que penaliza tanto intervalos largos quanto grandes distâncias de erro de cobertura. Os conjuntos baseados em RPS alcançaram um equilíbrio favorável, frequentemente superando os baselines em AISL.
• Contiguidade: Todos os conjuntos baseados em RPS foram contíguos (CV = 0), enquanto baselines não ordinais (LAC, APS) frequentemente violaram a contiguidade.
• Robustez: Em casos de distribuições preditivas multimodais (ex: opiniões bimodais de especialistas), o RPS manteve um desempenho robusto, enquanto métodos centrados no modo tenderam a subestimar o risco ordinal ao focar no único pico de maior probabilidade.

Significância e Alegações

O artigo afirma que a predição conformal baseada em RPS fornece uma solução robusta e versátil para a quantificação de incerteza ordinal. Sua principal significância reside em:

• Representação Fiel da Incerteza: Por serem centrados na mediana e contíguos por design, eles refletem com precisão toda a estrutura ordinal e os riscos associados, particularmente em cenários de distribuições assimétricas ou multimodais onde abordagens baseadas no modo falham.
• Aplicabilidade em Alto Risco: O método minimiza a severidade da falha de cobertura, um requisito crítico em domínios como diagnóstico médico e avaliação de risco financeiro, onde o custo de um erro é proporcional à sua distância ordinal.
• Praticidade: Oferece um framework computacionalmente eficiente e agnóstico ao modelo que não depende de restrições arquiteturais específicas (como unimodalidade) ou procedimentos de busca caros, tornando-o aplicável a qualquer preditor probabilístico subjacente.

Os autores concluem que, embora os conjuntos baseados em RPS possam nem sempre produzir os conjuntos de predição mais pequenos possíveis (maximizando a eficiência), eles estabelecem um equilíbrio superior entre a largura do intervalo e a magnitude do erro de cobertura ordinal, tornando-os uma escolha confiável para tarefas de predição ordinal do mundo real. O trabalho futuro sugerido inclui a decomposição da incerteza em componentes epistêmicas e aleatórias dentro deste framework.