Resumo Técnico: Predição Conformal Auditada para Classificação sob Desvio de Distribuição Desconhecido

Definição do Problema

O artigo aborda o desafio da quantificação de incerteza para modelos de classificação pré-treinados ("legados") implantados em ambientes sujeitos a desvios de distribuição desconhecidos. Embora a predição conformal padrão garanta a cobertura marginal (ou seja, o rótulo verdadeiro está contido no conjunto de predição com probabilidade $1-\alpha$ em média sobre a população), essa garantia muitas vezes mascara falhas condicionais severas. Especificamente, quando as distribuições de treinamento e alvo diferem, os métodos padrão podem produzir conjuntos de predição excessivamente conservadores para alguns inputs, enquanto subcoberturam sistematicamente outros (por exemplo, amostras onde o modelo legado tem maior probabilidade de falhar).

As abordagens existentes para mitigar isso ou exigem o retreinamento do modelo (o que é intensivo em recursos e frequentemente subótimo com dados rotulados limitados) ou dependem de suposições sobre a natureza do desvio de distribuição. Os autores observam que, embora o retreinamento seja intuitivo, ele pode ser ineficiente quando novos dados rotulados são escassos em relação aos conjuntos de dados históricos. Além disso, os métodos conformais padrão não distinguem inerentemente entre amostras "fáceis" e "difíceis" sob desvio, levando a conjuntos de predição pouco informativos precisamente onde a confiabilidade é mais necessária.

Metodologia: Predição Conformal Auditada (ACP)

A solução proposta, Predição Conformal Auditada (ACP), introduz um modelo de auditoria auxiliar para identificar inputs onde o modelo legado provavelmente falhará, sem exigir o retreinamento do modelo legado ou suposições sobre a estrutura do desvio.

Componentes Principais

1. O Modelo de Auditoria ($\hat{r}$): Um classificador binário treinado em um pequeno subconjunto de dados alvo rotulados. Sua tarefa é prever a correção da predição pontual do modelo legado ($f_0$) para um dado input $X$.

   • Treinamento: O modelo de auditoria é treinado para prever o rótulo binário $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ usando características derivadas do input $X_i$ e sinais do modelo legado (ex: probabilidades softmax, entropia, distâncias de embedding).
   • Conceito de Oráculo: Teoricamente, o método baseia-se em um modelo de auditoria oráculo $r^*(x) = P(f_0(X)=Y | X=x)$, que representa a verdadeira confiabilidade condicional do modelo legado.

2. Estratégias de Integração: O artigo propõe duas estratégias complementares para integrar o modelo de auditoria na estrutura conformal:

   • Estratégia 1: ACP com Cobertura Marginal (ACP-MC)

     • Mecanismo: O modelo de auditoria $\hat{r}$ é usado para refinar a estimativa da distribuição de rótulos condicional do modelo legado. Para classificação binária, se $f_0(x)=1$, a probabilidade estimada é $(\hat{r}(x), 1-\hat{r}(x))$; caso contrário, é $(1-\hat{r}(x), \hat{r}(x))$.
     • Objetivo: Esta distribuição refinada é usada para computar escores de não conformidade. O método garante a cobertura marginal padrão ($1-\alpha$) enquanto melhora empiricamente a cobertura condicional ao adaptar o tamanho do conjunto de predição com base na confiabilidade estimada do input.

   • Estratégia 2: ACP com Cobertura Condicional Auditada (ACP-ACC/AEC)

     • Mecanismo: Esta abordagem visa explicitamente a cobertura condicional por grupo. O espaço de características é particionado com base na saída do modelo de auditoria (ex: agrupamento de $\hat{r}(x)$ em grupos de alta e baixa confiança).
     • Objetivo: Ela impõe garantias de cobertura condicionada a esses grupos definidos pela auditoria. O artigo estabelece um teorema de amostra finita mostrando que, se o modelo de auditoria estimar consistentemente o oráculo de confiabilidade, o método alcança garantias de cobertura para os verdadeiros grupos de confiabilidade, com o erro limitado pela discrepância entre os grupos de auditoria estimados e os reais.

3. ACP Adaptativo (AACP): Um procedimento orientado por dados que seleciona adaptativamente entre o ACP e uma linha de base retreinada. Ele divide os dados de calibração para avaliar qual método produz maior cobertura condicional em grupos "não confiáveis" (identificados pelo modelo de auditoria) e seleciona o vencedor.

Contribuições Principais

• Estrutura Inovadora: A introdução do ACP, que utiliza um pequeno conjunto de dados alvo rotulados para treinar um modelo de auditoria que prevê a falha do modelo legado, em vez de retreinar o próprio modelo legado.
• Garantias Teóricas:
  • Prova de que o ACP-MC mantém as garantias de cobertura marginal.
  • Derivação de um limite de amostra finita para o ACP-ACC, demonstrando que a cobertura condicional se aproxima da garantia do oráculo à medida que o erro de estimativa do modelo de auditoria desaparece.
• Eficiência Prática: O método evita o custo computacional do retreinamento total do modelo e a necessidade de grandes volumes de dados associados ao ajuste fino de modelos complexos, tornando-o adequado para cenários com poucos dados rotulados novos.
• Validação Empírica: Experimentos extensos com dados sintéticos (cobrindo desvio de conceito, desvio de covariável e ruído de rótulo) e conjuntos de dados do mundo real (Camelyon17 e CIFAR-10/CIFAR-10-C) demonstram que as variantes do ACP alcançam significativamente maior cobertura condicional em amostras difíceis em comparação com a predição conformal padrão, AdaTS (Adaptive Temperature Scaling) e baselines de retreinamento, sem inflar o tamanho médio dos conjuntos de predição.

Resultados

• Dados Sintéticos: Em cenários de incerteza intrínseca de rótulo (desvio de conceito) ou aumento na proporção de amostras difíceis (desvio de covariável), os métodos padrão e o retreinamento frequentemente falham em distinguir entre amostras fáceis e difíceis, levando à subcobertura em bins difíceis. As variantes do ACP atribuem com sucesso conjuntos de predição maiores para amostras difíceis e menores para amostras fáceis, alcançando cobertura condicional quase perfeita em bins difíceis enquanto mantêm tamanhos de conjuntos médios compactos.
• Dados do Mundo Real: No Camelyon17 (histopatologia) e CIFAR-10-C (imagens corrompidas), o ACP superou consistentemente os baselines em cobertura condicional através dos bins de confiabilidade. Enquanto o retreinamento frequentemente produziu conjuntos excessivamente conservadores que falharam em diferenciar níveis de confiabilidade, o ACP manteve tamanhos de conjuntos informativos.
• Trade-offs: Os experimentos destacam um compromisso entre o rigor das garantias condicionais e o tamanho do conjunto. O ACP-ACC (impondo cobertura sobre múltiplos grupos sobrepostos) é o mais conservador, mas oferece as garantias condicionais mais fortes, enquanto o ACP-MC oferece um equilíbrio com tamanhos de conjuntos menores.

Significância e Alegações

O artigo afirma que o ACP fornece uma abordagem prática e estatisticamente fundamentada para a classificação consciente de incerteza sob desvios de distribuição arbitrários. Sua principal significância reside na capacidade de melhorar a cobertura condicional — garantindo confiabilidade onde ela é mais necessária — sem os requisitos proibitivos de dados para o retreinamento de modelos complexos.

Os autores enfatizam que sua contribuição não é o design de um novo procedimento de aprendizado para o modelo de auditoria (que pode ser qualquer classificador padrão), mas sim a integração das predições de auditoria na estrutura conformal. Isso permite uma medida direta de confiabilidade que não requer acesso aos dados de treinamento originais ou suposições sobre o mecanismo de desvio.

O artigo conclui de forma modesta, reconhecendo que a eficácia do método depende da qualidade do modelo de auditoria, o que pode ser desafiador em regimes de dados muito baixos. Trabalhos futuros sugeridos pelos autores incluem extensões mais eficientes em termos de dados (ex: via métodos conformais de validação cruzada) e adaptações para ambientes online ou de streaming.