Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration

Resumo Técnico: Otimização Conformal Desacoplada

Enunciado do Problema
A predição conformal (CP) moderna visa construir conjuntos de predição que sejam tanto válidos (fornecendo cobertura marginal em amostras finitas) quanto eficientes (tamanhos de conjuntos pequenos ou intervalos estreitos). Na otimização conformal bayesiana, os praticantes frequentemente buscam melhorar a eficiência explorando escolhas estruturais, como escores de não conformidade, hiperparâmetros de prioris ou arquiteturas de modelos.

Uma tensão metodológica crítica surge na forma como os dados são alocados para esse processo. Abordagens "acopladas" padrão (por exemplo, Controle de Risco Conformal (CRC) e métodos baseados em Quadratura Bayesiana (BQ)) utilizam a mesma divisão de calibração retida tanto para buscar uma estrutura/teto eficiente quanto para certificar o risco ou cobertura final. Embora esse acoplamento seja necessário para garantias de controle de risco de alta probabilidade (estilo PAC), os autores argumentam que ele é desnecessário quando o alvo é a cobertura conformal marginal padrão em amostras finitas. Reutilizar dados de calibração para busca e certificação quebra o argumento de troca exigido para garantias conformais de divisão padrão, frequentemente levando a limites excessivamente conservadores para manter a validade.

Metodologia: Otimização Conformal Desacoplada (DCO)
O artigo propõe a Otimização Conformal Desacoplada (DCO), especificamente o protocolo DCO-Warmstart, que adota um princípio de design "treinar-ajustar-calibrar". Essa abordagem separa explicitamente os papéis dos dados:

1. Divisão de Treinamento ($D_{train}$): Usada para ajustar o modelo bayesiano e definir a distribuição preditiva posterior.
2. Divisão de Ajuste ($D_{tune}$): Usada exclusivamente para seleção estrutural orientada à eficiência. O algoritmo busca sobre uma classe candidata de estruturas $\Phi$ (por exemplo, funções de escore, prioris, arquiteturas) e limites para minimizar o tamanho esperado do conjunto de predição sujeito a uma restrição de cobertura incorreta empírica. Crucialmente, o limite encontrado aqui ($\hat{\lambda}_{tune}$) é usado apenas para classificar candidatos e é descartado antes da implantação.
3. Divisão de Calibração ($D_{cal}$): Usada exclusivamente para calcular o quantil conformal final. Uma vez que uma única estrutura $\hat{\phi}_{tune}$ é selecionada a partir de $D_{tune}$, o limite final é calculado como o quantil empírico $(1-\alpha)$ dos escores de não conformidade computados na independente $D_{cal}$.

Essa separação restaura a lógica padrão de troca conformal de divisão. Como a estrutura final é fixada independentemente de $D_{cal}$, a prova padrão para cobertura marginal em amostras finitas se aplica diretamente, sem exigir um parâmetro de confiança ($\delta$) ou correções para testes múltiplos.

Principais Contribuições

• Princípio de Design: A formulação do DCO-Warmstart como um pipeline desacoplado onde escolhas estruturais são selecionadas em uma divisão de ajuste independente, e o quantil conformal final é computado em uma nova divisão de calibração.
• Garantia Teórica: Prova de que o DCO-Warmstart herda a garantia padrão de cobertura marginal em amostras finitas para qualquer classe candidata $\Phi$ (finita ou infinita), desde que a estrutura seja fixada independentemente dos dados de calibração. Nenhum parâmetro de confiança $\delta$ é necessário.
• Comparação Teórica: Um esclarecimento da distinção entre DCO-Warmstart e métodos acoplados (CRC/BQ). Enquanto o DCO visa cobertura marginal e CRC/BQ visam controle de risco de alta probabilidade, o artigo mostra que, sob suposições de consistência uniforme no estimador de risco, ambas as abordagens convergem para o mesmo limite populacional $\lambda^*$.
• Complexidade de Amostra: Uma desigualdade de oráculo para a etapa de ajuste, estabelecendo os requisitos de tamanho de amostra para a divisão de ajuste a fim de selecionar de forma confiável uma estrutura eficiente de uma classe candidata finita antes da etapa independente de calibração.

Resultados Experimentais
Os autores avaliam o DCO-Warmstart em benchmarks de regressão (Diabetes, California Housing, Concrete) e classificação (ImageNet-A, CIFAR-100), comparando-o com baselines no estilo BQ/CRC e uma baseline diagnóstica "DirectTune" (que otimiza em $D_{tune}$, mas carece de recalibração).

• Cobertura: O DCO-Warmstart acompanha de perto o nível de cobertura nominal (por exemplo, 0,801 versus alvo 0,8 no ImageNet-A), satisfazendo a garantia de cobertura marginal.
• Eficiência: O DCO-Warmstart produz consistentemente conjuntos de predição menores ou intervalos mais estreitos em comparação com as baselines acopladas BQ/CRC, que tendem a ser mais conservadoras.
  • ImageNet-A: Tamanho médio do conjunto reduzido de 26,52 (BQ) para 25,26; tamanho do conjunto no percentil 95 reduzido de 58,95 para 53,73.
  • Diabetes: Largura média do intervalo reduzida de 2,098 (BQ) para 1,914.
• Estudos de Ablação: Experimentos sobre alocação de divisões (por exemplo, proporção de ajuste/calibração de 33/67) sugerem que a divisão de ajuste deve ser grande o suficiente para estabilizar a seleção de candidatos, enquanto os dados restantes devem ser alocados para calibração para minimizar a variabilidade do quantil.

Significância e Alegações
O artigo alega que, para o objetivo específico de cobertura conformal marginal em amostras finitas, acoplar otimização e calibração nos mesmos dados é suficiente, mas não necessário. Ao desacoplar essas etapas, o DCO-Warmstart permite uma busca explícita por eficiência (otimizando estrutura e limites) enquanto retém as garantias rigorosas e livres de distribuição da validade da predição conformal de divisão padrão.

Os autores enfatizam que o DCO-Warmstart não é um substituto para métodos CRC/BQ quando o objetivo científico é o controle de risco de alta probabilidade (garantir que a restrição de risco se mantenha com confiança $1-\delta$ sobre a amostra de calibração). No entanto, quando o alvo é a cobertura marginal padrão, o DCO-Warmstart oferece uma alternativa teoricamente sólida e empiricamente mais eficiente, evitando o conservadorismo introduzido pelo acoplamento dos processos de busca e certificação em uma única divisão de dados.