PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

Resumo Técnico: PCS-UQ: Quantificação de Incerteza via o Framework de Previsibilidade-Computabilidade-Estabilidade

Declaração do Problema
À medida que os sistemas de aprendizado de máquina (ML) são implantados em domínios de alto risco, a necessidade de uma quantificação de incerteza (UQ) confiável tornou-se crítica para a segurança e confiabilidade. A inferência estatística tradicional depende da especificação de um modelo generativo correto, uma suposição frequentemente violada por modelos complexos modernos (ex: grandes modelos de linguagem) e conjuntos de dados massivos e multimodais. A inferência conformal oferece uma alternativa livre de distribuição que garante cobertura marginal sob troca de ordem (exchangeability), mas sofre de três limitações principais: (1) carece de um mecanismo explícito para triagem de adequação do modelo, podendo produzir conjuntos de predição instáveis ou desnecessariamente amplos se o modelo base for ruim; (2) sua validade é marginal, levando frequentemente a falhas de cobertura em subgrupos específicos; e (3) as comparações empíricas de métodos conformais através de diversas condições do mundo real permanecem limitadas. Além disso, o "jardim dos caminhos bifurcados" no ciclo de vida da ciência de dados — escolhas relativas à limpeza de dados, seleção de modelos e hiperparâmetros — cria um universo oculto de incerteza que é frequentemente ignorado pelos métodos padrão de UQ.

Metodologia: O Framework PCS-UQ
Os autores propõem o PCS-UQ, um framework fundamentado nos princípios de Previsibilidade-Computabilidade-Estabilidade (PCS) para a ciência de dados verídica. O método é projetado para produzir intervalos de predição robustos (para regressão) e conjuntos de predição (para classificação) integrando triagem de modelo, reamostragem e calibração adaptativa.

1. Previsibilidade (Triagem de Modelo): O framework começa com um conjunto candidato de algoritmos. Os dados são divididos em conjuntos de treinamento e validação. Os algoritmos são treinados no conjunto de treinamento, e aqueles que performam mal no conjunto de validação (baseado em uma função de perda) são filtrados. Isso garante que a incerteza seja quantificada apenas usando modelos que capturem suficientemente o processo gerador de dados subjacente.
2. Estabilidade (Bootstrapping): Para avaliar a variabilidade de amostra finita e a instabilidade algorítmica, o conjunto filtrado de algoritmos é ajustado em múltiplos conjuntos de dados via bootstrap. Isso cria uma "pseudo-população" de modelos. Para regressão, o método utiliza amostras Out-of-Bag (OOB) para garantir o uso eficiente de dados sem exigir um conjunto de validação fixo separado para cada iteração de bootstrap.
3. Computabilidade (Calibração e Eficiência):
   • Calibração Multiplicativa: Diferente dos métodos conformais padrão que utilizam calibração aditiva (expandindo intervalos por uma constante fixa), o PCS-UQ emprega um esquema de calibração multiplicativa inovador. Ele escala a largura do intervalo com base na dispersão local das predições do bootstrap. Isso permite que o intervalo se amplie adaptativamente para amostras onde o ensemble de modelos exibe alta incerteza, melhorando a cobertura local e de subgrupos.
   • Aproximações de Deep Learning: Para abordar o custo computacional de treinar múltiplos modelos de deep learning, os autores propõem duas variantes de aproximação: (1) Monte-Carlo Dropout Ponderado, onde nós são descartados proporcionalmente à ativação, e (2) Perturbação de Ruído Aditivo, onde ruído Gaussiano é adicionado aos pesos. Esses métodos geram modelos perturbados a partir de uma única rede treinada, contornando o retreinamento caro.

Principais Contribuições

• Framework Inovador: Introdução do PCS-UQ, que unifica a triagem de modelo, avaliação de estabilidade baseada em bootstrap e calibração multiplicativa para abordar as limitações dos métodos conformais existentes.
• Compilação de Benchmarks: Criação de um benchmark abrangente composto por 17 conjuntos de dados de regressão do mundo real e 6 conjuntos de dados de classificação multiclasse. Crucialmente, os autores construíram manualmente subgrupos naturais para cada conjunto de dados (baseados em distribuições de características) para avaliar rigorosamente a cobertura de subgrupos, uma métrica frequentemente negligenciada na literatura conformal.
• Conexão Teórica: O artigo estabelece um vínculo formal entre o PCS-UQ e a inferência conformal. Demonstra que o passo de calibração multiplicativa pode ser visto como uma nova função de score conformal. Sob um algoritmo modificado (dividindo os dados em conjuntos de treinamento, validação e calibração), os autores provam que o PCS-UQ preserva a cobertura válida sob troca de ordem, efetivamente unindo os princípios de PCS com a inferência conformal de divisão (split conformal inference).
• Escalabilidade: Desenvolvimento de variantes computacionalmente eficientes para deep learning que mantêm a cobertura válida enquanto reduzem significativamente o tempo de execução em comparação ao retreinamento completo por bootstrap.

Resultos

• Desempenho de Regressão: Através de 17 conjuntos de dados do mundo real, o PCS-UQ manteve a cobertura marginal alvo de 90%, enquanto produziu intervalos de predição que foram, em média, 10–20% mais estreitos do que as linhas de base conformais de "seleção oracle" (Split Conformal, Studentized Conformal e Jackknife+-after-Bootstrap).
• Cobertura de Subgrupos: O PCS-UQ alcançou consistentemente a cobertura alvo através dos subgrupos construídos. Em contraste, métodos conformais padrão (mesmo com modelos selecionados por oracle) exibiram frequentemente falhas de cobertura em subgrupos específicos. A calibração multiplicativa foi identificada como o principal motor para essa adaptatividade de subgrupo.
• Desempenho de Classificação: Em 6 conjuntos de dados de classificação multiclasse, o PCS-UQ reduziu os tamanhos dos conjuntos de predição em aproximadamente 20% comparado às linhas de base conformais (APS, RAPS, TopK), mantendo 90% de cobertura.
• Eficiência de Deep Learning: Em três benchmarks de visão computacional (CIFAR-100, Caltech Birds, ImageNet-Small), os métodos de aproximação propostos reduziram os tamanhos dos conjuntos de predição em ~20% sobre as linhas de base conformais. Essas aproximações foram 30–100 vezes mais rápidas que o original baseado em bootstrap do PCS-UQ, estabelecendo um equilíbrio entre eficiência computacional e qualidade do intervalo.

Significância
O artigo argumenta que uma UQ confiável requer uma visão mais ampla do ciclo de vida da ciência de dados, indo além da dependência de modelos generativos corretamente especificados ou garantias marginais puras. Ao integrar o framework PCS, os autores demonstram que é possível alcançar tanto larguras de intervalo competitivas quanto cobertura consistente de subgrupos. O trabalho destaca que a verificação explícita do modelo (previsibilidade) e a calibração adaptativa (escalonamento multiplicativo) são essenciais para uma quantificação de incerteza robusta em configurações complexas do mundo real. A conexão teórica com a inferência conformal valida ainda mais as escolhas metodológicas, sugerindo que o PCS-UQ oferece um caminho prático e teoricamente fundamentado para a tomada de decisão responsável em IA.