Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting

Este trabalho apresenta um framework robusto para quantificação de incerteza em cenários com rótulos corrompidos, analisando a resiliência do método de Predição Conformal Privilegiada (PCP) a erros de ponderação e propondo uma nova técnica de Imputação Incerta (UI) com garantias teóricas que, integradas, formam um sistema triplamente robusto capaz de gerar previsões estatisticamente válidas mesmo sob falhas parciais das premissas.

O essencial

Imagine que você é um chef de cozinha tentando prever o sabor de um novo prato (o resultado) com base nos ingredientes que tem na mão (os dados). O seu objetivo é dizer aos clientes: "Este prato tem 90% de chance de ser delicioso".

Normalmente, você treinaria seu paladar provando muitos pratos feitos por outros chefs. Mas, e se alguns desses pratos tivessem rótulos errados?

• Um prato que era "apimentado" foi rotulado como "doce".
• Outro prato simplesmente não tinha nenhum rótulo (o chef esqueceu de escrever).

Se você tentar aprender com esses rótulos bagunçados, sua previsão de "90% de chance" vai falhar. Você pode achar que o prato é seguro, mas na verdade é perigoso (ou vice-versa). Isso é o problema que este artigo resolve.

Aqui está a explicação do trabalho, traduzida para uma linguagem simples e cheia de analogias:

---

O Problema: O Mapa Está Rasgado

A técnica tradicional de previsão de incerteza (chamada Conformal Prediction) funciona como um GPS. Ela olha para o histórico de viagens (dados de treino) e diz: "Com base no que aconteceu antes, a rota segura é esta".

Mas, se o seu GPS estiver usando um mapa antigo ou com ruas apagadas (dados corrompidos), ele vai te dar uma rota segura para um lugar que não existe mais. O artigo mostra que, quando os dados de treino estão "sujos" (rótulos faltando ou errados), o GPS tradicional falha e você acaba perdendo a confiança na previsão.

A Solução 1: O "Detetive de Contexto" (Privileged Information)

O artigo propõe uma ideia genial: e se, durante o treinamento, você tivesse acesso a um segredo que os clientes não têm?

• Exemplo: Ao treinar, você sabe a história completa do cliente (renda, raça, sentimentos), mas no momento de fazer a previsão real, o cliente não quer revelar isso por privacidade.

Os autores usam essa informação extra (chamada de Informação Privilegiada) para "pesar" os dados. É como se você dissesse: "Ah, esse rótulo errado veio de um cliente com perfil X, então vamos dar menos peso a ele".

• O Desafio: Às vezes, você não consegue adivinhar exatamente qual é o peso certo (o "segredo" é difícil de decifrar).
• A Descoberta Surpreendente: Os autores provaram matematicamente que, mesmo que você erre um pouco na estimativa desse peso (o "detetive" não seja perfeito), o sistema ainda funciona! É como tentar acertar o peso de um pacote numa balança: se você errar um pouquinho, a balança ainda consegue te dizer se o pacote é seguro ou não. O sistema é robusto a pequenos erros.

A Solução 2: O "Chefe de Cozinha Cético" (Imputação Incerta)

E se você não conseguir usar os pesos de jeito nenhum? O que fazer?
Aqui entra a segunda técnica, chamada Imputação Incerta (Uncertain Imputation).

Em vez de tentar adivinhar o rótulo perdido e escrever um número falso no caderno (o que é perigoso), o método faz algo mais inteligente:

1. Ele olha para os ingredientes e diz: "Provavelmente o prato é um Risoto."
2. Mas, em vez de escrever apenas "Risoto", ele escreve: "Risoto, mais ou menos".
3. Ele adiciona uma "porção de dúvida" ao rótulo. É como se ele dissesse: "Se o rótulo estava faltando, vou inventar um rótulo, mas vou adicionar um tempero extra de incerteza para garantir que não estou sendo muito confiante."

A Analogia: Imagine que você está tentando adivinhar a temperatura de um dia nublado.

• Método antigo (Imputação Ingênua): Você olha para o céu e diz "Está 25°C". Se estiver errado, sua previsão falha.
• Método do Artigo (Imputação Incerta): Você diz "Está entre 22°C e 28°C". Mesmo que você não saiba a temperatura exata, você garantiu que a resposta certa está dentro desse intervalo. O método "injeta" incerteza propositalmente para proteger a validade da previsão.

A Solução Final: O "Tríplice Segredo" (Triply Robust)

Os autores combinaram tudo isso em um super-sistema chamado Triply Robust.

Pense nisso como um tripé de três pernas. Para o tripé ficar em pé (para a previsão ser válida), basta que pelo menos uma das pernas esteja forte:

1. Perna 1: O modelo de previsão é perfeito (raro, mas possível).
2. Perna 2: O "Detetive de Contexto" (pesos) acertou a estimativa.
3. Perna 3: O "Chefe Cético" (imputação incerta) conseguiu estimar bem o rótulo.

Se qualquer uma dessas três condições for verdadeira, o sistema garante que a previsão será segura e confiável. É como ter três guarda-chuvas: se um furar, você ainda tem dois para se proteger da chuva.

Resumo da Ópera

Este artigo nos ensina que, mesmo quando os dados de treinamento estão bagunçados (rótulos faltando ou errados), não precisamos desistir.

• Podemos usar informações extras que só temos durante o treino para corrigir o viés.
• Se não conseguirmos corrigir o viés, podemos "injetar dúvida" nos dados faltantes para garantir que nossa previsão seja segura.
• E, o melhor de tudo, podemos combinar essas estratégias para criar um sistema à prova de falhas, onde a previsão continua válida mesmo se uma das técnicas falhar.

É como aprender a dirigir em uma estrada com neblina: você não precisa ver o fim da pista perfeitamente; você só precisa ter o sistema de freios e os faróis certos para garantir que você não saia da estrada.

Resumo técnico

Resumo Técnico: Conformal Prediction com Rótulos Corrompidos

1. Problema e Motivação

O trabalho aborda o desafio de realizar quantificação de incerteza confiável em cenários de aprendizado de máquina onde os dados de treinamento possuem rótulos corrompidos (ruídosos ou ausentes).

• Contexto: A Conformal Prediction (CP) é uma ferramenta estatística robusta para gerar conjuntos de previsão que cobrem o rótulo verdadeiro com uma probabilidade pré-especificada (ex: 90%). No entanto, a validade teórica da CP padrão depende da suposição de que os dados de treinamento e teste são exchangeable (geralmente i.i.d.).
• O Desafio: Quando os rótulos estão corrompidos (ex: missing-at-random dependente de características), ocorre uma mudança de distribuição (distribution shift) entre o conjunto de calibração (apenas dados observados) e o conjunto de teste. Isso viola a premissa de exchangeability, levando a estimativas de incerteza não confiáveis (subcobertura) se métodos padrão forem aplicados diretamente.
• Limitações de Métodos Existentes:
  • Weighted Conformal Prediction (WCP): Requer acesso às características de teste para calcular pesos de reponderação. Em muitos cenários reais (ex: privacidade), essas características ("Informação Privilegiada" ou PI) não estão disponíveis no momento do teste.
  • Privileged Conformal Prediction (PCP): Uma extensão recente que usa PI apenas no treinamento para estimar pesos. Contudo, o PCP assume que os pesos são estimados com precisão. O artigo questiona: o que acontece se os pesos forem mal estimados?

2. Metodologia Proposta

Os autores propõem uma análise de robustez para métodos baseados em pesos e introduzem uma nova técnica de imputação. O trabalho é dividido em três partes principais:

A. Análise de Robustez do PCP e WCP a Pesos Inacurados
Os autores investigam se o PCP e o WCP mantêm a cobertura válida quando os pesos de reponderação ($w$) são estimados com erro.

• Teoria: Eles derivam condições teóricas (Teoremas 2 e 3) que caracterizam quando o método permanece válido.
• Descoberta Chave: O PCP pode ser robusto a erros significativos nos pesos. A validade depende da relação entre a cobertura do "Naive CP" (CP padrão sem pesos) e a cobertura teórica ideal.
  • Se o Naive CP tende a superestimar a cobertura (over-coverage), o PCP permanece válido mesmo com erros grandes nos pesos.
  • Se o Naive CP tende a subestimar (under-coverage), os erros nos pesos devem estar dentro de um intervalo específico e estreito para manter a validade.
• Implicação: Em muitos casos práticos, a necessidade de estimar pesos perfeitos é menos crítica do que se pensava, desde que o erro não viole certas condições de viés.

B. Imputação Incerta (Uncertain Imputation - UI)
Para cenários onde a estimativa de pesos é difícil ou impossível (ou quando os pesos são muito imprecisos), os autores propõem a Uncertain Imputation (UI).

• Conceito: Em vez de tentar reponderar a distribuição, o UI imputa os rótulos corrompidos de uma maneira que preserva a incerteza estatística.
• Mecanismo:
  1. Utiliza a Informação Privilegiada ($Z$) para treinar um modelo preditivo $\hat{g}(X, Z)$ que estima o rótulo verdadeiro.
  2. Calcula os resíduos (erros) desse modelo em um conjunto de referência.
  3. Para os rótulos corrompidos, em vez de usar apenas a previsão pontual $\hat{g}(X, Z)$, o método imputa: $\bar{Y} = \hat{g}(X, Z) + \epsilon$, onde $\epsilon$ é uma amostra aleatória da distribuição de erros condicionada a $Z$.
• Vantagem: Ao adicionar o ruído do erro de estimativa de volta ao rótulo imputado, o método preserva a variabilidade necessária para que a CP funcione corretamente, garantindo cobertura válida mesmo sem estimar pesos de reponderação.

C. Conformal Prediction Triplamente Robusta (TriplyRobust)
Os autores combinam três abordagens em um único esquema de calibração:

1. Naive CP: Válido se o modelo base for ideal e não houver viés (raro em dados corrompidos).
2. PCP: Válido se os pesos (probabilidades de corrupção) forem bem estimados.
3. UI: Válido se o rótulo puder ser bem estimado a partir da PI e os erros forem independentes.

• Mecanismo: O conjunto final de previsão é a união dos conjuntos gerados pelas três abordagens: $C_{Triply} = C_{Naive} \cup C_{PCP} \cup C_{UI}$.
• Garantia: O método é triplamente robusto: garante a cobertura nominal (ex: 90%) se pelo menos uma das três premissas subjacentes for satisfeita.

3. Contribuições Principais

1. Análise Teórica de Robustez: Caracterização formal das condições sob as quais o PCP e o WCP permanecem válidos com pesos imperfeitos, mostrando que a robustez é maior do que o esperado em cenários de over-coverage.
2. Novo Método (UI): Introdução da Imputação Incerta, uma técnica que não depende da estimativa de pesos de reponderação, mas sim da capacidade de estimar rótulos a partir de PI, preservando a incerteza através da amostragem de resíduos.
3. Esquema Triplamente Robusto: Proposta de um framework unificado que garante validade estatística sob múltiplos cenários de falha, aumentando a confiabilidade em aplicações do mundo real.
4. Validação Empírica: Demonstração em dados sintéticos e reais (incluindo MEPS, Facebook, House, Bio) de que o UI supera o PCP quando os pesos são difíceis de estimar, e que o TriplyRobust mantém a cobertura sem sacrificar excessivamente a eficiência (tamanho do intervalo).

4. Resultados Experimentais

• Robustez de Pesos: Em experimentos sintéticos, o PCP manteve a cobertura válida mesmo com erros constantes ou variáveis nos pesos, alinhando-se com as fronteiras teóricas derivadas.
• Comparação UI vs. PCP: Em cenários onde a estimativa de pesos é difícil (mecanismo de missing complexo), o PCP falhou em atingir a cobertura de 90%, enquanto o UI atingiu consistentemente a cobertura desejada.
• Dados Reais (MEPS e outros): O UI produziu intervalos de previsão que foram estatisticamente válidos e eficientes (não excessivamente largos), superando métodos de imputação ingênua (que geram subcobertura) e o PCP com pesos estimados.
• TriplyRobust: A união dos métodos garantiu a cobertura nominal em todos os cenários testados, demonstrando que a estratégia de "unir" as previsões é eficaz para mitigar riscos de falha de um único método.

5. Significância e Impacto

Este trabalho é significativo para a comunidade de aprendizado de máquina e estatística por:

• Resolver um gargalo prático: A maioria dos métodos de CP robusta a dados corrompidos exige suposições fortes sobre a estimabilidade de pesos ou modelos. O UI remove essa barreira, oferecendo uma alternativa viável quando a PI é boa para prever rótulos, mas ruim para prever padrões de missingness.
• Garantia de Segurança: Em aplicações de alto risco (saúde, finanças), onde rótulos podem ser incompletos ou ruidosos, o framework TriplyRobust oferece uma rede de segurança estatística, garantindo que a incerteza seja quantificada corretamente mesmo que parte do modelo falhe.
• Avanço Teórico: As condições de robustez derivadas para WCP/PCP fornecem novos insights sobre a tolerância de métodos de conformal prediction a erros de modelagem, sugerindo que a "perfeição" na estimativa de pesos não é sempre um requisito estrito para validade.

Em resumo, o paper oferece um conjunto de ferramentas teóricas e práticas para garantir que a quantificação de incerteza permaneça válida e confiável em um mundo de dados imperfeitos, combinando reponderação robusta e imputação estocástica inteligente.