Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score

Este artigo propõe o SemiCP, um novo paradigma de predição conformal semi-supervisionada que utiliza uma pontuação de não-conformidade baseada em correspondência de vizinhos mais próximos (NNM) para aproveitar dados não rotulados na calibração, reduzindo significativamente a instabilidade e o erro de cobertura quando há poucos dados rotulados disponíveis.

O essencial

Imagine que você é um médico tentando diagnosticar um paciente. Você usa um modelo de Inteligência Artificial (IA) para ajudar. A IA diz: "Este paciente tem 90% de chance de ter gripe". Mas, e se a IA estiver errada? E se, na verdade, for pneumonia?

Aqui entra o Conformal Prediction (Previsão Conformada). Em vez de dar apenas uma resposta, ele diz: "Com 95% de certeza, o paciente tem ou gripe ou pneumonia". É como dar um guarda-chuva: você não sabe exatamente onde vai chover, mas garante que o guarda-chuva cobre você.

O problema é que, para calibrar esse "guarda-chuva" (decidir o tamanho certo), a IA precisa de muitos exemplos de pacientes já diagnosticados (rótulos). Mas, na vida real, ter muitos diagnósticos confirmados é caro e difícil. Quando há poucos exemplos, o "guarda-chuva" fica instável: às vezes é minúsculo (e você se molha), às vezes é gigantesco (e você se atrapalha).

A Solução: SemiCP (O "Mestre" que usa ajudantes)

Os autores deste paper criaram uma nova técnica chamada SemiCP. A ideia genial é: "E se usarmos os pacientes que ainda não têm diagnóstico (dados não rotulados) para ajudar a calibrar o guarda-chuva?"

Aqui está como funciona, usando uma analogia simples:

1. O Problema do "Chapéu de Palha" (Dados Não Rotulados)

Você tem 20 pacientes com diagnóstico confirmado (rótulos) e 4.000 pacientes sem diagnóstico.

• Método Antigo: Ignora os 4.000. Usa apenas os 20. O resultado é um guarda-chuva instável.
• O Desafio: Como usar os 4.000 se você não sabe quem eles são? Você não pode simplesmente inventar o diagnóstico deles.

2. A Técnica Mágica: "NNM" (O Detetive de Vizinhos)

Aqui entra a parte criativa do paper, chamada Nearest Neighbor Matching (Correspondência do Vizinho Mais Próximo).

Imagine que você tem um paciente sem diagnóstico (vamos chamá-lo de "João").

1. A IA olha para João e diz: "Parece que ele tem Gripe" (isso é um pseudo-rótulo, uma aposta).
2. Agora, a IA vai até a sala dos 20 pacientes diagnosticados e procura: "Quem se parece mais com o João na opinião da IA?"
3. Ela encontra "Maria". A IA disse que Maria tem Gripe, mas o médico confirmou que Maria tem Pneumonia.
4. O Pulo do Gato: A IA percebeu que, quando ela acha que é Gripe, na verdade costuma ser Pneumonia (para esse tipo de caso). Ela calcula o "erro" ou "viés" que a IA cometeu com Maria.
5. Ela aplica esse mesmo "ajuste de erro" no João.

Em resumo: O método não precisa saber a verdade absoluta sobre os 4.000 pacientes. Ele apenas olha para os poucos que ele já sabe e diz: "Ah, quando a IA acha que é X, mas é Y, eu sei como corrigir isso. Vou usar essa lógica para ajustar a confiança nos outros 4.000".

Por que isso é incrível?

• Estabilidade: Com apenas 20 exemplos reais, o método antigo era como tentar adivinhar o clima olhando apenas uma nuvem. Com o SemiCP, ele olha para 4.000 nuvens (mesmo sem saber o nome delas) e usa os 20 exemplos para entender o padrão. O resultado é um guarda-chuva muito mais estável.
• Eficiência: O método antigo, por inseguro, tendia a criar listas gigantes de possibilidades (ex: "Pode ser gripe, pneumonia, alergia, resfriado..."). O SemiCP, ao entender melhor o padrão, consegue dizer: "É quase certeza que é Gripe ou Pneumonia", tornando a lista menor e mais útil.
• Sem Custo Extra: Eles não precisaram treinar novos modelos complexos ou gastar milhões. Eles apenas usaram os dados que já tinham, mas de uma forma mais inteligente.

A Conclusão em uma Frase

O SemiCP é como ter um mestre de xadrez (os dados rotulados) que ensina um grupo de aprendizes (os dados não rotulados) a jogar melhor, apenas mostrando onde eles erram em relação aos mestres, sem precisar que os aprendizes saibam todas as regras de cor. O resultado é um time muito mais forte e confiável, mesmo com poucos mestres disponíveis.

Isso significa que, no futuro, poderemos ter sistemas de IA mais seguros em medicina, finanças e carros autônomos, mesmo quando tivermos poucos dados confirmados para treinar, pois saberemos exatamente o quanto podemos confiar neles.

Resumo técnico

1. O Problema

A Previsão Conformal (CP) é um framework estatístico poderoso para quantificação de incerteza, capaz de gerar conjuntos de previsão com garantias de cobertura (ou seja, a probabilidade de o rótulo verdadeiro estar no conjunto é garantida). No entanto, a abordagem padrão, conhecida como Previsão Conformal Dividida (Split Conformal Prediction), depende exclusivamente de um conjunto de calibração rotulado para estimar o limiar de decisão.

O problema central identificado pelos autores é a instabilidade e a ineficiência que surgem quando os dados rotulados são escassos (cenários de few-shot ou small-sample).

• Instabilidade: Com poucos dados de calibração, a cobertura empírica varia drasticamente entre diferentes execuções, podendo falhar em atingir a cobertura nominal desejada ($1-\alpha$).
• Ineficiência: Para compensar a incerteza estatística causada pela pequena amostra, o método tende a gerar conjuntos de previsão excessivamente grandes, reduzindo a utilidade prática da previsão.
• Limitação Atual: Métodos existentes que tentam mitigar isso (como interpolação ou meta-aprendizado) são heurísticos, não oferecem garantias de amostra finita ou dependem de tarefas auxiliares complexas.

2. Metodologia: SemiCP e NNM

Os autores propõem o SemiCP (Previsão Conformal Semi-Supervisionada), um novo paradigma que utiliza tanto dados rotulados quanto dados não rotulados para a calibração, sem necessidade de retreinamento do modelo.

O núcleo da metodologia é a introdução de uma nova função de pontuação para dados não rotulados chamada Nearest Neighbor Matching (NNM) (Correspondência de Vizinho Mais Próximo).

Funcionamento do NNM:

1. Geração de Pseudo-rótulos: Um classificador pré-treinado gera pseudo-rótulos ($\hat{y}$) para os dados não rotulados.
2. Problema do Viés: Usar diretamente a pontuação de não-conformidade baseada no pseudo-rótulo ($S(\tilde{x}, \hat{y})$) cria um viés sistemático, pois o modelo tende a escolher a classe mais confiante, subestimando a pontuação real.
3. Correção de Viés Local: O NNM corrige esse viés utilizando os dados rotulados disponíveis:
   • Para cada amostra não rotulada $\tilde{x}_i$, o algoritmo encontra a amostra rotulada $x_j$ cujo pseudo-pontuação é mais similar à do $\tilde{x}_i$.
   • Calcula-se o viés observado na amostra rotulada correspondente: $\Delta(x_j) = S(x_j, y_j) - S(x_j, \hat{y}_j)$.
   • Aplica-se esse viés local para corrigir a pontuação da amostra não rotulada:
     $$\tilde{S}_{nnm}(\tilde{x}_i) = S(\tilde{x}_i, \hat{y}_i) + \Delta(x_j)$$
4. Calibração Híbrida: O conjunto de calibração é expandido com as pontuações corrigidas dos dados não rotulados. O limiar ($\hat{\tau}$) é calculado sobre a união das pontuações dos dados rotulados e não rotulados.

3. Contribuições Chave

• Novo Paradigma (SemiCP): A primeira abordagem que integra dados não rotulados diretamente na calibração da Previsão Conformal para estabilizar a estimativa de quantis.
• Método NNM: Uma técnica de pontuação de não-conformidade para dados não rotulados que é training-free (não requer treinamento adicional) e baseada em correspondência de vizinhos no espaço de pontuação pseudo.
• Garantias Teóricas:
  • Demonstração de que o Gap de Cobertura Médio (diferença absoluta entre a cobertura empírica e a alvo) diminui na taxa $O(1/\sqrt{N})$, onde $N$ é o número de dados não rotulados.
  • Prova de que, sob condições de regularidade, a distribuição das pontuações estimadas converge para a distribuição verdadeira das pontuações à medida que o número de dados rotulados aumenta.
• Versatilidade: O método é compatível com diversas funções de pontuação existentes (THR, APS, RAPS) e pode ser integrado a métodos condicionais (como ClusterCP) e de interpolação.

4. Resultados Experimentais

Os autores realizaram extensos experimentos em três conjuntos de dados de classificação de imagens: CIFAR-10, CIFAR-100 e ImageNet.

• Estabilidade e Eficiência:
  • Em cenários com apenas 20 dados rotulados e 4.000 não rotulados (CIFAR-10), o SemiCP reduziu o Gap de Cobertura Médio em até 77% em comparação ao método padrão.
  • O tamanho médio dos conjuntos de previsão foi reduzido em 5,7%, indicando maior eficiência sem sacrificar a cobertura.
• Convergência para o "Oracle": À medida que o número de dados não rotulados aumenta, o desempenho do SemiCP se aproxima do "Oracle" (um cenário ideal onde todos os dados não rotulados possuem rótulos verdadeiros).
• Robustez:
  • O método funcionou bem com 10 arquiteturas de modelos diferentes (ResNet, ViT, EfficientNet, etc.).
  • Demonstrou eficácia em configurações condicionais (por classe ou grupo).
  • Mostrou robustez contra distribution shift (mudança de distribuição), utilizando dados não rotulados do domínio alvo para recalibrar mesmo quando os dados rotulados eram enviesados.
• Comparação com Alternativas: O NNM superou métodos simples como "Naive" (usar pseudo-rótulo direto), "Debias" (correção global média) e "Random Match", mantendo a cobertura garantida enquanto reduzia o tamanho do conjunto.

5. Significado e Impacto

Este trabalho é significativo por resolver um dos principais gargalos da Previsão Conformal na prática: a dependência de grandes quantidades de dados rotulados para calibração.

• Viabilidade Prática: Permite a aplicação de CP em domínios onde a anotação de dados é cara ou difícil (como medicina ou finanças), utilizando a abundância de dados não rotulados para estabilizar a incerteza.
• Segurança: Ao reduzir a variabilidade da cobertura entre execuções, torna os sistemas de IA mais confiáveis e previsíveis para aplicações de alto risco.
• Simplicidade: A solução não requer re-treinamento de modelos complexos ou otimização computacional pesada, sendo fácil de implementar em pipelines existentes.

Em resumo, o SemiCP transforma dados não rotulados de um recurso subutilizado em uma ferramenta crítica para garantir a robustez e a eficiência da quantificação de incerteza em cenários de dados limitados.