Null-Calibrated Conformal Selection via Target-Membership Scores

Resumo Técnico: Seleção Conformal Calibrada pelo Nulo via Pontuações de Pertencimento ao Alvo

1. Definição do Problema

A seleção conformal visa identificar candidatos de teste em um conjunto cujas respostas desconhecidas caem dentro de uma região alvo $I \subseteq \mathcal{Y}$ especificada pelo usuário, enquanto controla a Taxa de Descobertas Falsas (FDR). O desafio reside em equilibrar dois objetivos: minimizar as descobertas falsas (candidatos selecionados onde $Y \notin I$) e maximizar o poder (selecionar o maior número possível de alvos verdadeiros).

As metodologias existentes tipicamente herdam pontuações de não conformidade da predição conformal, tais como resíduos assinados, resíduos clipados ou pontuações de quantil condicional. Essas pontuações são projetadas para tarefas de predição (estimar $Y$) em vez de tarefas de seleção (determinar se $Y \in I$). Os autores argumentam que essas pontuações orientadas para predição podem estar estruturalmente desalinhadas com o objetivo de seleção, particularmente quando a região alvo é um intervalo, impulsionada pela variância, multimodal ou definida por múltiplas condições. Nesses casos, uma alta pontuação de predição (ex: uma média condicional elevada) não implica necessariamente uma alta probabilidade de pertencimento ao alvo.

2. Metodologia

O Princípio do Pertencimento ao Alvo
O artigo propõe uma mudança fundamental na seleção de pontuações: a pontuação natural para seleção conformal é a probabilidade de pertencimento ao alvo:
$$\eta_I(x) = P(Y \in I \mid X = x)$$
Esta pontuação trata o problema de seleção como uma tarefa de classificação binária onde o rótulo é $Z = \mathbb{I}\{Y \in I\}$. Pelo lema de Neyman–Pearson, o limiar de qualquer transformação monótona de $\eta_I(x)$ produz o ranking oracle para maximizar a probabilidade de seleção do alvo em um nível de seleção nula fixo.

Caracterização do Alinhamento Pontuação-Alvo
O artigo caracteriza rigorosamente quando as pontuações convencionais são suficientes e quando elas falham:

• Alvos Monótonos em relação à Média: Para alvos de um lado só (ex: $I = [c, \infty)$) onde o pertencimento ao alvo é monótono em relação à média condicional, as pontuações convencionais (resíduos, razões de verossimilhança) induzem o mesmo ranking que $\eta_I(x)$. Nesses regimes, o novo princípio recupera a prática existente sem oferecer vantagem de poder.
• Alvos Desalinhados: Para alvos de intervalo, alvos impulsionados pela variância, distribuições multimodais ou alvos de múltiplas condições, as pontuações convencionais frequentemente falham em se alinhar com $\eta_I(x)$. Por exemplo, em um alvo de intervalo impulsionado pela variância, a média condicional pode não conter informação sobre o pertencimento, enquanto $\eta_I(x)$ captura o sinal relevante.

Seleção Conformal Calibrada pelo Nulo (NCCS)
Para operacionalizar a pontuação de pertencimento, o artigo introduz a NCCS, uma rota de calibração específica que converte o ranking em p-valores válidos para amostras finitas.

1. Aprendizado de Pontuação: Uma pontuação de pertencimento ao alvo $g(x)$ é aprendida em uma divisão dedicada ($D_{sc}$) usando rótulos binários $Z_i = \mathbb{I}\{Y_i \in I\}$. O artigo sugere o uso de regressão logística sensível ao custo ou árvores de boosting de gradiente.
2. Calibração pelo Nulo: Diferente da seleção conformal padrão, que compara a pontuação de teste contra todos os exemplos de calibração, a NCCS compara as pontuações de teste apenas contra exemplos de calibração confirmados como não-alvos ($C_0 = \{i \in D_{cal} : Y_i \notin I\}$).
3. Construção do P-valor: Para um candidato de teste $j$, o p-valor calibrado pelo nulo é:
   $$p_j(g) = \frac{1 + \#\{i \in C_0 : g(X_i) \ge g(X_{N+j}\})}{|C_0| + 1}$$
4. Seleção: Esses p-valores são submetidos a um procedimento de testes múltiplos (ex: Benjamini–Hochberg ou Benjamini–Yekutieli) para selecionar o conjunto final.

3. Principais Contribuições

1. Princípio do Pertencimento ao Alvo: O artigo estabelece que a seleção conformal deve ser vista como um problema de classificação para o evento $Y \in I$. Ele identifica $\eta_I(x)$ como a pontuação de ranking oracle da população, fornecendo uma base teórica para a seleção de pontuação que é distinta das pontuações orientadas para predição.
2. Caracterização do Alinhamento: Ele delineia precisamente a fronteira onde as pontuações convencionais funcionam (alvos monótonos em relação à média) versus onde elas falham (alvos de intervalo, impulsionados pela variância, multimodais ou de múltiplas condições), explicando por que a pontuação de pertencimento é o "reparo canônico" para estes últimos.
3. Validade em Amostra Finita via NCCS: O artigo isola uma rota de calibração específica (NCCS) que garante a validade de p-valores nulos em amostras finitas sob trocaabilidade nula. Isso a distingue da limitação direta de FDP empírica (ex: Qin et al., 2025), que controla o FDR apenas assintoticamente e pode ser anti-conservadora quando os alvos são raros.
4. Validação Empírica: Experimentos confirmam as previsões teóricas:
   • Em alvos monótonos em relação à média, as pontuações de pertencimento performam de forma similar às pontuações convencionais.
   • Em alvos de intervalo impulsionados pela variância, as pontuações de média (mean-score) falham substancialmente (poder $\approx 0$), enquanto a NCCS retém poder substancial.
   • A NCCS mantém o controle estrito de FDR em amostras finitas, enquanto o limiar direto de FDP pode exceder o nível nominal de FDR, particularmente em regimes de alvos raros.

4. Resultados e Limitações

Descobertas Experimentais

• Regime de Monotonia de Média: Em um cenário de alvo de cauda superior, a NCCS-BH (usando Benjamini–Hochberg) foi mais conservadora que o limiar de cfBH clipado ou o limiar de Neyman–Pearson direto (Qin-NP), resultando em menor poder, mas controle de FDR semelhante. Isso confirma que o princípio não infla artificialmente o poder onde os métodos convencionais já funcionam.
• Regime Impulsionado pela Variância: Em um cenário de alvo de intervalo impulsionado pela variância condicional, os métodos de pontuação de média (Mean-Null-BH) falharam completamente (poder $\approx 0$). A NCCS-BH manteve um poder substancial ($0.288$) em comparação ao oracle ($0.354$), superando significativamente as abordagens baseadas em média.
• Alvos Raros: Quando a frequência do alvo era baixa, o limiar direto de FDP empírica (Qin-NP) exibiu FDR inflado (ex: $0.170$ vs. nominal $0.10$), enquanto a NCCS-BH permaneceu estritamente abaixo do nível nominal, demonstrando sua robustez em cenários de eventos raros em amostras finitas.

Alegações Modestas e Limitações
Os autores declaram explicitamente que a NCCS não é apresentada como uma vencedora universal de poder.

• Troca de Poder (Trade-off): A NCCS é frequentemente mais conservadora que o limiar direto de Neyman–Pearson porque depende da validade de p-valores em amostras finitas em vez da estimativa assintótica de FDP.
• Alvos Raros: Aprender a própria pontuação de pertencimento pode ser difícil quando o evento alvo é raro, potencialmente exigindo modelos distributivos ou bayesianos para eficiência.
• Trocaabilidade: A validade em amostra finita da NCCS depende da suposição de trocaabilidade nula. Sob mudança de covariável ou mudança de rótulo, o conjunto de calibração nulo pode não representar os candidatos de teste nulos, necessitando de calibração ponderada (uma direção deixada para trabalhos futuros).
• Escopo: O artigo foca no princípio e em sua caracterização, em vez de promover um único método como superior em todos os contextos. A contribuição é a identificação da pontuação correta para alvos gerais e uma rota de calibração com uma garantia específica de validade.

5. Significância

A significância do artigo reside em reformular a seleção conformal como um problema de classificação, identificando assim a probabilidade de pertencimento ao alvo como a pontuação teoricamente ótima. Ele fornece uma fronteira clara e testável para quando essa nova abordagem é necessária (alvos não monótonos) e quando ela é redundante. Além disso, introduz a NCCS como um método prático que prioriza a validade em amostras finitas sobre o poder assintótico, oferecendo uma solução robusta para problemas de seleção onde o controle de descobertas falsas em amostras pequenas ou regimes de eventos raros é crítico.