Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

Resumo Técnico: Limites Válidos em Todos os Lugares para Proporções de Descobertas Falsas em Inferência Conformal

Declaração do Problema
Aplicações modernas de inferência conformal, como detecção de outliers e seleção de candidatos na descoberta de fármacos, frequentemente envolvem a seleção de amostras de teste com base na condição de que seus valores $p$ conformais caiam abaixo de um limiar específico. A confiabilidade dessas seleções é quantificada pela Proporção de Descobertas Falsas (FDP), definida como a fração de seleções incorretas entre todas as unidades selecionadas.

Métodos existentes, como o procedimento de Benjamini–Hochberg (BH), controlam principalmente a Taxa de Descobertas Falsas (FDR), que é o valor esperado da FDP sobre realizações repetidas de dados. Este artigo identifica duas limitações críticas no estado atual da arte:

1. Falta de Garantias Realizadas: Controlar o FDP esperado não garante que o FDP em um conjunto de dados específico seja pequeno. O FDP realizado pode exceder substancialmente o valor esperado, oferecendo nenhuma proteção por instância para os praticantes.
2. Inflexibilidade à Seleção Post Hoc: Garantias existentes exigem que o nível de significância $\alpha$ seja fixado com antecedência. Se um praticante inspeciona os dados e ajusta o limiar (por exemplo, para aumentar o número de descobertas), o controle da FDR é invalidado.

Os autores visam estabelecer limites superiores de amostra finita e livres de distribuição para o FDP que se mantenham simultaneamente sobre todos os limiares de rejeição possíveis $t \in [0, 1]$. Isso permite a seleção post hoc arbitrária do limiar enquanto mantém garantias estatísticas rigorosas.

Metodologia
O núcleo da estrutura proposta baseia-se na distribuição conjunta tratável de valores $p$ conformais "nulos" induzida pela suposição de exchangabilidade.

1. Variáveis Uniformes Conformais: Os autores definem variáveis uniformes conformais $u_j$ como ranks normalizados de escores de teste em relação a um conjunto de calibração. Sob exchangabilidade, o vetor dessas variáveis admite uma distribuição conjunta conhecida $P_{n,m}$ que é independente do mecanismo subjacente de geração de dados.
2. Construção de Envelope via Amostragem: Em vez de confiar em desigualdades de concentração (como Dvoretzky–Kiefer–Wolfowitz) que produzem limites lineares conservadores, os autores propõem amostrar da distribuição conjunta $P_{n,m}$ para construir um envelope de alta probabilidade para a função de distribuição acumulada (CDF) empírica dos valores $p$ nulos.
   • Eles definem uma estatística resumo $T(F)$ (por exemplo, estatísticas de Kolmogorov–Smirnov, Higher-Criticism ou Berk-Jones) aplicada à CDF empírica.
   • Gerando $B$ amostras de Monte Carlo de $P_{n,m}$, eles calculam o quantil $(1-\delta)$ da estatística para determinar um corte $\hat{T}$.
   • Este corte é invertido para produzir uma função de envelope $G(t)$ tal que $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$.
3. Estratégias de Refinamento para Detecção de Outliers: Para detecção de outliers, onde o número de verdadeiros nulos (inliers) é desconhecido, os autores integram duas técnicas de apertamento:
   • Auto-Refinamento: Adaptando uma técnica de [HSG19] para melhorar iterativamente o limite sobre o número de descobertas falsas, aproveitando a monotonicidade do conjunto de seleção.
   • Apertamento da Proporção Nula: Estimando um limite superior para o número de verdadeiros nulos ($m_0$) e construindo o envelope com base na distribuição $P_{n,m_0}$ em vez de $P_{n,m}$, reduzindo significativamente o conservadorismo.
4. Aplicação à Seleção Conformal: Para seleção conformal (por exemplo, descoberta de fármacos), os autores utilizam valores $p$ conformais "oráculo" (que dependem de resultados verdadeiros desconhecidos) para limitar o número de descobertas falsas. Eles provam que, sob funções de escore monótonas específicas (por exemplo, escores truncados), o número de descobertas falsas é limitado pela CDF empírica dessas variáveis oráculo, permitindo que o método de envelope simultâneo seja aplicado diretamente.

Contribuições Principais

1. Novos Limites Superiores para CDFs Empíricas: O artigo estabelece um novo limite superior de alta probabilidade para a CDF empírica de variáveis uniformes conformais. Empiricamente, este limite é mais apertado que limites existentes baseados em desigualdades do tipo DKW, particularmente ao adaptar-se à heterocedasticidade da CDF empírica (que varia com $t$).
2. Limites Simultâneos de FDP para Detecção de Outliers: Os autores desenvolvem um método para limitar o FDP para detecção de outliers simultaneamente sobre todos os limiares. Isso combina o limite de CDF aprimorado com técnicas de auto-refinamento e apertamento da proporção nula.
3. Primeiros Limites de FDP de Amostra Finita para Seleção Conformal: O artigo fornece os primeiros limites de FDP de amostra finita que se mantêm uniformemente sobre todos os limiares de rejeição para problemas de seleção conformal.
4. Estrutura Geral: O trabalho introduz uma estrutura geral para derivar limites de alta probabilidade sobre funções aleatórias amostrando da distribuição conjunta de valores $p$ nulos, oferecendo limites mais agudos que abordagens baseadas em desigualdades de concentração, enquanto preserva a validade de amostra finita.

Resultados
Os autores validam sua estrutura através de experimentos com dados sintéticos e reais:

• Detecção de Outliers Sintética: Experimentos em modelos de mistura gaussiana demonstram que os limites de FDP propostos (especificamente usando a estatística Higher-Criticism Truncada) mantêm cobertura válida (excedendo a confiança alvo de 90%) em 100 replicações. Os limites mostraram-se substancialmente menos conservadores que os limites lineares de base, especialmente para pequenos limiares de rejeição. A combinação de auto-refinamento e apertamento da proporção nula produz os limites mais agudos.
• Descoberta de Fármacos do Mundo Real: Usando o conjunto de dados DAVIS para previsão de interação fármaco-alvo, o método é aplicado para selecionar candidatos promissores a fármacos. Os resultados mostram que o limite superior simultâneo permanece consistentemente acima do FDP verdadeiro em todos os limiares de seleção em 92% das execuções independentes.
• Adaptabilidade Post Hoc: O artigo demonstra que os praticantes podem variar adaptativamente o limiar de seleção (por exemplo, aumentando $\alpha$ para encontrar mais candidatos) enquanto o limite proposto permanece válido. Em contraste, ajustes post hoc padrão do nível BH falham em limitar superiormente o FDP realizado.

Significado e Alegações
O artigo alega fornecer uma solução para o problema do "FDP realizado", oferecendo aos praticantes garantias por instância em vez de apenas garantias de caso médio. Ao permitir a seleção arbitrária de limiar post hoc, a estrutura apoia exploração flexível e orientada por dados sem sacrificar o rigor estatístico. Os autores enfatizam que sua abordagem produz limites "substancialmente menos conservadores" em comparação com métodos existentes, tornando a inferência conformal mais prática para aplicações de alto risco como descoberta científica e triagem médica, onde os custos de acompanhamento são altos. O trabalho é apresentado como uma estratégia unificada aplicável a qualquer problema onde a distribuição conjunta de valores $p$ nulos possa ser simulada, estendendo-se além dos exemplos específicos de detecção de outliers e seleção conformal.