Resumo Técnico: Testagem Múltipla Conformalizada Unificada com Eficiência Total de Dados

1. Declaração do Problema

A testagem múltipla conformalizada fornece um framework livre de modelos para controlar a Taxa de Descoberta Falsa (FDR) ao identificar amostras de teste com rótulos de interesse não observados (por exemplo, detecção de outliers, seleção de amostras). O procedimento padrão envolve a construção de uma pontuação de não conformidade, sua calibração contra um conjunto de amostras nulas (negativas) para gerar valores-p conformalizados e a aplicação de uma regra de testagem múltipla (por exemplo, Benjamini-Hochberg).

Os métodos existentes enfrentam duas limitações primárias quanto à utilização de dados:

1. Uso Parcial de Dados: Muitas abordagens dividem os dados nulos disponíveis ($D_0$) em conjuntos de treinamento e calibração, descartando informações valiosas. Outras falham em utilizar dados rotulados não nulos (positivos) disponíveis ($D_1$) ou dados de teste não rotulados ($D_u$) durante a construção da pontuação.
2. Frameworks Fragmentados: Diferentes métodos (por exemplo, conformal dividido, conformal integrativo, conformal localizado) são desenvolvidos sob configurações específicas e esquemas de utilização de dados. Não existe um framework teórico unificado que englobe esses métodos ou forneça um princípio sistemático para projetar novos que aproveitem totalmente todos os dados disponíveis ($D_0, D_1, D_u$) enquanto controlam rigorosamente a FDR.

O desafio central é desenvolver uma abordagem unificada que maximize o poder estatístico ao utilizar todos os dados disponíveis tanto para a construção da pontuação quanto para a calibração, sem violar as premissas de permutabilidade exigidas para o controle de FDR em amostras finitas.

2. Metodologia: O Framework ECOT

Os autores propõem o Teste Conformal Aprimorado (ECOT), um framework unificado baseado em uma estratégia de permutação completa. A ideia central é visualizar a testagem múltipla conformalizada através da lente de testes de permutação, onde o valor-p para uma amostra de teste $j$ é computado comparando sua pontuação contra pontuações obtidas de todas as permutações possíveis dos dados.

2.1 Componentes Principais

O procedimento ECOT consiste em três etapas:

1. Construção da Pontuação: Para cada amostra de teste $j \in U$, uma função de pontuação individualizada $S^{(j)}$ é construída utilizando todos os dados disponíveis ($D_0, D_1, D_u$). Uma pontuação mais alta indica evidência mais forte contra a hipótese nula.
2. Computação do Valor-p: Um valor-p conformalizado é computado via permutação completa:
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   Aqui, $\Omega_j$ é o conjunto de permutações do conjunto de calibração $C \subseteq L_0$ e da amostra de teste $j$, enquanto se fixam os índices fora deste conjunto. $S^{(j)}_\sigma$ denota a função de pontuação construída no conjunto de dados permutado.
3. Procedimento de Testagem: Para lidar com a dependência entre os valores-p induzida pela reutilização de dados e pontuações individualizadas, o ECOT emprega uma etapa de calibração condicional (inspirada em Fithian e Lei, 2022). Isso envolve definir valores-p modificados $\tilde{p}^{(j)}_\ell$ usando um resumo invariante a permutações (por exemplo, a mediana) das pontuações, seguido por um procedimento de rejeição que garante o controle de FDR em amostras finitas.

2.2 Simplificações Computacionais

A permutação completa é computacionalmente intensiva ($O((|C|+1)!)$). O framework identifica duas condições de simetria sob as quais o procedimento se simplifica significativamente:

• Pontuações Simétricas à Calibração: Se $S^{(j)}$ for invariante sob permutações do conjunto de calibração e de $j$, o valor-p reduz-se a um cálculo simples baseado em ranks sobre $C \cup \{j\}$, eliminando a necessidade de retreinamento repetido do modelo.
• Pontuações Simétricas Conjuntas: Se uma única função de pontuação $S$ for usada para todas as amostras e for simétrica em relação a todas as amostras nulas e de teste, a etapa de calibração condicional torna-se desnecessária, e o procedimento padrão de Benjamini-Hochberg (BH) aplicado aos valores-p simplificados é suficiente.

2.3 Abordagens Aprimoradas

Aproveitando o framework unificado, os autores propõem dois métodos aprimorados específicos:

• ECOT-bi (Classificação Binária): Utiliza $D_0, D_1$ e $D_u$ conjuntamente para treinar um classificador binário. O classificador distingue entre amostras não nulas ($D_1$) e as amostras nulas/não rotuladas agrupadas ($D_0 \cup D_u$). Isso aproxima a razão de densidade ótima sem dividir $D_0$.
• ECOT-oc (Classificação de Uma Classe): Projetado para cenários onde classificadores binários são ineficientes (por exemplo, diferenças de variância). Treina classificadores de uma classe em $D_0 \cup D_u$ (para o nulo) e em $D_1$ (para a alternativa), integrando-os para formar a pontuação.

2.4 Seleção Adaptativa

O framework permite Seleção Adaptativa de Abordagem (ECOT-as). Em vez de fixar um único método, o algoritmo avalia múltiplas abordagens candidatas (por exemplo, ECOT-bi, ECOT-oc, FullND) e seleciona aquela que produz o maior poder (número de rejeições) para cada amostra. Crucialmente, a etapa de seleção é incorporada à construção da pontuação via estratégia de permutação completa. Isso trata a seleção como parte da geração da pontuação, preservando a permutabilidade e evitando o problema de "dupla imersão" (double dipping) que tipicamente infla a FDR na inferência pós-seleção.

3. Contribuições Principais

1. Framework Unificado: O artigo introduz o ECOT, um framework geral que engloba métodos existentes de testagem múltipla conformalizada (por exemplo, conformal dividido, integrativo, localizado) como casos especiais sob estruturas de simetria específicas.
2. Eficiência Total de Dados: O framework fornece uma estratégia de design principial para usar todos os dados disponíveis ($D_0, D_1, D_u$) para a construção da pontuação, mantendo todo o conjunto nulo para calibração. Isso demonstra melhorar o poder estatístico ao aprimorar a qualidade da pontuação e maximizar o tamanho do conjunto de calibração.
3. Seleção Adaptativa com Controle de FDR: Os autores desenvolvem uma estratégia orientada por dados para selecionar automaticamente a melhor abordagem de teste conformal de um conjunto de candidatos. Ao integrar a seleção na construção da pontuação baseada em permutação, eles alcançam controle de FDR em amostras finitas sem exigir divisão extra de dados.
4. Garantias Teóricas: O artigo prova que, sob premissas padrão de permutabilidade de dados, o procedimento ECOT controla a FDR no nível desejado $\alpha$ em amostras finitas, independentemente da complexidade das funções de pontuação utilizadas.

4. Resultados Experimentais

Extensos experimentos numéricos foram conduzidos em dados sintéticos e conjuntos de dados reais de detecção de outliers (Cartão de Crédito, Satélite, Shuttle, CovType, Mamografia).

• Melhoria de Poder: Em cenários onde a classificação binária é ótima, ECOT-bi e ECOT-as superaram consistentemente as linhas de base existentes (por exemplo, AdaDetect, CP-bi, Integ) ao alcançar maior poder enquanto mantinham o controle de FDR. Isso foi atribuído ao uso total de $D_1$ e à evitação da divisão de dados.
• Robustez ao Cenário: Em configurações onde a classificação de uma classe é superior (por exemplo, mudanças de variância), ECOT-oc superou significativamente os métodos integrativos ao utilizar $D_u$ na construção da pontuação.
• Seleção Adaptativa: ECOT-as rastreou com sucesso o método de melhor desempenho em diversos cenários, alcançando poder próximo ao do oráculo teórico em muitos casos.
• Desempenho em Dados Reais: Em conjuntos de dados reais, os métodos ECOT (particularmente ECOT-bi e ECOT-as) demonstraram poder superior em comparação com as linhas de base, que frequentemente sofriam de baixo poder devido a dados rotulados limitados ou construções de pontuação inadequadas.
• Custo Computacional: Embora a abordagem de permutação completa seja computacionalmente mais pesada que os métodos divididos, a seleção adaptativa ajustada (Algoritmo 3) e as reduções de simetria mantêm os tempos de execução dentro de limites práticos (aproximadamente 1 minuto para tamanhos de amostra moderados), significativamente mais rápidos que implementações conformais completas de frameworks concorrentes como OptCS.

5. Significado e Afirmações

O artigo afirma que o ECOT representa um avanço significativo ao unificar a paisagem fragmentada da testagem múltipla conformalizada. Seu significado primário reside em:

• Design Sistemático: Fornecer um caminho claro e principial para projetar novos procedimentos conformais que maximizem a eficiência de dados.
• Adaptação Automática: Resolver o problema de selecionar a estratégia de teste ótima sem comprometer o controle de FDR, uma armadilha comum na inferência pós-seleção.
• Eficiência Prática: Demonstrar que a utilização total de dados leva a ganhos tangíveis de poder em diversos cenários reais e sintéticos, tornando a testagem conformal mais eficaz para aplicações como detecção de outliers e seleção de amostras.

Os autores reconhecem que o framework depende da permutabilidade dos dados e que a permutação completa pode ser computacionalmente intensiva, sugerindo trabalho futuro no relaxamento de premissas (por exemplo, dados não permutáveis) e na aceleração da inferência baseada em permutação.