Resumo Técnico: Detecção e Enumeração de Outliers Coletivos com Teste Fechado Conformalizado

1. Formulação do Problema

O artigo aborda o desafio da detecção e enumeração de outliers coletivos em cenários onde outliers individuais são difíceis de identificar devido à esparsidade, sinais fracos ou elusividade. Embora a inferência conformal tradicional tenha focado na identificação de outliers em nível individual (controlando a Taxa de Descoberta Falsa para pontos de dados específicos), essa abordagem frequentemente carece de poder quando os outliers não exibem desvios significativos em isolamento.

Os autores definem duas tarefas principais para um conjunto de teste $Z_{m+1}, \dots, Z_{m+n}$ contra um conjunto de referência de inliers $Z_1, \dots, Z_m$:

1. Detecção de Outliers: Testar a hipótese nula global de que um subconjunto dos dados de teste não contém outliers.
2. Enumeração de Outliers: Estimar o número de outliers dentro de um subconjunto fornecendo um limite inferior de confiança simultâneo, sem necessariamente identificar a identidade exata de cada outlier.

A dificuldade central reside no fato de que testes individuais padrão (por exemplo, Benjamini-Hochberg aplicado a valores-p conformais) podem falhar em rejeitar a hipótese nula global ou fornecer limites informativos quando os sinais são fracos ou esparsos. Além disso, selecionar o classificador de aprendizado de máquina e o procedimento de teste estatístico ótimos a priori é difícil, e a "escolha seletiva" baseada nos dados leva a viés de seleção e inferência inválida.

2. Metodologia: ACODE

Os autores propõem o ACODE (Detecção e Enumeração Automática de Outliers Conformalizados), um framework flexível e livre de distribuição que integra inferência conformal, teste fechado e testes de postos adaptativos.

2.1 Pontuação e Divisão Conformal

O método começa gerando escores de conformidade usando classificadores de aprendizado de máquina treinados para distinguir outliers de inliers.

• Classificadores: O framework suporta tanto classificadores de uma única classe (treinados apenas em inliers) quanto classificadores binários (treinados via aprendizado positivo-não rotulado).
• Geração de Escores: Uma função $\hat{s}$ mapeia pontos de dados para escores escalares. Para garantir validade, o método emprega divisão de amostra. Um conjunto de ajuste é usado para selecionar o melhor classificador e procedimento de teste, enquanto um conjunto de calibração separado é usado para gerar valores-p conformais para o conjunto de teste. Essa separação preserva a trocabilidade dos escores de inliers condicionada ao procedimento selecionado, prevenindo viés de seleção.

2.2 Procedimentos de Teste Local

O ACODE agrega escores de conformidade para testar hipóteses locais $H_S$ (de que um subconjunto $S$ não contém outliers). O artigo avalia uma "caixa de ferramentas" de testes locais, cada um adequado para diferentes estruturas de sinal:

• Teste de Simes: Eficaz para sinais raros e fortes.
• Combinação de Fisher: Eficaz para sinais densos e fracos.
• Wilcoxon-Mann-Whitney (WMW): Um teste de postos mostrado como o Teste de Posto Mais Poderoso Localmente (LMPR) sob alternativas de Lehmann específicas (onde outliers seguem a distribuição do máximo de dois inliers).
• Teste LMPR de Shiraishi: Uma generalização do WMW para distribuições arbitrárias de outliers.
• Teste de Posto Adaptativo: Uma extensão orientada por dados do teste de Shiraishi que estima a densidade desconhecida de outliers $g$ de forma não paramétrica. Resultados teóricos (Teorema 2) mostram que este teste adaptativo alcança o mesmo poder assintótico local que um teste oráculo com $g$ conhecido.

2.3 Teste Fechado para Enumeração

Para avançar de testes locais para enumeração global, o ACODE emprega o princípio do teste fechado (Marcus et al., 1976).

• Mecanismo: O método testa todas as hipóteses de interseção possíveis $H_J$ para subconjuntos $J \subseteq [n]$. Um limite inferior de confiança $d(S)$ para o número de outliers em qualquer subconjunto $S$ é derivado encontrando o maior subconjunto $K \subseteq S$ para o qual a hipótese nula não pode ser rejeitada após o ajuste de multiplicidade.
• Validade: A Proposição 1 garante que, se os testes locais forem válidos, os limites inferiores resultantes satisfazem a cobertura simultânea: $P(d(S) \le |I_1 \cap S| \text{ para todo } S) \ge 1-\alpha$.
• Eficiência Computacional: Embora o teste fechado seja geralmente exponencial, o artigo utiliza atalhos de tempo polinomial (Goeman et al., 2019; Tian et al., 2023) para testes de Simes, WMW e Fisher, tornando o método escalável para grandes conjuntos de dados.

2.4 Adaptabilidade Orientada por Dados

Uma inovação chave é o Algoritmo 3, que automatiza a seleção do classificador e do teste local.

• Processo: O algoritmo avalia múltiplas combinações de classificadores e testes em um conjunto de ajuste para maximizar o limite inferior (para enumeração) ou minimizar o valor-p (para detecção).
• Controle de Viés: Ao usar um conjunto de ajuste separado e, em seguida, reavaliar a combinação selecionada na divisão completa de calibração/teste, o método evita as taxas infladas de Erro Tipo-I associadas à "escolha seletiva" ingênua.

3. Contribuições Principais

O artigo faz três contribuições metodológicas principais:

1. Framework ACODE: Introduz um método principiado e orientado por dados para enumeração de outliers que seleciona automaticamente o classificador de aprendizado de máquina ótimo e o procedimento de teste de duas amostras. Integra teste fechado com inferência conformal para fornecer limites inferiores rigorosos e simultâneos sobre o número de outliers.
2. Extensões Teóricas: Fornece aproximações assintóticas para as distribuições nulas do teste de posto mais poderoso localmente de Shiraishi e sua versão adaptativa sob escores de conformidade trocáveis (em vez de estritamente i.i.d.). Essa extensão é crucial para a validade no contexto de conformalização dividida.
3. Teste de Posto Adaptativo: Demonstra que um teste de posto adaptativo, que estima a distribuição de outliers de forma não paramétrica, alcança o mesmo poder assintótico local que um teste oráculo com conhecimento total da distribuição de outliers (Teorema 2).

4. Resultados Empíricos

O método foi avaliado em dados sintéticos e dados reais de física de altas energias (LHCO 2020).

• Dados Sintéticos:

  • O ACODE superou consistentemente métodos de identificação em nível individual (como Benjamini-Hochberg aplicado a valores-p conformais) em termos de poder para detectar a hipótese nula global e fornecer limites inferiores informativos.
  • O mecanismo de seleção adaptativa identificou com sucesso o melhor classificador (uma única classe vs. binário) e teste (WMW vs. Fisher vs. Simes) para regimes de dados específicos, aproximando o desempenho de um oráculo que conhece a combinação ótima.
  • Em cenários com outliers "adversariais" (onde escores individuais estão subdispersos e difíceis de detectar), a aproximação orientada por dados do teste de Shiraishi superou significativamente os métodos padrão.

• Dados de Física de Altas Energias LHCO:

  • Aplicado a 1,1 milhão de eventos de colisão de partículas, o ACODE detectou e enumerou com sucesso eventos de "sinal" (outliers) contra um fundo de eventos simulados.
  • O método forneceu limites inferiores de confiança de 90% apertados sobre o número de outliers, superando significativamente o procedimento BH em termos de informatividade.
  • Crucialmente, a versão adaptativa do ACODE alcançou desempenho próximo ao de um oráculo sem incorrer em viés de seleção, enquanto uma abordagem de "escolha seletiva" ingênua levou a erros Tipo-I inflados.

5. Significado e Alegações

O artigo afirma que o ACODE oferece uma solução robusta para detecção de anomalias coletivas onde a detecção individual falha. Seu significado reside em:

• Preenchendo a Lacuna: Conecta a inferência conformal com testes múltiplos clássicos e teoria de testes de postos para lidar com sinais fracos e esparsos.
• Adaptabilidade Principiada: Resolve o problema de "viés de seleção" inerente à escolha de modelos de aprendizado de máquina e testes estatísticos, fornecendo inferência válida mesmo quando o melhor procedimento é escolhido com base nos dados.
• Informatividade: Diferentemente de métodos que apenas identificam outliers específicos, o ACODE fornece um limite inferior estatisticamente garantido sobre o número de outliers, oferecendo uma visão mais abrangente da estrutura de anomalias dos dados.

Os autores observam que, embora o método seja poderoso, ele depende da disponibilidade de um conjunto de referência limpo de inliers e assume trocabilidade. Trabalhos futuros poderiam explorar frameworks de validação cruzada, lidar com dados de calibração contaminados e desenvolver atalhos computacionais mais rápidos para o teste adaptativo de Shiraishi.