Resumo Técnico: Um Framework Semi-Supervisionado para Diversos Cenários de Testes de Múltiplas Hipóteses

Declaração do Problema

Os procedimentos padrão de testes múltiplos geralmente relatam uma lista de descobertas (hipóteses nulas suspeitas de serem falsas) baseando-se exclusivamente em valores-$p$ ou escores de teste, visando controlar taxas de erro como a Taxa de Descoberta Falsa (FDR) ou a Excedência de Descobertas Falsas (FDX): Embora pesquisas recentes tenham se concentrado em aproveitar informações auxiliares ($x_i$) para melhorar o poder através de ponderação ou reescoragem de hipóteses, os métodos existentes enfrentam limitações significativas:

1. Inviabilidade Computacional: Muitos métodos semi-supervisionados de última geração (ex: Adaptive Knockoffs, variantes de AdaPT) dependem de estratégias de poda iterativa que são computacionalmente proibitivas para conjuntos de dados de larga escala (ex: detecção de peptídeos em proteômica).
2. Falta de Flexibilidade: Os usuários devem frequentemente selecionar modelos de aprendizado de máquina ou mecanismos de controle de erro específicos (FDR vs. FDX) antecipadamente; selecionar um método post-hoc com base nos resultados pode comprometer o controle de erro.
3. Garantias de Amostra Finita: Muitos métodos que oferecem integração de informação auxiliar fornecem apenas controle de erro assintótico, ou carecem de controle de FDX em amostra finita.
4. Compatibilidade de Cenários: Poucos métodos lidam de forma integrada tanto com estruturas de testes baseadas em valores-$p$ quanto baseadas em competição (ex: alvo-decoy), mantendo um controle de erro rigoroso.

Metodologia: RESET

Os autores propõem o RESET (REscoring via Estimating and Training), um framework semi-supervisionado geral projetado para controlar FDR ou FDX em amostra finita, tanto em configurações baseadas em competição quanto baseadas em valores-$p$.

Mecanismo Central

O RESET opera dividindo os dados em conjuntos de treinamento e de estimativa para desacoplar o aprendizado de uma função de escore do aprendizado da taxa de erro:

1. Transformação de Dados: No cenário de valores-$p$, os valores-$p$ são convertidos em um formato semelhante ao de competição com rótulos ($L_i \in \{+1, -1\}$) e escores vencedores ($W_i$) usando uma função de espelhamento. Na configuração de competição, as hipóteses possuem naturalmente escores de alvo/decoy e rótulos.
2. Divisão de Dados: O conjunto de "vitórias de decoys" (hipóteses onde a hipótese nula parece vencer) é dividido aleatoriamente em:
   • Decoys de Treinamento: Usados para treinar um modelo de aprendizado de máquina semi-supervisionado.
   • Decoys de Estimativa: Reservados para estimar o número de descobertas falsas.
   • Pseudo-Alvos: A união de todas as vitórias de alvos e decoys de estimativa.
3. Aprendizado Semi-Supervisionado (O "Ensemble"): Um modelo semi-supervisionado selecionado pelo usuário (ou um ensemble do mesmo) é treinado para distinguir entre os decoys de treinamento (classe negativa) e os pseudo-alvos (classe positiva, que é uma mistura de nulas verdadeiras e falsas). O modelo gera um conjunto de valores reescorados ($\tilde{W}$) destinado a ranquear melhor as nulas falsas.
4. Controle de Erro: Os decoys de treinamento são descartados. Os rótulos originais dos pseudo-alvos restantes são revelados. As hipóteses reescoradas são então processadas usando procedimentos padrão de step-up ou step-down:
   • Controle de FDR: Selective SeqStep+ (SSS+).
   • Controle de FDX: FDP-stepdown (FDP-SD).

Ensemble RESET

Para abordar o desafio da seleção de modelos, os autores introduzem o RESET Ensemble. Esta implementação:

• Seleciona automaticamente o algoritmo de classificação com melhor desempenho de uma biblioteca (Random Forest, Modelos Aditivos Generalizados e várias Redes Neurais) usando validação cruzada nos dados de treinamento.
• Utiliza um esquema $K$-fold onde cada hipótese é pontuada por um modelo que não foi treinado nela, protegendo contra o overfitting.
• Opera sem exigir que o usuário especifique o modelo ideal, preservando as garantias de controle de erro que poderiam ser comprometidas pela seleção de modelos dependente de dados.

Garantias Teóricas

O artigo estabelece que o RESET controla FDR e FDX em amostra finita sob a Premissa 1: Condicionado aos escores, informações auxiliares e rótulos de nulas falsas, os rótulos das nulas verdadeiras são variáveis aleatórias independentes $\pm 1$ com $P(L_i=1) \leq c_0$.

• O Lema 1 prova que, mesmo após as etapas de divisão de dados e aprendizado de máquina, os rótulos das nulas verdadeiras no conjunto de estimativa permanecem condicionalmente independentes, satisfazendo os requisitos para SSS+ e FDP-SD.
• O framework mostra-se robusto a distribuições não idênticas de rótulos de nulas verdadeiras, uma relaxação das premissas exigidas por trabalhos anteriores.

Principais Contribuições

1. Framework Unificado: O RESET é aplicável tanto a cenários de testes baseados em competição (ex: filtros de knockoff, competição alvo-decoy) quanto baseados em valores-$p$.
2. Controle de FDX em Amostra Finita: Tanto quanto os autores sabem, o RESET é o primeiro método a oferecer controle de FDX em amostra finita no cenário de valores-$p$ com informação auxiliar, e fornece uma abordagem flexível para FDX em configurações de competição. (Nota: Um método relacionado, CLAW, foi identificado durante a revisão, mas apenas controla FDR).
3. Eficiência Computacional: Ao evitar o processo iterativo de revelação de rótulos dos Adaptive Knockoffs e AdaPT, o RESET alcança acelerações significativas (ordens de magnitude em alguns casos).
4. Seleção Automatizada de Modelos: A abordagem "Ensemble" remove o fardo da seleção manual de modelos do usuário, mantendo a validade estatística.
5. Rigor Teórico: O artigo fornece provas para o controle de FDR e FDX em amostra finita sob premissas de independência relaxadas, incluindo uma prova novel para o controle de FDX com rótulos de nulas verdadeiras não idênticos.

Resultados

Os autores avaliam o RESET através de simulações e conjuntos de dados do mundo real:

Estudos de Simulação

• Seleção de Variáveis (Configuração de Competição): Em simulações envolvendo modelos lineares e logísticos com dimensões variadas e estruturas de informação auxiliar, o RESET Ensemble demonstrou consistentemente um poder competitivo ou superior em comparação ao Adaptive Knockoffs (AdaKO) e ao filtro Knockoff (KO) padrão. Destacou-se particularmente em configurações de alta dimensão e quando a informação auxiliar era complexa.
• Configuração de Valores-$p$: Comparado ao AdaPT, AdaFDR, ZAP e outros, o RESET Ensemble alcançou poder comparável ou superior em várias configurações de informação auxiliar (dados geométricos, de alta dimensão e dependentes). Mostrou robustez a dependências locais onde alguns métodos assintóticos falharam.

Aplicações em Dados Reais

• Detecção de Peptídeos (Proteômica):
  • Velocidade: No conjunto de dados HEK293, o RESET Ensemble completou a análise em ~17,7 minutos. Em contraste, estimou-se que variantes do Adaptive Knockoffs levariam dias (ex: AdaKO GAM: ~1,07 dias; AdaKO RF: ~846 dias).
  • Poder: No conjunto de dados PRIDE-20, o RESET Ensemble descobriu mais peptídeos do que tanto a competição Alvo-Decoy (TDC) padrão quanto o AdaKO com seu filtro GAM padrão. Foi comparável à variante mais poderosa do AdaKO (RF), mas vastamente mais rápido.
• Genômica e Outros Domínios: Em 10 conjuntos de dados reais (RNA-seq, microbioma, fMRI, eQTL), o RESET Ensemble posicionou-se consistentemente entre os melhores desempenhos em termos de número de descobertas, frequentemente superando ou igualando variantes do AdaPT e do AdaFDR.

Significância e Alegações

O artigo afirma que o RESET oferece uma alternativa prática, rápida e estatisticamente rigorosa aos métodos existentes de testes múltiplos semi-supervisionados.

• Versatilidade: Ele une de forma única o hiato entre testes baseados em valores-$p$ e baseados em competição, suportando tanto o controle de FDR quanto de FDX com garantias de amostra finita.
• Escalabilidade: Resolve o gargalo computacional de métodos iterativos como o Adaptive Knockoffs, tornando o teste múltiplo semi-supervisionado viável para conjuntos de dados massivos (ex: proteômica).
• Facilidade de Uso: Ao automatizar a seleção de modelos via abordagem Ensemble, elimina a necessidade de os usuários ajustarem hiperparâmetros complexos ou selecionarem algoritmos específicos, reduzindo o risco de escolhas subótimas.
• Limitações: Os autores observam modestamente que o poder do RESET depende da informatividade da informação auxiliar; se as covariáveis forem pouco informativas, o RESET pode não superar as bases que ignoram a informação auxiliar. Além disso, a divisão aleatória de decoys introduz variabilidade na lista de descobertas, embora os autores sugiram que isso seja marginal em relação à aleatoriedade dos dados e possa ser mitigado via derandomização de e-value (embora isso incorra em perda de poder).

O trabalho posiciona o RESET como uma ferramenta robusta para a descoberta científica de alto rendimento moderna, especialmente em campos como proteômica e genômica, onde testes de hipóteses em larga escala com dados auxiliares são críticos.