Knockoffs-based False Discovery Rate Control and Simplification for Deep Neural Networks

Resumo Técnico: Controle da Taxa de Descoberta Falsa Baseado em Knockoffs e Simplificação para Redes Neurais Profundas

Declaração do Problema
Redes neurais profundas (DNNs) são ferramentas poderosas para lidar com problemas de classificação não lineares, mas frequentemente sofrem com alta complexidade computacional devido ao grande número de parâmetros e variáveis de entrada. Muitas dessas entradas podem ser irrelevantes para o output alvo, contribuindo para custos computacionais desnecessários e potencial sobreajuste (overfitting). Embora existam métodos de seleção de variáveis, controlar a Taxa de Descoberta Falsa (FDR - False Discovery Rate) em ambientes não lineares e de alta dimensão usando DNNs continua sendo um desafio. Métodos existentes ou carecem de controle de FDR, dependem de mecanismos de atenção que podem negligenciar contribuições marginais de características, ou envolvem implementações complexas. Além disso, há uma necessidade de métodos que não apenas selecionem variáveis, mas que também simplifiquem a estrutura da rede para melhorar a eficiência.

Metodologia
Os autores propõem um framework que integra o método Knockoffs (Barber e Candès, 2015) com redes neurais com regularização $\ell_1$ para alcançar simultaneamente a triagem de variáveis com controle de FDR e a simplificação da rede.

1. Construção de Knockoffs: Para cada variável de entrada original $x_j$, uma variável knockoff $\tilde{x}_j$ é gerada. Esses knockoffs compartilham as mesmas propriedades distributivas e correlações pareadas das variáveis originais, mas são condicionalmente independentes da resposta. Isso cria um "controle negativo" para uma seleção de variáveis válida.
2. Rede Neural Regularizada: O modelo emprega uma DNN com $L$ camadas ocultas. A camada de entrada consiste em $2p$ neurônios ($p$ variáveis originais e $p$ knockoffs). A rede é treinada usando uma função de perda que combina entropia cruzada binária (ou entropia cruzada categórica para multiclasse) com um termo de regularização $\ell_1$.
3. Métrica de Importância ($Z_{jd}^{(l)}$): O núcleo do método envolve determinar o maior parâmetro de regularização $\lambda$ para cada peso $\theta_{jd}^{(l)}$ que impede que ele se torne zero. Este valor, denotado como $Z_{jd}^{(l)}$, serve como uma medida da importância do peso. Valores maiores de $Z$ indicam pesos mais críticos.
4. Três Algoritmos de Triagem:
   • Filtro de Uma Camada (OL - One Layer Filter): Calcula a importância da variável baseando-se apenas nos valores agregados de $Z$ dos pesos que conectam as variáveis de entrada à primeira camada oculta.
   • Filtro de Múltiplas Camadas (ML - Multiple Layers Filter): Agrega a importância considerando o produto das matrizes de pesos através de todas as camadas, capturando efetivamente a estrutura global da rede.
   • Filtro de Agregação de Peso de Variável (VWA - Variable Weight Aggregation): Uma abordagem de ensemble que executa os filtros OL ou ML múltiplas vezes (ex: 10 iterações) com diferentes inicializações aleatórias. Utiliza votação direta (hard voting) para selecionar variáveis que aparecem consistentemente entre as execuções, reduzindo a estocasticidade inerente ao treinamento de redes neurais.
5. Controle de FDR: Os métodos utilizam a propriedade de simetria entre as variáveis originais e seus knockoffs para construir um estatístico de teste $W_j$. Um limiar dependente dos dados $T$ é calculado para garantir que o FDR empírico permaneça abaixo de um nível alvo $q$.
6. Simplificação de Rede (Redução de Peso - Reduce Weight): Com base nos valores de $Z$ obtidos durante a triagem, os pesos com baixa importância são podados (pruning). Este processo também pode remover neurônios inteiros se todos os pesos de entrada ou saída forem deletados, simplificando efetivamente a arquitetura da rede.

Principais Contribuições

• Controle de FDR em Modelos Não Lineares: O artigo estende a aplicação de Knockoffs para redes neurais profundas, fornecendo um método rigoroso para seleção de variáveis que controla o FDR em cenários não lineares onde os métodos tradicionais de knockoff linear falham.
• Triagem e Simplificação Integradas: O framework proposto identifica simultaneamente características relevantes e simplifica a estrutura da rede ao podar pesos e neurônios de baixa importância, abordando tanto a seleção de características quanto a eficiência do modelo.
• Três Algoritmos Distintos: A introdução dos filtros OL, ML e VWA oferece flexibilidade. O filtro VWA aborda especificamente a instabilidade do treinamento de redes neurais ao agregar resultados de múltiplas execuções.
• Validação Empírica: Os autores fornecem simulações extensas e uma aplicação no mundo real demonstrando a eficácia de sua abordagem comparada a métodos existentes como DeepLINK, DeepPINK e Knockoffs padrão.

Resultados

• Estudos de Simulação:
  • Os métodos propostos (particularmente as variantes VWA) alcançaram valores de FDR empíricos próximos ou abaixo do nível alvo ($q=0.1$) enquanto mantinham alta potência estatística (a capacidade de detectar sinais verdadeiros) através de várias distribuições de dados (Normal, Chi-quadrado) e arquiteturas de rede.
  • O VWA-OML (agregando tanto OL quanto ML) mostrou desempenho robusto, frequentemente alcançando FDR próximo de zero com alta potência, superando métodos de camada única ou de execução única em consistência.
  • Comparado a métodos existentes (Knockoffs, DeepLINK, DeepPINK, DFS, DeepLasso), o método proposto VWA-OML demonstrou potência superior (0.97 vs. 0.12–0.30 para outros em testes específicos de classificação binária) enquanto mantinha controle estrito de FDR.
• Simplificação de Rede:
  • A aplicação da estratégia "Reduce Weight" diminuiu significativamente o tempo de treinamento em comparação com o uso de todas as variáveis ou regularização por Dropout, mantendo ou até melhorando a precisão de predição.
  • No conjunto de dados de Câncer de Mama, o método selecionou com sucesso subconjuntos de variáveis e simplificou a estrutura da rede sem sacrificar o desempenho preditivo.
• Aplicação no Mundo Real (Conjunto de Dados de Câncer de Mama):
  • Aplicado ao conjunto de dados Wisconsin Diagnostic Breast Cancer (30 características, 569 instâncias), os filtros selecionaram subconjuntos variados de características. O filtro VWA-OML selecionou 21 variáveis, enquanto o OL e o ML selecionaram 13 e 10, respectivamente.
  • Os modelos simplificados treinados nessas variáveis selecionadas demonstraram precisão competitiva e redução no tempo computacional em comparação com modelos que utilizam todas as características originais.

Significância e Alegações
O artigo afirma que sua principal significância reside em preencher a lacuna entre a seleção rigorosa de variáveis estatísticas (controle de FDR) e as necessidades práticas do aprendizado profundo (lidar com não linearidade e complexidade de modelo). Os autores afirmam que seus métodos fornecem um "desempenho satisfatório" na triagem de variáveis e na simplificação de redes, oferecendo uma alternativa viável a mecanismos de atenção ou métodos de ensemble complexos que podem negligenciar contribuições marginais de características.

Os autores observam modestamente que, embora os métodos funcionem bem sob distribuições Normal e Chi-quadrado, o FDR empírico pode exceder o nível alvo sob distribuições não gaussianas assimétricas (ex: Gamma), sugerindo que o controle é dependente da distribuição. Eles enfatizam que a abordagem VWA melhora a estabilidade e a confiabilidade ao mitigar a aleatoriedade do treinamento de redes neurais, tornando o processo de seleção de características mais interpretável e robusto. O trabalho posiciona-se como uma ferramenta aplicável a diversos campos, como genômica, imagem cerebral e física de partículas, onde a análise de dados não lineares de alta dimensão é crítica.