Knockoffs-based False Discovery Rate Control and Simplification for Deep Neural Networks

Resumen Técnico: Control de la Tasa de Falsos Descubrimientos y Simplificación Basada en Knockoffs para Redes Neuronales Profundas

Planteamiento del Problema
Las redes neuronales profundas (DNN, por sus siglas en inglés) son herramientas poderosas para manejar problemas de clasificación no lineales, pero a menudo sufren de una alta complejidad computacional debido al gran número de parámetros y variables de entrada. Muchas de estas entradas pueden ser irrelevantes para el objetivo de salida, lo que contribuye a costos computacionales innecesarios y al posible sobreajuste (overfitting). Aunque existen métodos de selección de variables, controlar la Tasa de Falsos Descubrimientos (FDR) en entornos no lineales y de alta dimensión utilizando DNN sigue siendo un desafío. Los métodos existentes carecen de control de FDR, dependen de mecanismos de atención que pueden pasar por alto las contribuciones marginales de las características, o implican implementaciones complejas. Además, existe la necesidad de métodos que no solo seleccionen variables, sino que también simplifiquen la estructura de la red para mejorar la eficiencia.

Metodología
Los autores proponen un marco que integra el método de los Knockoffs (Barber y Candès, 2015) con redes neuronales regularizadas con $\ell_1$ para lograr simultáneamente la selección de variables con control de FDR y la simplificación de la red.

1. Construcción de Knockoffs: Para cada variable de entrada original $x_j$, se genera una variable knockoff $\tilde{x}_j$. Estos knockoffs comparten las mismas propiedades distribucionales y correlaciones de pares con las variables originales, pero son condicionalmente independientes de la respuesta. Esto crea un "control negativo" para una selección de variables válida.
2. Red Neuronal Regularizada: El modelo emplea una DNN con $L$ capas ocultas. La capa de entrada consiste en $2p$ neuronas ($p$ variables originales y $p$ knockoffs). La red se entrena utilizando una función de pérdida que combina la entropía cruzada binaria (o entropía cruzada categórica para clasificación multiclase) con un término de regularización $\ell_1$.
3. Métrica de Importancia ($Z_{jd}^{(l)}$): El núcleo del método consiste en determinar el parámetro de regularización $\lambda$ más grande para cada peso $\theta_{jd}^{(l)}$ que evita que este se vuelva cero. Este valor, denotado como $Z_{jd}^{(l)}$, sirve como una medida de la importancia del peso. Valores de $Z$ más grandes indican pesos más críticos.
4. Tres Algoritmos de Cribado (Screening):
   • Filtro de Una Capa (OL): Calcula la importancia de la variable basándose únicamente en los valores agregados de $Z$ de los pesos que conectan las variables de entrada con la primera capa oculta.
   • Filtro de Múltiples Capas (ML): Agrega la importancia considerando el producto de las matrices de pesos a través de todas las capas, capturando efectivamente la estructura global de la red.
   • Filtro de Agregación de Pesos de Variables (VWA): Un enfoque de ensamble que ejecuta los filtros OL o ML múltiples veces (por ejemplo, 10 iteraciones) con diferentes inicializaciones aleatorias. Utiliza votación estricta (hard voting) para seleccionar las variables que aparecen consistentemente a través de las ejecuciones, reduciendo así la estocasticidad inherente al entrenamiento de redes neuronales.
5. Control de FDR: Los métodos utilizan la propiedad de simetría entre las variables originales y sus knockoffs para construir un estadístico de prueba $W_j$. Se calcula un umbral $T$ dependiente de los datos para asegurar que el FDR empírico permanezca por debajo de un nivel objetivo $q$.
6. Simplificación de la Red (Reducción de Peso - Reduce Weight): Basándose en los valores de $Z$ obtenidos durante el cribado, se podan los pesos con baja importancia. Este proceso también puede eliminar neuronas enteras si todos los pesos entrantes o salientes son eliminados, simplificando efectivamente la arquitectura de la red.

Contribuciones Clave

• Control de FDR en Modelos No Lineales: El artículo extiende la aplicación de los Knockoffs a las redes neuronales profundas, proporcionando un método riguroso para la selección de variables que controla el FDR en entornos no lineales donde los métodos tradicionales de knockoffs lineales fallan.
• Cribado y Simplificación Integrados: El marco propuesto identifica simultáneamente las características relevantes y simplifica la estructura de la red mediante la poda de pesos y neuronas de baja importancia, abordando tanto la selección de características como la eficiencia del modelo.
• Tres Algoritmos Distintos: La introducción de los filtros OL, ML y VWA ofrece flexibilidad. El filtro VWA aborda específicamente la inestabilidad del entrenamiento de redes neuronales al agregar resultados a través de múltiples ejecuciones.
• Validación Empírica: Los autores proporcionan simulaciones extensas y una aplicación en el mundo real que demuestra la eficacia de su enfoque en comparación con métodos existentes como DeepLINK, DeepPINK y los Knockoffs estándar.

Resultados

• Estudios de Simulación:
  • Los métodos propuestos (particularmente las variantes de VWA) lograron valores de FDR empíricos cercanos o por debajo del nivel objetivo ($q=0.1$) mientras mantenían una alta potencia estadística (la capacidad de detectar señales verdaderas) a través de diversas distribuciones de datos (Normal, Chi-cuadrado) y arquitecturas de red.
  • El VWA-OML (que agrega tanto OL como ML) mostró un desempeño robusto, logrando a menudo un FDR cercano a cero con alta potencia, superando a los métodos de una sola capa o de una sola ejecución en consistencia.
  • En comparación con los métodos existentes (Knockoffs, DeepLINK, DeepPINK, DFS, DeepLasso), el método propuesto VWA-OML demostró una potencia superior (0.97 frente a 0.12–0.30 de otros en pruebas específicas de clasificación binaria) manteniendo un control estricto de FDR.
• Simplificación de la Red:
  • La aplicación de la estrategia "Reduce Weight" disminuyó significamente el tiempo de entrenamiento en comparación con el uso de todas las variables o la regularización de Dropout, manteniendo o incluso mejorando ligeramente la precisión de la predicción.
  • En el conjunto de datos de Cáncer de Mama, el método seleccionó con éxito subconjuntos de variables y simplificó la estructura de la red sin sacrificar el rendimiento predictivo.
• Aplicación en el Mundo Real (Conjunto de Datos de Cáncer de Mama):
  • Aplicado al conjunto de datos Wisconsin Diagnostic Breast Cancer (30 características, 569 instancias), los filtros seleccionaron subconjuntos variables de características. El filtro VWA-OML seleccionó 21 variables, mientras que OL y ML seleccionaron 13 y 10 respectivamente.
  • Los modelos simplificados entrenados en estas variables seleccionadas demostraron una precisión competitiva y una reducción en el tiempo computacional en comparación con los modelos que utilizan todas las características originales.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en cerrar la brecha entre la selección de variables estadística rigurosa (control de FDR) y las necesidades prácticas del aprendizaje profundo (manejo de la no linealidad y la complejidad del modelo). Los autores aseguran que sus métodos proporcionan un "desempeño satisfactorio" en el cribado de variables y la simplificación de redes, ofreciendo una alternativa viable a los mecanismos basados en atención o a los métodos de ensamble complejos que pueden pasar por alto las contribuciones marginales de las características.

Los autores señalan modestamente que, aunque sus métodos funcionan bien bajo distribuciones Normal y Chi-cuadrado, el FDR empírico puede exceder el nivel objetivo bajo distribuciones no gaussianas sesgadas (por ejemplo, Gamma), lo que sugiere que el control depende de la distribución. Enfatizan que el enfoque VWA mejora la estabilidad y la confiabilidad al mitigar la aleatoriedad del entrenamiento de redes neuronales, haciendo que el proceso de selección de características sea más interpretable y robusto. El trabajo se posiciona como una herramienta aplicable a diversos campos como la genómica, la imagenología cerebral y la física de partículas, donde el análisis de datos no lineales de alta dimensión es crítico.