Resumen Técnico: Un Marco Semi-supervisado para Diversos Escenarios de Pruebas de Hipótesis Múltiples

Planteamiento del Problema

Los procedimientos estándar de pruebas múltiples suelen reportar una lista de descubrimientos (hipótesis nulas sospechosas de ser falsas) basándose únicamente en valores-$p$ o puntuaciones de prueba, con el objetivo de controlar las tasas de error, como la Tasa de Falsos Descubrimientos (FDR) o la Excedencia de Falsos Descubrimientos (FDX). Si bien investigaciones recientes se han centrado en aprovechar la información lateral ($x_i$) para mejorar la potencia mediante el pesaje o el recálculo de puntuaciones (rescoring) de las hipótesis, los métodos existentes enfrentan limitaciones significativas:

1. Inviabilidad Computacional: Muchos métodos semi-supervisados de vanguardia (por ejemplo, Adaptive Knockoffs, variantes de AdaPT) dependen de estrategias de poda iterativas que son computacionalmente prohibitivas para conjuntos de datos a gran escala (por ejemplo, detección de péptidos en proteómica).
2. Falta de Flexibilidad: Los usuarios a menudo deben seleccionar modelos de aprendizaje automático específicos o mecanismos de control de error (FDR frente a FDX) de antemano; seleccionar un método post-hoc basado en los resultados puede comprometer el control del error.
3. Garantías de Muestra Finita: Muchos métodos que ofrecen la integración de información lateral solo proporcionan control de error asintótico, o carecen de control de FDX en muestras finitas.
4. Compatibilidad de Escenarios: Pocos métodos manejan fluidamente tanto los marcos de pruebas basados en valores-$p$ como los basados en competencia (por ejemplo, target-decoy) manteniendo un control de error riguroso.

Metodología: RESET

Los autores proponen RESET (REscoring via Estimating and Training — Recálculo mediante Estimación y Entrenamiento), un marco semi-supervisado general diseñado para controlar FDR o FDX en muestras finitas, tanto en entornos basados en competencia como en entornos basados en valores-$p$.

Mecanismo Central

RESET opera dividiendo los datos en conjuntos de entrenamiento y de estimación para desacoplar el aprendizaje de una función de puntuación del cálculo de la tasa de error:

1. Transformación de Datos: En el entorno de valores-$p$, los valores-$p$ se convierten en un formato similar al de competencia con etiquetas ($L_i \in \{+1, -1\}$) y puntuaciones ganadoras ($W_i$) utilizando una función de reflexión (mirroring). En el entorno de competencia, las hipótesis poseen naturalmente puntuaciones y etiquetas de target/decoy.
2. División de Datos: El conjunto de "ganadores de señuelos" (decoy wins) —hipótesis donde la hipótesis nula parece ganar— se divide aleatoriamente en:
   • Señuelos de Entrenamiento (Training Decoys): Utilizados para entrenar un modelo de aprendizaje automático semi-supervisado.
   • Señuelos de Estimación (Estimating Decoys): Reservados para estimar el número de falsos descubrimientos.
   • Pseudo-Objetivos (Pseudo-Targets): La unión de todos los ganadores de objetivos (target wins) y los señuelos de estimación.
3. Aprendizaje Semi-supervisado (El "Ensemble"): Un modelo semi-supervisado seleccionado por el usuario (o un conjunto de estos) se entrena para distinguir entre los señuelos de entrenamiento (clase negativa) y los pseudo-objetivos (clase positiva, que es una mezcla de nulas verdaderas y falsas). El modelo genera un conjunto de valores recalculados ($\tilde{W}$) destinados a clasificar mejor las nulas falsas.
4. Control de Error: Los señuelos de entrenamiento se descartan. Se revelan las etiquetas originales de los pseudo-objetos restantes. Las hipótesis recalculadas se procesan mediante procedimientos estándar de paso ascendente (step-up) o descendente (step-down):
   • Control de FDR: Selective SeqStep+ (SSS+).
   • Control de FDX: FDP-stepdown (FDP-SD).

Ensemble de RESET

Para abordar el desafío de la selección de modelos, los autores introducen el RESET Ensemble. Esta implementación:

• Selecciona automáticamente el algoritmo de clasificación con mejor desempeño de una librería (Bosques Aleatorios, Modelos Aditivos Generalizados y diversas Redes Neuronales) utilizando validación cruzada sobre los datos de entrenamiento.
• Utiliza un esquema de $K$-pliegues (K-fold) donde cada hipótesis es puntuada por un modelo que no fue entrenado con ella, protegiendo contra el sobreajuste (overfitting).
• Opera sin requerir que el usuario especifique el modelo óptimo, preservando así las garantías de control de error que podrían verse comprometidas por la selección de modelos dependiente de los datos.

Garantías Teóricas

El artículo establece que RESET controla el FDR y el FDX en muestras finitas bajo la Asunción 1: Condicionado a las puntuaciones, la información lateral y las etiquetas de la nula verdadera, las etiquetas nulas verdaderas son variables aleatorias independientes $\pm 1$ con $P(L_i=1) \leq c_0$.

• El Lema 1 demuestra que incluso después de los pasos de división de datos y aprendizaje automático, las etiquetas de las nulas verdaderas en el conjunto de estimación siguen siendo condicionalmente independientes, satisfaciendo los requisitos para SSS+ y FDP-SD.
• Se demuestra que el marco es robusto a distribuciones no idénticas de las etiquetas nulas verdaderas, una relajación de las asunciones requeridas por trabajos previos.

Contribuciones Clave

1. Marco Unificado: RESET es aplicable tanto a escenarios de pruebas basadas en competencia (por ejemplo, filtros knockoff, competencia target-decoy) como a escenarios de pruebas basadas en valores-$p$.
2. Control de FDX en Muestra Finita: Hasta donde los autores saben, RESET es el primer método que ofrece control de FDX en muestras finitas en el entorno de valores-$p$ con información lateral, y proporciona un enfoque flexible para el FDX en entornos de competencia. (Nota: Se identificó un método relacionado, CLAW, durante la revisión, pero solo controla FDR).
3. Eficiencia Computacional: Al evitar el proceso iterativo de revelación de etiquetas de Adaptive Knockoffs y AdaPT, RESET logra aceleraciones significativas (órdenes de magnitud en algunos casos).
4. Selección Automática de Modelos: El enfoque de "Ensemble" elimina la carga de la selección manual de modelos para el usuario, manteniendo la validez estadística.
5. Rigor Teórico: El artículo proporciona pruebas para el control de FDR y FDX en muestras finitas bajo asunciones de independencia relajadas, incluyendo una prueba novedosa para el control de FDX con etiquetas nulas verdaderas no idénticas.

Resultados

Los autores evalúan RESET a través de simulaciones y conjuntos de datos del mundo real:

Estudios de Simulación

• Selección de Variables (Entorno de Competencia): En simulaciones que involucran modelos lineales y logísticos con dimensiones variables y estructuras de información lateral, el RESET Ensemble demostró consistentemente un desempeño competitivo o superior comparado con Adaptive Knockoffs (AdaKO) y el filtro Knockoff (KO) estándar. Destacó particularmente en entornos de alta dimensión y cuando la información lateral era compleja.
• Entorno de Valores-$p$: Comparado con AdaPT, AdaFDR, ZAP y otros, el RESET Ensemble logró una potencia comparable o mayor en diversas configuraciones de información lateral (geométrica, de alta dimensión y datos dependientes). Mostró robustez ante dependencias locales donde fallaron algunos métodos asintóticos.

Aplicaciones de Datos Reales

• Detección de Péptidos (Proteómica):
  • Velocidad: En el conjunto de datos HEK293, el RESET Ensemble completó el análisis en ~17.7 minutos. En contraste, se estimó que las variantes de Adaptive Knockoffs tardarían días (por ejemplo, AdaKO GAM: ~1.07 días; AdaKO RF: ~846 días).
  • Potencia: En el conjunto de datos PRIDE-20, el RESET Ensemble descubrió más péptidos que tanto la competencia estándar Target-Decoy (TDC) como AdaKO con su filtro GAM por defecto. Fue comparable a la variante más potente de AdaKO (RF), pero mucho más rápido.
• Genómica y Otros Dominios: A través de 10 conjuntos de datos reales (RNA-seq, microbioma, fMRI, eQTL), el RESET Ensemble se posicionó consistentemente entre los mejores desempeños en términos de número de descubrimientos, superando a menudo o igualando a las variantes de AdaPT y AdaFDR.

Significación y Reivindicaciones

El artículo afirma que RESET ofrece una alternativa práctica, rápida y estadísticamente rigurosa a los métodos existentes de pruebas múltiples semi-supervisadas.

• Versatilidad: Une de forma única las pruebas basadas en valores-$p$ y de competencia, soportando tanto el control de FDR como de FDX con garantías de muestra finita.
• Escalabilidad: Resuelve el cuello de botella computacional de los métodos iterativos como Adaptive Knockoffs, haciendo que las pruebas múltiples semi-supervisadas sean factibles para conjuntos de datos masivos (por ejemplo, proteómica).
• Facilidad de Uso: Al automatizar la selección de modelos mediante el enfoque de Ensemble, elimina la necesidad de que los usuarios ajusten hiperparámetros complejos o seleccionen algoritmos específicos, reduciendo el riesgo de elecciones subóptimas.
• Limitaciones: Los autores señalan modestamente que la potencia de RESET depende de la capacidad informativa de la información lateral; si las covariables no son informativas, RESET puede no superar a los métodos de referencia que ignoran la información lateral. Además, la división aleatoria de los señuelos introduce variabilidad en la lista de descubrimientos, aunque los autores sugieren que esto es marginal respecto a la aleatoriedad de los datos y puede mitigarse mediante la derandomización del valor-$e$ (aunque esto conlleva una pérdida de potencia).

El trabajo posiciona a RESET como una herramienta robusta para el descubrimiento científico de alto rendimiento, particularmente en campos como la proteómica y la genómica, donde las pruebas de hipótesis a gran escala con datos auxiliares son críticas.