Resumen Técnico: BBOmix

Planteamiento del Problema

El rápido avance de la secuenciación de alto rendimiento ha generado grandes conjuntos de datos ómicos de alta dimensionalidad (genómica, transcriptómica, proteómica). Las arquitecturas de aprendizaje profundo no supervisado, particularmente los Autoencoders (AE), se utilizan cada vez más para la reducción de la dimensionalidad y el aprendizaje de representaciones en este dominio. Sin embargo, estos modelos son altamente sensibles a las elecciones arquitectónicas y a las configuraciones de hiperparámetros.

Un desafío crítico en este campo es que la optimización no supervisada suele depender de la minimización de la pérdida de reconstrucción, lo que puede servir como un mal indicador de la utilidad real del espacio latente resultante en aplicaciones posteriores (por ejemplo, clasificación de tipos celulares o pronóstico de enfermedades). La optimización exhaustiva de hiperparámetros (HPO) en tales datos biológicos a gran escala es computacionalmente costosa, lo que obliga a menudo a los investigadores a depender de configuraciones por defecto suboptimales o de un ajuste manual. Además, los benchmarks de HPO existentes (por ejemplo, NAS-Bench-201, TabRepo) se centran en entornos supervisados donde el objetivo de optimización coincide directamente con la tarea posterior, o dependen de datos sintéticos o de visión por computadora que no logran capturar la especificidad del ruido, la escasez y los patrones regulatorios de los sistemas biológicos. Existe una falta de benchmarks estandarizados y precomputados para el aprendizaje de representaciones no supervisadas sobre datos biológicos del mundo real.

Metodología

Los autores presentan BBOmix, el primer benchmark de caja negra tabular de código abierto para HPO no supervisado en datos biológicos reales. La metodología involucra los siguientes componentes:

1. Conjuntos de Datos y Modalidades

El benchmark utiliza dos conjuntos de datos multiómicos establecidos:

• TCGA (The Cancer Genome Atlas): Un conjunto de datos pancáncer con más de 10,000 muestras de pacientes a través de 32 tipos de cáncer, incluyendo modalidades transcriptómicas (mRNA-seq), epigenéticas (metilación del ADN) y genómicas (puntuaciones de mutación).
• SCHC (Single-Cell Human Cortex): Un conjunto de datos que contiene más de 45,000 mediciones de célula única, incluyendo scRNA-seq y scATAC-seq, con anotaciones para tipo celular, edad y sexo.

2. Arquitecturas

Se evaluaron cuatro arquitecturas de AE distintas, que van desde modelos estándar hasta modelos informados biológicamente:

• Vanillix: Un AE estándar de alimentación hacia adelante (feed-forward) totalmente conectado con normalización por lotes, dropout y ReLU, que minimiza la pérdida de reconstrucción MSE.
• Varix: Un VAE ($\beta$-Variational Auto-Encoder) estándar que minimiza la pérdida ELBO estándar.
• Disentanglix: Una extensión de VAE (basada en $\beta$-TCVAE) que descompone la divergencia KL para penalizar la correlación total, la información mutua y la KL por dimensión.
• Ontix: Un VAE informado biológicamente donde el decodificador está restringido por una ontología (ya sea rutas de Reactome o posiciones basadas en cromosomas) para forzar la explicabilidad del espacio latente.

3. Diseño Experimental

• Espacio de Búsqueda: Para cada arquitectura, se muestrearon 1,000 configuraciones uniformemente de un espacio de búsqueda que cubre hiperparámetros compartidos (dimensión de entrada, capas, factor de codificación, dimensión latente, tasa de aprendizaje, tamaño de lote, dropout, decaimiento de peso) y parámetros específicos de la arquitectura (por ejemplo, $\beta$, $\beta_{tc}$).
• Ejecución: Cada configuración se entrenó durante 300 épocas en siete tareas de conjuntos de datos-modalidad utilizando tres semillas aleatorias independientes.
• Escala: Esto resultó en 105,000 ejecuciones de entrenamiento individuales (4 arquitecturas $\times$ 1,000 configs $\times$ 3 semillas $\times$ 7 tareas), consumiendo aproximadamente 10,000 horas de GPU en Nvidia H100s.
• Formato de Datos: Los resultados se serializan en el formato tabular de caja negra de la librería Syne Tune, proporcionando 35 cajas negras distintas. Cada entrada incluye pérdidas de reconstrucción por época, tiempo de ejecución de entrenamiento y rendimiento en la tarea posterior.

4. Métricas de Evaluación

• Objetivo Primario: Pérdida de reconstrucción (minimizada durante el entrenamiento).
• Utilidad Posterior: La utilidad de los embeddings latentes congelados se evaluó mediante regresión logística en diversas tareas de clasificación clínica y biológica (por ejemplo, tipo de cáncer, tipo de célula, estado de supervivencia). El rendimiento se midió utilizando el Área Bajo la Curva Característica de Recepción (AUC-ROC).

Contribuciones Clave

1. Primer Conjunto de Datos de HPO No Supervisado a Gran Escala: BBOmix proporciona 105,000 evaluaciones a través de 35 tareas, lo que permite la evaluación de algoritmos de HPO sin la necesidad de un reentrenamiento costoso.
2. Análisis de Correlación: Los autores cuantifican sistemáticamente la correlación entre la pérdida de reconstrucción y el rendimiento de la tarea posterior, proporcionando evidencia empírica sobre cuándo la pérdida de reconstrucción es un proxy confiable.
3. Benchmarking Exhaustivo de HPO: El artículo evalúa métodos de optimización de vanguardia (SOTA) a través de tres paradigmas:
   • Fidelidad única (Single-fidelity): Búsqueda Aleatoria, TPE, BORE, REA, CQR.
   • Multi-fidelidad: ASHA, BOHB e híbridos (ASHABORE, ASHACQR).
   • Aprendizaje por Transferencia (Transfer Learning): Zero Shot, Bounding Box, Quantile Transfer.

Resultados

La Pérdida de Reconstrucción como Proxy

El estudio encontró que la pérdida de reconstrucción es generalmente un predictor fuerte, aunque no perfecto, del rendimiento posterior.

• Correlación: Las correlaciones de rango de Spearman ($\rho$) entre la pérdida de reconstrucción y el AUC posterior oscilaron entre $-0.72$y$-0.88$ para Disentanglix, Vanillix y Varix en la mayoría de las modalidades.
• Excepciones: La correlación se rompió significativamente para la modalidad TCGA-DNA (puntuación de mutación genómica), donde las correlaciones fueron cercanas a cero o débilmente positivas. Esto sugiere que para modalidades biológicas específicas como las puntuaciones de mutación de ADN, minimizar la pérdida de reconstrucción no necesariamente produce mejores representaciones para las tareas posteriores.

Importancia de los Hiperparámetros

Utilizando el análisis de importancia de permutación en regresores de bosque aleatorio:

• Dropout ($p$): Fue consistentemente el hiperparámetro más influyente para el rendimiento predictivo posterior en Vanillix, Varix y Disentanglix.
• Tasa de Aprendizaje (Learning Rate): El factor dominante para Ontix y un segundo factor fuerte para los demás.
• Dimensionalidad de Entrada ($D$): Altamente influyente para la pérdida de reconstrucción pero menos decisivo para la clasificación posterior.
• Términos Específicos de la Arquitectura: Los términos de regularización como $\beta$ (en VAEs) y $\beta_{tc}$ (en Disentanglix) tuvieron una importancia moderada para el rendimiento posterior pero un impacto negligible en la pérdida de reconstrucción, sugiriendo que dan forma a la geometría latente en lugar a la fidelidad de la reconstrucción.

Rendimiento del Optimizador

• Fidelidad Única: CQR (Regresión de Cuantiles Conformalizada) logró el menor arrepentimiento (regret) normalizado y el mejor rendimiento general. BORE y REA funcionaron ligeramente peor pero superaron a TPE y Búsqueda Aleatoria.
• Multi-fidelidad: Los métodos que aprovechan las curvas de aprendizaje por época (ASHA, BOHB y sus híbridos) lograron un rendimiento final comparable a los métodos de fidelidad única pero con uno o dos órdenes de magnitud menos de tiempo de ejecución (wall-clock time). ASHACQR y ASHABORE mostraron un desempeño "anytime" particularmente fuerte.
• Aprendizaje por Transferencia: Métodos como Bounding Box y Quantile Transfer redujeron significativamente el arrepentimiento de arranque en frío (cold-start regret) en comparación con CQR al aprovechar el conocimiento de tareas relacionadas. Esto indica que las estructuras de importancia de hiperparámetros (por ejemplo, el dominio de la tasa de aprendizaje) son parcialmente portables a través de diferentes tipos de datos biológicos y familias de modelos. Los métodos Zero Shot proporcionaron un buen punto de partida inicial pero fueron rápidamente superados por métodos que actualizan activamente sus sustitutos (surrogates).

Significado y Reivindicaciones

El artículo afirma que BBOmix democratiza el acceso a la investigación de HPO no supervisado a gran escala en biología. Al proporcionar una base rigurosa, permite a los investigadores:

• Evaluar algoritmos de HPO sin el costo computacional prohibitivo de entrenar modelos desde cero.
• Investigar la relación entre los objetivos no supervisados y la utilidad biológica, resaltando dónde la pérdida de reconstrucción falla como proxy.
• Demostrar que el aprendizaje por transferencia y los métodos de multi-fidelidad son altamente efectivos en este dominio, permitiendo la identificación rápida de configuraciones de alto rendimiento a una fracción del costo de los métodos estándar.

Los autores posicionan a BBOmix como una base para desarrollar marcos de recomendación de HPO específicos del dominio que puedan sugerir arquitecturas y hiperparámetros óptimos para nuevos conjuntos de datos biológicos, reduciendo así la barrera de entrada para los profesionales en el campo.