Resumo Técnico: BBOmix

Definição do Problema

O avanço rápido do sequenciamento de alto rendimento gerou conjuntos de dados ômicos de alta dimensionalidade e grande escala (genômica, transcriptômica, proteômica). Arquiteturas de aprendizado profundo não supervisionado, particularmente Autoencoders (AEs), são cada vez mais utilizadas para redução de dimensionalidade e aprendizado de representação neste domínio. No entanto, esses modelos são altamente sensíveis a escolhas arquiteturais e configurações de hiperparâmetros.

Um desafio crítico neste campo é que a otimização não supervisionada normalmente depende da minimização da perda de reconstrução, que pode servir como um pobre substituto (proxy) para a utilidade real do espaço latente em aplicações a jusante (downstream) (ex: classificação de tipos celulares, prognóstico de doenças). A otimização exaustiva de hiperparâmetros (HPO) em dados biológicos de grande escala é computacionalmente cara, forçando pesquisadores a depender de configurações padrão subótimas ou ajuste manual. Além disso, os benchmarks de HPO existentes (ex: NAS-Bench-201, TabRepo) focam em configurações supervisionadas onde o objetivo de otimização coincide diretamente com a tarefa a jusante, ou dependem de dados sintéticos ou de visão computacional que falham em capturar o ruído específico, a esparsidade e os padrões regulatórios dos sistemas biológicos. Há uma carência de benchmarks padronizados e pré-computados para aprendizado de representação não supervisionada em dados biológicos do mundo real.

Metodologia

Os autores introduzem o BBOmix, o primeiro benchmark de código aberto para HPO não supervisionado em dados biológicos do mundo real. A metodologia envolve os seguintes componentes:

1. Conjuntos de Dados e Modalidades

O benchmark utiliza dois conjuntos de dados multiômicos estabelecidos:

• TCGA (The Cancer Genome Atlas): Um conjunto de dados pan-cancerígenos com mais de 10.000 amostras de pacientes em 32 tipos de câncer, incluindo modalidades transcriptômicas (mRNA-seq), epigenéticas (metilação de DNA) e genômicas (escores de mutação).
• SCHC (Single-Cell Human Cortex): Um conjunto de dados contendo mais de 45.000 medições de célula única, incluindo scRNA-seq e scATAC-seq, com anotações para tipo celular, idade e sexo.

2. Arquiteturas

Quatro arquiteturas distintas de AE foram avaliadas, variando de modelos padrão a modelos biologicamente informados:

• Vanillix: Um AE feed-forward totalmente conectado padrão com normalização por lote (batch normalization), dropout e ReLU, minimizando a perda de reconstrução MSE.
• Varix: Um $\beta$-Variational Auto-Encoder (VAE) padrão minimizando a perda ELBO padrão.
• Disentanglix: Uma extensão de VAE (baseada em $\beta$-TCVAE) que decompõe a divergência KL para penalizar a correlação total, a informação mútua e a KL por dimensão.
• Ontix: Um VAE biologicamente informado onde o decodificador é restringido por uma ontologia (seja por vias do Reactome ou posições de genes baseadas em cromossomos) para impor explicabilidade ao espaço latente.

3. Desenho Experimental

• Espaço de Busca: Para cada arquitetura, 1.000 configurações foram amostradas uniformemente de um espaço de busca cobrindo hiperparâmetros compartilhados (dimensão de entrada, camadas, fator de codificação, dimensão latente, taxa de aprendizado, tamanho do lote, dropout, weight decay) e parâmetros específicos da arquitetura (ex: $\beta$, $\beta_{tc}$).
• Execução: Cada configuração foi treinada por 300 épocas em sete tarefas de dataset-modalidade usando três sementes aleatórias independentes.
• Escala: Isso resultou em 105.000 execuções de treinamento individuais (4 arquiteturas $\times$ 1.000 configs $\times$ 3 sementes $\times$ 7 tarefas), consumindo aproximadamente 10.000 horas de GPU em Nvidia H100s.
• Formato de Dados: Os resultados são serializados no formato tabular de caixa-preta da biblioteca Syne Tune, fornecendo 35 caixas-pretas distintas. Cada entrada inclui perdas de reconstrução por época, tempo de execução de treinamento e desempenho em tarefas a jusante.

4. Métricas de Avaliação

• Objetivo Primário: Perda de reconstrução (minimizada durante o treinamento).
• Utilidade a Jusante: A utilidade dos embeddings latentes congelados foi avaliada via regressão logística em várias tarefas de classificação clínica e biológica (ex: tipo de câncer, tipo celular, status de sobrevivência). O desempenho foi medido usando a Área Sob a Curva de Recebedor (AUC-ROC).

Principais Contribuições

1. Primeiro Conjunto de Dados de HPO Não Supervisionado em Grande Escala: O BBOmix fornece 105.000 avaliações em 35 tarefas, permitindo o benchmarking de algoritmos de HPO sem a necessidade de re-treinamento caro.
2. Análise de Correlação: Os autores quantificam sistematicamente a correlação entre a perda de reconstrução e o desempenho da tarefa a jusante, fornecendo evidência empírica sobre quando a perda de reconstrução é um proxy confiável.
3. Benchmarking Abrangente de HPO: O artigo avalia métodos de otimização de estado da arte (SOTA) através de três paradigmas:
   • Fidelidade única (Single-fidelity): Random Search, TPE, BORE, REA, CQR.
   • Multi-fidelidade (Multi-fidelity): ASHA, BOHB e híbridos (ASHABORE, ASHACQR).
   • Aprendizado por Transferência (Transfer Learning): Zero Shot, Bounding Box, Quantile Transfer.

Resultados

Perda de Reconstrução como um Proxy

O estudo descobriu que a perda de reconstrução é, em geral, um preditor forte, embora não perfeito, do desempenho a jusante.

• Correlação: As correlações de ranking de Spearman ($\rho$) entre a perda de reconstrução e o AUC a jusante variaram de $-0,72$a$-0,88$ para Disentanglix, Vanillix e Varix na maioria das modalidades.
• Exceções: A correlação quebrou significativamente para a modalidade TCGA-DNA (escore de mutação genômica), onde as correlações foram próximas de zero ou fracamente positivas. Isso sugere que, para modalidades biológicas específicas como escores de mutação de DNA, minimizar a perda de reconstrução não produz necessariamente melhores representações para tarefas a jusante.

Importância dos Hiperparâmetros

Usando análise de importância de permutação em regressores de floresta aleatória (random forest):

• Dropout ($p$): Consistentemente o hiperparâmetro mais influente para o desempenho preditivo a jusante em Vanillix, Varix e Disentanglix.
• Taxa de Aprendizado (Learning Rate): O fator dominante para Ontix e um forte fator secundário para os demais.
• Dimensionalidade de Entrada ($D$): Altamente influente para a perda de reconstrução, mas menos decisivo para a classificação a jusante.
• Termos Específicos da Arquitetura: Termos de regularização como $\beta$ (em VAEs) e $\beta_{tc}$ (em Disentanglix) tiveram importância moderada para o desempenho a jusante, mas impacto negligenciável na perda de reconstrução, sugerindo que eles moldam a geometria latente em vez da fidelidade de reconstrução.

Desempenho do Otimizador

• Fidelidade Única: CQR (Conformalized Quantile Regression) alcançou o menor regret normalizado e o melhor desempenho geral. BORE e REA tiveram desempenho ligeiramente inferior, mas superaram TPE e Random Search.
• Multi-fidelidade: Métodos que utilizam curvas de aprendizado por época (ASHA, BOHB e híbridos) alcançaram desempenho final comparável aos métodos de fidelidade única, mas com um a dois orders de magnitude menos de tempo de execução (wall-clock time). ASHACQR e ASHABORE mostraram um desempenho anytime particularmente forte.
• Aprendizado por Transferência: Métodos como Bounding Box e Quantile Transfer reduziram significativamente o cold-start regret em comparação ao CQR ao aproveitar o conhecimento de tarefas relacionadas. Isso indica que as estruturas de importância de hiperparâmetros (ex: a dominância da taxa de aprendizado) são parcialmente portáteis entre diferentes tipos de dados biológicos e famílias de modelos. Os métodos Zero Shot forneceram um bom ponto de partida inicial, mas foram rapidamente superados por métodos que atualam ativamente os substitutos (surrogates).

Significância e Alegações

O artigo afirma que o BBOmix democratiza o acesso à pesquisa de HPO não supervisionado em larga escala na biologia. Ao fornecer uma base rigorosa, ele permite que pesquisadores:

• Avaliem algoritmos de HPO sem o custo computacional proibitivo de treinar modelos do zero.
• Investiguem a relação entre objetivos não supervisionados e utilidade biológica, destacando onde a perda de reconstrução falha como proxy.
• Demonstrem que o aprendizado por transferência e métodos de multi-fidelidade são altamente eficazes neste domínio, permitindo a identificação rápida de configurações de alto desempenho por uma fração do custo dos métodos padrão.

Os autores posicionam o BBOmix como uma fundação para o desenvolvimento de frameworks de recomendação de HPO específicos para o domínio, que podem sugerir arquiteturas e hiperparâmetros ideais para novos conjuntos de dados biológicos, diminuindo assim a barreira de entrada para profissionais da área.