GEMSS: A Variational Method for Discovering Multiple Sparse Solutions in Classification and Regression Problems

Resumo Técnico: GEMSS – Um Método Variacional para a Descoberta de Múltiplas Soluções Esparsas

1. Definição do Problema

Em problemas de regressão e classificação subdeterminados (onde o número de características $p$ excede amplamente o número de amostras $n$, ou onde as características são altamente colineares), múltiplos subconjuntos distintos de características esparsas frequentemente resultam em desempenho preditivo equivalente. Este fenômeno, conhecido como multiplicidade preditiva ou o efeito Rashomon, representa um desafio para a descoberta científica. Os seletores esparsos tradicionais (ex: LASSO) geralmente retornam uma única solução arbitrária, obscurecendo explicações alternativas e estatisticamente plausíveis.

O objetivo é a descoberta assistida: fornecer aos especialistas de domínio um "menu" de conjuntos de características distintos e de alto desempenho, em vez de uma única estimativa pontual. As abordagens existentes para este problema geralmente se dividem em três categorias:

1. Ensembles de Reamostragem Heurística: (ex: LASSO Randomizado) que perturbam os dados e resolvem novamente, carecendo de garantias posteriores.
2. Amostragem Posterior-Bootstrap: (ex: BB-SSL) que reponderam as verossimilhanças para amostrar a posterior, sendo frequentemente computacionalmente dispendiosas.
3. Métodos de Multiplicidade Dedicados: (ex: Enumeration LASSO, ALFESE) que forçam a diversidade através de restrições ou enumeração, mas não visam necessariamente os modos de alta probabilidade da posterior real.

2. Metodologia: GEMSS

Os autores propõem o GEMSS (Gaussian Ensemble for Multiple Sparse Solutions), um método de inferência variacional unificado projetado para aproximar a distribuição posterior multimodal dos suportes esparsos diretamente.

• Formulação Probabilística: O GEMSS assume um modelo linear generalizado com uma prior Spike-and-Slab Estruturada que fixa o nível de esparsidade exatamente em $D$ coeficientes não nulos. A posterior sobre os coeficientes é multimodal, com cada modo correspondendo a um subconjunto de características distinto e quase equivalente.
• Aproximação Variacional: Em vez de amostragem, o GEMSS aproxima a posterior $p(\beta | X, y)$ usando uma mistura paramétrica de $K$ Gaussianas diagonais:
  $$q(\beta) = \sum_{k=1}^{K} \alpha_k \mathcal{N}(\beta; \mu_k, \text{diag}(\sigma_k^2))$$
  O modelo é otimizado maximizando o Limite Inferior de Evidência (ELBO) via gradiente descendente estocástico (Adam).
• Repulsão Integrada: Um mecanismo fundamental do GEMSS é o termo de entropia de mistura dentro do componente da divergência KL do ELBO. Este termo atua como uma força repulsiva: posicionar dois componentes da mistura no mesmo modo aumenta a verossimilhança nas amostras, mas é penalizado pelo termo de entropia. Consequentemente, a otimização naturalmente conduz os componentes para modos distintos, evitando o colapso em uma única solução.
• Tratamento de Dados Ausentes: O método lida nativamente com dados ausentes ao avaliar a verossimilhança apenas sobre as coordenadas observadas, evitando a necessidade de imputação ou exclusão de linhas.
• Extração de Soluções: Cada componente da mistura $k$ gera uma solução candidata. As características são selecionadas com base na magnitude do vetor de média $\mu_k$ (para benchmarks de tamanho fixo) ou via detecção de outliers por z-score (para suportes de tamanho variável no mundo real).

3. Principais Contribuições

1. O Algoritmo GEMSS: Um único modelo variacional coerente que retorna múltiplas soluções esparsas distintas a partir de um único ajuste, modelando explicitamente a natureza multimodal da posterior.
2. Um Framework de Benchmarking Reutilizável: Os autores introduzem um gerador de dados sintéticos onde o conjunto de soluções de verdade fundamental (ground-truth) e sua sobreposição estrutural são conhecidos por construção. Isso permite uma avaliação rigorosa de "recuperação de nível de conjunto" (Union-F1) e "fidelidade estrutural" (Dissimilaridade).
3. Avaliação Empírica Abrangente: O artigo fornece uma comparação controlada contra seis baselines (Enumeration LASSO, ALFESE, ensemble de LASSO Randomizado, BB-SSL e masking) através de diferentes graus de sobreposição, dimensionalidade, ruído e ausência de dados.
4. Validação no Mundo Real: Aplicação a conjuntos de dados de metabolômica e ciência de alimentos, demonstrando a produção de múltiplas soluções distintas e altamente preditivas.
5. Lançamento de Código Aberto: O lançamento do pacote Python gemss, um repositório de benchmarking e uma aplicação online gratuita e sem código (Hugging Face Spaces) para democratizar o acesso.

4. Resultados Experimentais

A avaliação foca em seis questões de pesquisa (RQs):

• RQ1 (Recuperação de Sobreposição): O GEMSS supera consistentemente todos os competidores na recuperação do conjunto de soluções válidas em vários graus de sobreposição de características. Embora a diferença seja pequena para soluções disjuntas, ela aumenta significativamente conforme a sobreposição cresce. Notavelmente, aumentar o orçamento de reinicialização do ensemble de LASSO Randomizado (até 30.000 reinicializações) falha em fechar a lacuna com o GEMSS.
• RQ2 (Preditividade no Mundo Real): Em datasets reais (Diabetes, PCOS), o GEMSS produz soluções que são tanto estruturalmente distintas (alta dissimilaridade) quanto altamente preditivas (alto F1). Competidores como o Enumeration LASSO frequentemente retornam soluções quase idênticas, enquanto o masking força a diversidade ao custo do desempenho preditivo.
• RQ3 (Orçamento Computacional): O GEMSS é computacionalmente eficiente. Um único ajuste estabiliza em ~2.000 iterações e converge por volta de ~3.400 iterações, retornando todas as soluções simultaneamente. Isso supera o desempenho do ensemble mesmo quando o ensemble recebe um orçamento computacional significativamente maior.
• RQ4 (Dimensionalidade): O GEMSS mantém sua liderança de desempenho conforme a dimensionalidade cresce ($p$ até 5.000 e além), enquanto os métodos de ensemble degradam mais rapidamente.
• RQ5 (Robustez): O GEMSS degrada graciosamente sob alto ruído e dados ausentes. Ao contrário do ALFESE (que não pode lidar com dados ausentes) ou métodos que exigem imputação, o tratamento nativo de verossimilhança do GEMSS permite manter métricas de recuperação onde outros falham.
• RQ6 (Capacidade): O número ideal de componentes de mistura $K$ depende da estrutura de sobreposição do problema. Um $K$ mais alto é benéfico para soluções disjuntas, enquanto um $K$ mais baixo evita a fragmentação em regimes de alta sobreposição.

5. Significância e Alegações

O artigo alega que o GEMSS aborda uma lacuna crítica na seleção de características: a necessidade de passar de "encontrar o melhor modelo único" para "descobrir o panorama de modelos plausíveis".

• Mecanismo sobre Teorema: Os autores enquadram modestamente o sucesso do método não como uma garantia teórica de encontrar todos os modos, mas como um mecanismo prático. A "vantagem" do GEMSS é atribuída à repulsão variacional inerente ao ELBO, que separa os componentes por construção. Isso contrasta com métodos de reamostragem independentes (como o LASSO Randomizado) que lutam para resolver modos da posterior próximos.
• Utilidade Prática: A principal significância é a descoberta assistida. Ao fornecer um menu de soluções distintas e estatisticamente competitivas, o GEMSS permite que especialistas de domínio adjudiquem com base em especificidade biológica, utilidade prática ou outras restrições de domínio, em vez de aceitar uma escolha algorítmica arbitrária.
• Limitações: Os autores reconhecem que o benchmark é sintético (necessário para a verdade fundamental) e que a vantagem de alta sobreposição é observada em famílias específicas de geradores. Eles também observam que, embora o GEMSS utilize um modelo linear, ele pode ser aplicado a problemas não lineares via engenharia de características (adicionando termos de interação), embora isso aumente a dimensionalidade.

Em conclusão, o GEMSS é apresentado como uma ferramenta robusta, eficiente e acessível para desvendar o "efeito Rashomon" em dados de alta dimensão, oferecendo uma alternativa superior tanto a ensembles heurísticos quanto a wrappers de multiplicidade dedicados em cenários envolvendo alta correlação e escassez de amostras.