📊 statistics

GEMSS: A Variational Method for Discovering Multiple Sparse Solutions in Classification and Regression Problems

El artículo presenta GEMSS, un método variacional que utiliza un único modelo de mezcla con repulsión integrada para descubrir eficientemente múltiples soluciones distintas, dispersas y estadísticamente plausibles para problemas de clasificación y regresión de alta dimensión, superando a las líneas base existentes tanto en pruebas sintéticas como en aplicaciones del mundo real.

Autores originales: Kateřina Henclová, Václav Šmídl

Publicado 2026-08-03✓ Author reviewed ⓘ

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kateřina Henclová, Václav Šmídl

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El misterio de las múltiples verdades

Imagina que eres un detective intentando resolver un crimen, pero en lugar de encontrar un culpable claro, descubres que tres sospechosos diferentes podrían haber cometido exactamente el mismo delito con el mismo nivel de certeza. En el mundo de la ciencia de datos, específicamente en un campo llamado "aprendizaje automático" (machine learning), esto sucede todo el tiempo. Los científicos suelen utilizar computadoras para encontrar patrones en cantidades masivas de información, como intentar averiguar qué ingredientes en una sopa hacen que sepa bien, o qué genes hacen que una planta crezca alta. Por lo general, quieren encontrar la lista de "mejor" ingredientes o genes.

Sin embargo, cuando hay muchas más pistas (características) que pistas para verificar (muestras), o cuando las pistas son muy similares entre sí, la computadora se confunde. Es como intentar elegir la mejor ruta para ir a la escuela cuando tres caminos diferentes son igualmente rápidos y seguros. Si la computadora simplemente elige un camino y te dice: "Esta es la única vía", podría estar ocultando otros dos caminos perfectamente buenos. Esto es un gran problema para los científicos porque ellos quieren entender por qué sucede algo, no solo predecirlo. Necesitan un menú de opciones, no solo una única respuesta. Este artículo presenta una nueva herramienta para ayudar a resolver este rompecabezas.

El nuevo kit de herramientas del detective: GEMSS

Conoce a GEMSS (Gaussian Ensemble for Multiple Sparse Solutions). Piensa en ello como un detective superinteligente que no solo elige a un sospechoso; en su lugar, construye un modelo único y flexible que puede contener simultáneamente tres "verdades" distintas en su cabeza a la vez.

En el pasado, si un científico quería encontrar múltiples explicaciones posibles para sus datos, tenía que jugar al juego de "adivinar y comprobar". Ejecutaban su programa de computadora, obtenían una respuesta, luego cambiaban los datos ligeramente (como añadiendo un poco de ruido o eliminando algunas pistas), lo ejecutaban de nuevo y esperaban obtener una respuesta diferente. Tenían que hacer esto cientos o incluso miles de veces, con la esperanza de tropezar con todas las soluciones válidas. Era como intentar encontrar todas las salidas de un laberinto corriendo a través de él ciegamente una y otra vez.

Los autores de este artículo, Kateřina Henclová y Václav Šmídl, crearon GEMSS para hacer esto de manera diferente. En lugar de recorrer el laberinto mil veces, GEMSS construye una "mezcla" de soluciones de un solo golpe. Imagina un coro donde cada cantante representa una solución diferente. La magia de GEMSS es que los cantantes están programados para evitar cantar la misma nota exacta. Si dos cantantes intentan pararse en el mismo lugar (representando la misma solución), el modelo los empuja para separarlos. Esta "repulsión" obliga al modelo a encontrar soluciones distintas y separadas que sean igualmente buenas para explicar los datos.

Lo que encontraron
Los investigadores probaron GEMSS contra otros métodos populares utilizando una prueba especial y personalizada donde sabían exactamente cuáles eran las respuestas correctas. Crearon escenarios donde las soluciones "correctas" eran completamente diferentes entre sí o compartían muchos de los mismos indicios (se solapaban considerablemente).

Los resultados fueron claros:

GEMSS es el campeón del solapamiento: Cuando las diferentes soluciones compartían muchas de las mismas características, GEMSS era significativamente mejor para encontrarlas todas. Otros métodos, que intentaban separar las soluciones forzadamente ejecutando el programa muchas veces, a menudo fallaban el tiro o se quedaban estancados en una sola respuesta.
Es rápido y eficiente: Mientras que otros métodos necesitaban ejecutarse miles de veces (como reiniciar un videojuego 30,000 veces para pasar un nivel), GEMSS encontró todas sus respuestas en una sola ejecución. En sus pruebas, GEMSS fue aproximadamente 2.6 veces más rápido que el siguiente mejor competidor que utilizaba el método de "reinicio".
Funciona en el mundo real: El equipo probó GEMSS con datos reales, como la búsqueda de biomarcadores para la diabetes e identificación de genes en plantas. En estos casos del mundo real, GEMSS produjo múltiples listas diferentes de características que eran todas altamente precisas para predecir el resultado. Por ejemplo, en un estudio sobre la diabetes, encontró 8 conjuntos diferentes de biomarcadores, todos los cuales eran estadísticamente válidos y distintos entre sí.

Lo que no es
El artículo tiene cuidado en señalar lo que GEMSS no es. No pretende ser una varita mágica que resuelve todos los problemas instantáneamente. Los investigadores demostraron que el simple hecho de ejecutar otros métodos más veces (aumentando el "presupuesto de reinicios") no ayudó a alcanzar a GEMSS; incluso con 30,000 reinicios, los métodos antiguos no pudieron igualar la capacidad de GEMSS para encontrar soluciones solapadas. También señalaron que, aunque GEMSS es excelente para encontrar estos múltiples caminos, todavía depende de que el usuario interprete qué camino tiene más sentido científico.

La conclusión
Este artículo sugiere que cuando los datos son desordenados y complejos, buscar una única respuesta "mejor" podría ser un error. En su lugar, deberíamos buscar un menú de explicaciones igualmente buenas. GEMSS ofrece una nueva y eficiente manera de generar ese menú, ayudando a científicos y expertos a ver el panorama completo en lugar de solo una visión estrecha. Los autores incluso han puesto la herramienta a disposición de forma gratuita en línea, para que cualquiera pueda probarla sin necesidad de ser un experto en programación.

Resumen Técnico: GEMSS – Un método variacional para el descubrimiento de múltiples soluciones dispersas

1. Planteamiento del problema

En problemas de regresión y clasificación subdeterminados (donde el número de características $p$ supera ampliamente al número de muestras $n$ , o donde las características son altamente colineales), múltiples subconjuntos de características distintos y dispersos pueden ofrecer un rendimiento predictivo equivalente. Este fenómeno, conocido como multiplicidad predictiva o el efecto Rashomon, plantea un desafío para el descubrimiento científico. Los selectores dispersos tradicionales (por ejemplo, LASSO) suelen devolver una única solución arbitraria, ocultando explicaciones alternativas y estadísticamente plausibles.

El objetivo es el descubrimiento asistido: proporcionar a los expertos en el dominio un "menú" de conjuntos de características distintos y de alto rendimiento, en lugar de una estimación puntual única. Los enfoques existentes para este problema generalmente se dividen en tres categorías:

Conjuntos de remuestreo heurístico: (por ejemplo, LASSO aleatorizado) que perturban los datos y resuelven de nuevo, careciendo de garantías posteriores.
Muestreo de la posterior-bootstrap: (por ejemplo, BB-SSL) que reponderan las verosimilitudes para muestrear la posterior, lo que suele ser computacionalmente costoso.
Métodos dedicados a la multiplicidad: (por ejemplo, Enumeration LASSO, ALFESE) que fuerzan la diversidad mediante restricciones o enumeración, pero que no necesariamente apuntan a los modos de alta probabilidad de la posterior verdadera.

2. Metodología: GEMSS

Los autores proponen GEMSS (Gaussian Ensemble for Multiple Sparse Solutions), un método de inferencia variacional unificado diseñado para aproximar la distribución posterior multimodal de los soportes dispersos de forma directa.

Formulación probabilística: GEMSS asume un modelo lineal generalizado con un prior de Spike-and-Slab estructurado que fija el nivel de dispersión exactamente en $D$ coeficientes no nulos. La posterior sobre los coeficientes es multimodal, donde cada modo corresponde a un subconjunto de características distinto y casi equivalente.
Aproximación variacional: En lugar de muestrear, GEMSS aproxima la posterior $p(\beta | X, y)$ utilizando una mezcla paramétrica de $K$ gaussianas diagonales:
$q(\beta) = \sum_{k=1}^{K} \alpha_k \mathcal{N}(\beta; \mu_k, \text{diag}(\sigma_k^2))$
El modelo se optimiza maximizando la cota inferior de la evidencia (ELBO) mediante el descenso de gradiente estocástico (Adam).
Repulsión integrada: Un mecanismo clave de GEMSS es el término de entropía de la mezcla dentro del componente de divergencia KL del ELBO. Este término actúa como una fuerza repulsiva: colocar dos componentes de la mezcla en el mismo modo aumenta la verosimilitud en las muestras, pero es penalizado por el término de entropía. En consecuencia, la optimización impulsa naturalmente a los componentes hacia distintos modos, evitando el colapso en una única solución.
Gestión de la ausencia de datos: El método maneja de forma nativa los datos faltantes evaluando la verosimilitud solo sobre las coordenadas observadas, evitando la necesidad de imputación o eliminación de filas.
Extracción de soluciones: Cada componente de la mezcla genera una solución candidata. Las características se seleccionan basándose en la magnitud del vector de medias $\mu_k$ (para benchmarks de tamaño fijo) o mediante la detección de valores atípicos por z-score (para soportes de tamaño variable en el mundo real).

3. Contribuciones clave

El algoritmo GEMSS: Un único modelo variacional coherente que devuelve múltiples soluciones dispersas distintas de un solo ajuste, modelando explícitamente la naturaleza multimodal de la posterior.
Un marco de benchmarking reutilizable: Los autores introducen un generador de datos sintéticos donde el conjunto de soluciones de verdad fundamental y su solapamiento estructural son conocidos por construcción. Esto permite una evaluación rigurosa de la "recuperación a nivel de conjunto" (Union-F1) y la "fidelidad estructural" (Disimilitud).
Evaluación empírica exhaustiva: El artículo proporciona una comparación controlada contra seis líneas base (Enumeration LASSO, ALFESE, Randomized LASSO ensemble, BB-SSL y masking) a través de diversos grados de solapamiento de características, dimensionalidad, ruido y ausencia de datos.
Validación en el mundo real: Aplicación a conjuntos de datos de metabolómica y ciencia de los alimentos, demostrando la producción de múltiples soluciones distintas y altamente predictivas.
Lanzamiento de código abierto: La publicación del paquete de Python gemss, un repositorio de benchmarking y una aplicación en línea gratuita y sin código (Hugging Face Spaces) para democratizar el acceso.

4. Resultados experimentales

La evaluación se centra en seis preguntas de investigación (RQ):

RQ1 (Recuperación de solapamiento): GEMSS supera consistentemente a todos sus competidores en la recuperación del conjunto de soluciones válidas a través de diversos grados de solapamiento de características. Aunque la brecha es pequeña para soluciones disjuntas, se amplía significamente a medida que el solapamiento aumenta. Notablemente, aumentar el presupuesto de reinicio para el conjunto de Randomized LASSO (hasta 30,000 reinicios) no logra cerrar la brecha con GEMSS.
RQ2 (Predictividad en el mundo real): En conjuntos de datos reales (Diabetes, PCOS), GEMSS produce soluciones que son estructuralmente distintas (alta disimilitud) y altamente predictivas (alto F1). Competidores como Enumeration LASSO suelen devolver soluciones casi idénticas, mientras que el método de masking fuerza la diversidad a costa del rendimiento predictivo.
RQ3 (Presupuesto computacional): GEMSS es computacionalmente eficiente. Un único ajuste se estabiliza en ~2,000 iteraciones y converge hacia las ~3,400, devolviendo todas las soluciones simultáneamente. Esto supera el rendimiento del conjunto (ensemble) incluso cuando este último recibe un presupuesto computacional significativamente mayor.
RQ4 (Dimensionalidad): GEMSS mantiene su ventaja de rendimiento a medida que la dimensionalidad crece ( $p$ hasta 5,000 y más), mientras que los métodos de conjunto se degradan más rápidamente.
RQ5 (Robustez): GEMSS se degrada de forma gradual bajo alto ruido y ausencia de datos. A diferencia de ALFESE (que no puede manejar datos faltantes) o métodos que requieren imputación, el manejo nativo de la verosimilitud de GEMSS le permite mantener las métricas de recuperación donde otros fallan.
RQ6 (Capacidad): El número óptimo de componentes de la mezcla $K$ depende de la estructura de solapamiento del problema. Un $K$ más alto es beneficioso para soluciones disjuntas, mientras que un $K$ más bajo evita la fragmentación en regímenes de alto solapamiento.

5. Significado y afirmaciones

El artículo afirma que GEMSS aborda una brecha crítica en la selección de características: la necesidad de pasar de "encontrar el mejor modelo único" a "descubrir el paisaje de modelos plausibles".

Mecanismo sobre teorema: Los autores enmarcan modestamente el éxito de su método no como una garantía teórica de encontrar todos los modos, sino como un mecanismo práctico. La "ventaja" de GEMSS se atribuye a la repulsión variacional inherente al ELBO, que separa los componentes por construcción. Esto contrasta con los métodos de remuestreo independientes (como Randomized LASSO) que luchan por resolver modos de la posterior cercanos.
Utilidad práctica: El principal significado es el descubrimiento asistido. Al proporcionar un menú de soluciones distintas y estadísticamente competitivas, GEMSS permite a los expertos en el dominio adjudicar basándose en la especificidad biológica, la utilidad práctica u otras restricciones del dominio, en lugar de aceptar una elección algorítmica arbitraria.
Limitaciones: Los autores reconocen que el benchmark es sintético (necesario para la verdad fundamental) y que la ventaja de alto solapamiento se observa en familias específicas de generadores. También señalan que, aunque GEMSS utiliza un modelo lineal, puede aplicarse a problemas no lineales mediante ingeniería de características (añadiendo términos de interacción), aunque esto aumenta la dimensionalidad.

En conclusión, GEMSS se presenta como una herramienta robusta, eficiente y accesible para desvelar el "efecto Rashomon" en datos de alta dimensión, ofreciendo una alternativa superior tanto a los conjuntos heurísticos como a los envoltorios de multiplicidad dedicados en escenarios que implican alta correlación y escasez de muestras.