📊 statistics

Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

Este trabajo propone un modelo generativo profundo multimodal para aprendizaje semi-supervisado bajo desequilibrio de clases que aprovecha variables latentes compartidas, distribuciones t de Student para capturar características de datos con colas pesadas y una función objetivo de divergencia de potencia $\gamma$ para superar a los métodos existentes en conjuntos de datos multimodales parcialmente etiquetados y desequilibrados.

Autores originales: Heegeon Yoon, Heeyoung Kim

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Heegeon Yoon, Heeyoung Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a reconocer diferentes tipos de fruta. Tienes una pila enorme de fotos, pero hay un problema: tienes miles de imágenes de manzanas, pero solo un puñado de fotos de bayas raras y exóticas.

Si le muestras al robot toda la pila, se volverá muy bueno detectando manzanas, pero probablemente pensará que cada baya rara es simplemente una manzana de aspecto extraño. Este es el problema del desequilibrio de clases.

Ahora, imagina que el robot no solo ve fotos; también escucha descripciones de la fruta y siente su textura (si tuviera sensores). Esto son datos multimodales (usar diferentes tipos de información a la vez).

Finalmente, imagina que solo tienes etiquetas (nombres) para las manzanas, pero todas las bayas raras carecen de etiquetas. Tienes que adivinar qué son las bayas basándote en las pocas manzanas que conoces. Esto es aprendizaje semi-supervisado.

Este artículo introduce un nuevo modelo de IA llamado SSMVAE-CI diseñado para resolver los tres problemas a la vez: manejar el problema de la "fruta rara", usar múltiples sentidos (vista, sonido, texto) y aprender principalmente de datos sin etiquetas.

Así es como funciona, desglosado con analogías simples:

1. El enfoque del "Equipo de Especialistas" (Codificadores Multimodales)

La mayoría de los modelos de IA intentan mezclar todos los datos (fotos, texto, audio) en una sola licuadora gigante desde el principio. Los autores dicen: "No, mantengamos a los especialistas separados".

La analogía: Imagina un equipo de detectives. Un detective es experto en fotos, otro en audio y otro en texto. No mezclan sus pistas inmediatamente. En cambio, cada uno escribe un informe sobre lo que ve, y luego se reúnen en una "sala central" (el espacio latente) para comparar notas.
El beneficio: Esto permite que el modelo entienda que una foto de una baya y una descripción textual de una baya están relacionadas, incluso si parecen muy diferentes. El modelo utiliza un método de "Producto de Expertos", que es como tener al equipo votar sobre la conclusión final basándose en sus informes individuales, en lugar de obligarlos a ponerse de acuerdo antes de siquiera mirar los datos.

2. La red de seguridad de "colas pesadas" (Distribución t de Student)

Los modelos de IA estándar suelen asumir que los datos se distribuyen como una curva de campana perfecta (distribución gaussiana). En una curva de campana, lo "raro" (las colas) es tan delgado que el modelo a menudo lo ignora o intenta forzarlo para que parezca lo común.

La analogía: Imagina que una curva de campana es como una cuerda floja. Si eres una baya rara, estás muy lejos de la cuerda floja, en la hierba profunda. Un modelo estándar intenta tirarte de nuevo a la cuerda floja, haciéndote parecer una manzana.
La solución: Este artículo cambia la cuerda floja por una red amplia, similar a un trampolín (la distribución t de Student). Esta red tiene "colas pesadas", lo que significa que tiene mucho espacio en la hierba profunda. Permite que las bayas raras se queden donde naturalmente pertenecen sin ser forzadas a parecerse a las manzanas. Esto evita que el modelo "sobre-regularice" (fuerce) los datos raros hacia los patrones comunes.

3. El juego de "Adivinanzas Inteligentes" (Divergencia de Potencia Gamma)

El modelo necesita aprender tanto de las manzanas etiquetadas como de las bayas sin etiquetas. Para hacer esto, utiliza una herramienta matemática especial llamada divergencia de potencia $\gamma$ .

La analogía: Piensa en esto como una regla flexible. Una regla estándar (como la divergencia KL) es rígida; si los datos no encajan perfectamente, se rompe o se confunde. La regla de potencia $\gamma$ es elástica y indulgente. Permite que el modelo diga: "Sé que esta baya rara no se parece exactamente a las manzanas que he visto, pero está lo suficientemente cerca para ser una baya, y no la castigaré demasiado por ser diferente".
El resultado: Esto ayuda al modelo a aprender eficazmente incluso cuando los datos son desordenados, desequilibrados o tienen piezas faltantes.

4. ¿Qué sucede cuando faltan datos?

En el mundo real, a veces tienes una foto pero no audio, o texto pero no imagen.

La analogía: Si un equipo de detectives pierde a un miembro (por ejemplo, el experto en audio está enfermo), un equipo rígido podría dejar de trabajar. Pero como este modelo utiliza la "red amplia" (distribución t) y el enfoque de "especialista", aún puede hacer una buena suposición usando solo la foto y el texto. Trata los datos faltantes como una señal "suave" en lugar de un alto definitivo, permitiéndole aprender de muestras incompletas sin descartarlas.

Los Resultados

Los autores probaron este modelo en escenarios del mundo real:

Dígitos escritos a mano vs. Números de casas: Una mezcla de dos tipos de imágenes.
Imágenes de comida y recetas: Una mezcla de fotos y texto.
Video, audio y texto: Una mezcla de tres tipos de datos de personas hablando.

En cada prueba, especialmente cuando las clases "raras" eran muy escasas y los datos carecían de etiquetas, este nuevo modelo superó a los métodos existentes. Fue particularmente bueno identificando correctamente las "frutas raras" (clases minoritarias) que otros modelos seguían confundiendo con "manzanas" (clases mayoritarias).

En resumen: Este artículo construyó una IA más inteligente y flexible que utiliza un equipo de especialistas, una red de seguridad amplia para datos raros y una regla indulgente para aprender mejor de información desordenada, incompleta y desequilibrada que los métodos anteriores.

Resumen Técnico: Modelo Generativo Profundo Multimodal para Aprendizaje Semi-Supervisado bajo Desequilibrio de Clases

Enunciado del Problema
Las redes neuronales profundas (DNN) a menudo tienen dificultades con datos desequilibrados en cuanto a clases, mostrando un sesgo hacia las clases mayoritarias y una generalización deficiente en las clases minoritarias. Este problema se exacerba en entornos de aprendizaje semi-supervisado (SSL) donde las pseudoetiquetas para datos no etiquetados se generan basándose en conjuntos etiquetados desequilibrados, propagando y reforzando el sesgo. Además, los datos del mundo real son frecuentemente multimodales (combinando fuentes diversas como imágenes y texto), sin embargo, las soluciones existentes abordan típicamente el desequilibrio de clases, la multimodalidad o la supervisión parcial de forma aislada. Pocos métodos abordan la intersección de los tres desafíos, y aquellos que lo hacen a menudo dependen de modelos fundacionales de cero disparos que carecen de especificidad de dominio o requieren recursos computacionales sustanciales. El problema central abordado es la falta de un marco unificado capaz de entrenar robustamente sobre datos multimodales parcialmente etiquetados con distribuciones de clases desequilibradas.

Metodología: SSMVAE-CI
Los autores proponen el Autoencoder Variacional Multimodal Semi-Supervisado para Aprendizaje con Desequilibrio de Clases (SSMVAE-CI). Este es un marco generativo unificado que integra tres componentes técnicos clave:

Arquitectura Multimodal con Producto de Expertos (PoE):
El modelo extiende el marco VAE semi-supervisado para manejar $M$ modalidades ( $x_1, ..., x_M$ ). Emplea codificadores específicos de modalidad que comparten un espacio latente común que contiene tanto una variable latente continua $z$ como una variable de clase discreta $y$ . Para gestionar la complejidad de inferir la distribución posterior conjunta $p(y, z | x_1, ..., x_M)$ sin requerir un número exponencial de redes de inferencia, el modelo utiliza un marco de Producto de Expertos (PoE). Esto aproxima la distribución posterior conjunta como el producto de las distribuciones posteriores individuales de cada modalidad condicionadas a un experto previo, formulado matemáticamente como:
$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$
Esto permite una inferencia escalable a través de múltiples modalidades.
Distribuciones de Cola Pesada (t de Student):
Para abordar el desequilibrio de clases, el modelo reemplaza las distribuciones Gaussianas estándar utilizadas en los VAE típicos con distribuciones t de Student para el previo, el codificador y el decodificador. La naturaleza de cola pesada de la distribución t permite que el modelo mantenga una densidad de probabilidad no despreciable en regiones dispersas del espacio latente donde residen las muestras de clases minoritarias. Esto previene la sobre-regularización de muestras minoritarias que a menudo ocurre con previos Gaussianos, preservando así patrones semánticamente significativos pero subrepresentados.
Función Objetivo de Divergencia de Potencia $\gamma$ :
Los autores derivan una nueva función objetivo basada en la divergencia de potencia $\gamma$ para entrenar el modelo tanto con datos etiquetados como no etiquetados.
- Para datos etiquetados, la objetivo extiende la pérdida $\gamma$ (utilizada en t3VAE) para incluir la variable de clase observada $y$ .
- Para datos no etiquetados, la variable de clase $y$ se trata como latente. La objetivo marginaliza $y$ a través de la divergencia $\gamma$ , derivando un límite inferior tratable análogo al Límite Inferior de Evidencia (ELBO).
- La objetivo general combina la pérdida generativa con una pérdida de clasificación discriminativa ponderada por un hiperparámetro $\alpha$ , equilibrando la representación latente coherente con el rendimiento de clasificación.

Contribuciones Clave
El artículo afirma cinco contribuciones principales:

Marco Unificado: Es el primer modelo generativo que aborda conjuntamente la semi-supervisión, la multimodalidad y el desequilibrio de clases dentro de un único marco probabilístico, reconciliando los requisitos de modelado diferentes de estos desafíos.
Mecanismo de Inferencia PoE: Desarrolla un mecanismo de inferencia PoE que soporta tanto variables latentes continuas como discretas a través de múltiples modalidades, permitiendo un modelado flexible y escalable.
Modelado Generalizado de Colas Pesadas: Generaliza el uso de distribuciones t de Student a un entorno multimodal y semi-supervisado, mejorando la robustez ante el desequilibrio de clases mediante aproximaciones posteriores de cola pesada.
Función Objetivo Novel: Deriva una nueva función de entrenamiento basada en la divergencia de potencia $\gamma$ , asegurando un aprendizaje estable y expresivo tanto de datos etiquetados como no etiquetados bajo distribuciones desequilibradas.
Validación Empírica: Experimentos extensos demuestran un rendimiento consistentemente superior sobre métodos de referencia en entornos semi-supervisados, multimodales y de clases desequilibradas.

Resultados Experimentales
El modelo fue evaluado en tres conjuntos de datos:

MNIST-SVHN: Un conjunto de datos sintético multimodal que combina dígitos escritos a mano y números de casas.
UPMC Food-101: Un conjunto de datos del mundo real con imágenes de comida y descripciones de texto.
CMU-MOSEI: Un conjunto de datos complejo con modalidades de video, audio y texto para análisis de sentimientos.

Aspectos Destacados del Rendimiento:

Precisión Superior: SSMVAE-CI superó consistentemente a los métodos de referencia (incluyendo métodos compuestos que combinan SSL, manejo de desequilibrio y estrategias de fusión como CReST, Adsh y LDAM) tanto en precisión general como en precisión de clases minoritarias.
Robustez ante el Desequilibrio: Las ganancias de rendimiento fueron más pronunciadas en ratios de desequilibrio altos ( $r=100$ ) y proporciones bajas de datos etiquetados ( $\beta=10\%$ ). Por ejemplo, en MNIST-SVHN con $r=100$ y $\beta=10\%$ , el modelo alcanzó una precisión general del 74.79% y una precisión minoritaria del 59.07%, superando significativamente al siguiente mejor método de referencia.
Manejo de Modalidades Faltantes: En experimentos donde una modalidad faltaba para la mitad de los datos de entrenamiento, SSMVAE-CI entrenado en el conjunto de datos completo (incluyendo muestras incompletas) mostró la menor caída de rendimiento (2.08% en precisión general) en comparación con los métodos de referencia o los modelos entrenados solo con datos completos. Esto demuestra la capacidad del modelo para utilizar muestras incompletas como señales de entrenamiento.
Estudios de Ablación: Eliminar la distribución t de Student (volviendo a la Gaussiana) o la estructura PoE (volviendo a una fusión simple) resultó en una degradación significativa del rendimiento, confirmando la necesidad de ambos componentes para manejar el desequilibrio de clases y las correlaciones multimodales.

Significado y Afirmaciones
El artículo postula que SSMVAE-CI ofrece un enfoque estructurado y eficiente en datos para dominios donde los datos son naturalmente multimodales, parcialmente etiquetados y desequilibrados. Los autores destacan aplicaciones potenciales en diagnóstico médico (por ejemplo, combinar radiografías con historial del paciente donde los casos de enfermedad son raros) y evaluación de riesgos financieros (por ejemplo, detectar fraudes en datos de transacciones multimodales).

Los autores mantienen una postura teórica modesta, reconociendo que, aunque el modelo proporciona una validación empírica extensa, no se derivan garantías formales de convergencia o generalización debido a la heterogeneidad de los componentes probabilísticos. Sin embargo, afirman que la formulación probabilística unificada asegura consistencia teórica para el aprendizaje multimodal semi-supervisado mientras mantiene la robustez ante el desequilibrio de clases, abordando una brecha que ni MVAE ni t3VAE podían llenar individualmente. Se propone trabajo futuro para abordar las discrepancias de distribución entre los conjuntos etiquetados y no etiquetados.