Resumen Técnico: DAMEL – Aprendizaje Multi-Experto de Doble Eje para el Aprendizaje con Desbalance de Clases

1. Declaración del Problema

Las redes neuronales profundas (DNN) a menudo tienen dificultades con el aprendizaje con desbalance de clases (CIL) encontrado en distribuciones de cola larga del mundo real. Si bien las técnicas CIL existentes (por ejemplo, remuestreo, reponderación, aprendizaje desacoplado) reducen con éxito el sesgo de predicción hacia las clases mayoritarias, frecuentemente introducen una compensación: un aumento en la varianza de predicción.

Los algoritmos recientes de aprendizaje multi-experto intentan mitigar esta varianza entrenando múltiples expertos. Sin embargo, estos métodos suelen depender de procedimientos complejos y multi-etapa que involucran destilación de conocimiento o estrategias específicas de división de datos. Además, los enfoques multi-experto existentes generalmente agregan las predicciones de múltiples expertos, lo que puede no aprovechar plenamente las representaciones de características diversas aprendidas por cada experto.

2. Metodología: DAMEL

Los autores proponen DAMEL (Aprendizaje Multi-Experto de Doble Eje), un algoritmo conceptualmente simple y de una sola etapa que reduce tanto el sesgo cuadrático como la varianza de predicción aprovechando múltiples expertos a lo largo de dos ejes distintos: el eje de representación y el eje de tiempo.

Arquitectura y Entrenamiento

• Columna Vertebral Compartida: DAMEL utiliza $K$ expertos que comparten una columna vertebral de CNN profunda (hasta el último bloque residual) para minimizar los costos computacionales. Cada experto posee un último bloque residual individual y una capa de clasificación.
• Ensemble del Eje de Representación:
  • En lugar de promediar representaciones o agregar predicciones finales, DAMEL concatena los vectores de representación ($z_k$) de todos los $K$ expertos.
  • Un clasificador auxiliar balanceado se entrena sobre estas representaciones concatenadas utilizando una pérdida balanceada por clases (que repondera la pérdida de entropía cruzada inversamente proporcional a la frecuencia de la clase).
  • Crucialmente, los gradientes de la pérdida balanceada por clases se retropropagan solo al clasificador auxiliar, mientras que la columna vertebral y las cabezas de expertos individuales se entrenan mediante pérdida de entropía cruzada estándar. Esto permite que el clasificador auxiliar aproveche características complementarias de todos los expertos sin forzar a la columna vertebral a aprender una única representación, potencialmente comprometida.
  • Todo el sistema (expertos + clasificador auxiliar) se entrena de extremo a extremo, evitando las tendencias de entrenamiento desacoplado observadas en otros métodos CIL.

Ensemble del Eje de Tiempo

• Para reducir aún más la varianza, DAMEL agrega los pesos de la red a través de las épocas de entrenamiento utilizando una Media Móvil Exponencial (EMA).
• Actualización a Nivel de Época: A diferencia de la EMA convencional a nivel de iteración o la Promediación de Pesos Estocásticos (SWA), DAMEL actualiza los pesos de la EMA ($\theta_{EMA}$) solo al final de cada época. Esta estrategia aumenta la diversidad de los pesos agregados asegurando que las actualizaciones consecutivas estén menos correlacionadas, capturando estados de modelo más distintos.
• Inferencia: Durante la fase de prueba, las predicciones se realizan únicamente utilizando el clasificador auxiliar con los pesos agregados $\theta_{EMA}$. Las predicciones individuales de los expertos no se utilizan para la salida final.

3. Contribuciones Clave

El artículo destaca cinco contribuciones principales:

1. Ensemble del Eje de Representación: Un mecanismo novedoso que agrega representaciones de expertos mediante concatenación en lugar de promediar predicciones, permitiendo que un clasificador auxiliar utilice características diversas y complementarias de múltiples expertos.
2. Preservación de la Diversidad: Demostración de que la concatenación de representaciones no es meramente un aumento de dimensionalidad, sino un mecanismo para preservar la diversidad de representaciones específica de cada experto y utilizar conjuntamente pistas discriminativas.
3. Ensemble del Eje de Tiempo: La introducción de una estrategia de agregación de pesos EMA a nivel de época, distinta de la EMA a nivel de iteración y SWA, que trata los pesos agregados temporalmente como un eje de ensemble adicional para reducir la varianza de predicción.
4. Clasificador Auxiliar de Extremo a Extremo: El diseño de un clasificador auxiliar balanceado entrenado sobre representaciones concatenadas con una pérdida balanceada por clases, reduciendo el sesgo hacia las clases mayoritarias mientras aprovecha características diversas en una sola etapa de entrenamiento.
5. Validación Empírica: Experimentos extensos y estudios de ablación que demuestran que el enfoque de doble eje reduce conjuntamente el sesgo cuadrático y la varianza de predicción, superando a los algoritmos multi-experto y CIL existentes.

4. Resultados Experimentales

DAMEL fue evaluado en cuatro conjuntos de datos de referencia: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT e iNaturalist2018.

• Rendimiento: DAMEL logró un rendimiento de vanguardia en todos los conjuntos de datos y ratios de desbalance ($\gamma = 10, 50, 100$). Por ejemplo, en CIFAR-100-LT ($\gamma=100$), DAMEL con 4 expertos logró una precisión general del 53.1%, superando a bases sólidas como RIDE (49.1%), ACE (49.6%) y TLC (49.8%).
• Compensación Sesgo-Varianza: El análisis cuantitativo del sesgo cuadrático y la varianza mostró que DAMEL redujo con éxito ambas métricas simultáneamente. Mientras que las técnicas de reequilibrio redujeron el sesgo pero aumentaron la varianza, y los métodos multi-experto redujeron la varianza, el enfoque de doble eje de DAMEL redujo ambas.
• Estudios de Ablación:
  • Eliminar los pesos de la EMA o la concatenación de representaciones degradó significativamente el rendimiento.
  • La concatenación de representaciones superó a la agregación de predicciones.
  • La EMA a nivel de época superó a la EMA a nivel de iteración y a la SWA simple, confirmando la importancia de la frecuencia de actualización en la construcción de un ensemble de eje de tiempo efectivo.
  • Estudios controlados por capacidad demostraron que las ganancias de rendimiento provienen de la diversidad de expertos y no simplemente de una capacidad de modelo aumentada o dimensionalidad de características.
• Robustez: El método permaneció efectivo cuando se combinó con técnicas fuertes de aumento de datos (AutoAugment, Cutout) y mostró estabilidad a través de diversas configuraciones de hiperparámetros (número de expertos, $\beta$ de EMA, escala del clasificador).

5. Significado y Afirmaciones

Los autores afirman que DAMEL ofrece una solución conceptualmente simple pero altamente efectiva a la compensación sesgo-varianza en el aprendizaje con desbalance de clases. Al evitar la destilación multi-etapa compleja o la división de datos, DAMEL logra una precisión superior mediante un proceso de entrenamiento de una sola etapa.

El artículo enfatiza que la estrategia de doble eje es la innovación central:

• El eje de representación asegura que el clasificador tenga acceso a un conjunto rico y diverso de características, reduciendo el sesgo.
• El eje de tiempo (mediante EMA a nivel de época) estabiliza el modelo y reduce la varianza promediando pesos de diversos estados de optimización.

Los autores concluyen que, si bien su selección actual de hiperparámetros es heurística, el marco propuesto proporciona un enfoque universal y robusto para CIL, mitigando efectivamente las limitaciones tanto de las técnicas de reequilibrio tradicionales como de los algoritmos multi-experto existentes.