BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates

Resumen Técnico: BALM

1. El Problema: Aprendizaje Multimodal bajo Tasas de Fallo Desbalanceadas

El aprendizaje multimodal (que combina audio, visión y texto) suele enfrentar dos desafíos críticos en escenarios del mundo real:

1. Datos Incompletos: Debido a fallos de sensores, ruido o costos de adquisición, las modalidades a menudo faltan parcial o totalmente.
2. Desbalance en las Tasas de Fallo (IMR - Imbalanced Missing Rates): La mayoría de los trabajos anteriores asumen una Tasa de Fallo Compartida (SMR), donde todas las modalidades tienen la misma probabilidad de desaparecer. Sin embargo, en la realidad, las modalidades tienen probabilidades de fallo heterogéneas (ej. el audio puede fallar más a menudo que el texto).

Consecuencias del IMR:

• Desbalance de Representación: Las modalidades con tasas de fallo bajas (más frecuentes) dominan el aprendizaje, distorsionando las distribuciones de características de las modalidades más raras.
• Desbalance de Optimización: Durante el entrenamiento, los gradientes están dominados por las modalidades que aparecen con mayor frecuencia. Las modalidades con alta tasa de fallo reciben una supervisión débil, lo que lleva a una convergencia lenta y a un desequilibrio en la fusión multimodal, reduciendo la robustez y la generalización del modelo.

2. Metodología: El Marco BALM

Los autores proponen BALM (Balanced Agnostic Learning under Imbalanced Missing Rates), un marco de aprendizaje "plug-in" (insertable) y agnóstico al modelo. BALM no requiere modificar la arquitectura del modelo base (backbone) y se integra mediante dos módulos complementarios que actúan a nivel de representación y de optimización:

A. Módulo de Calibración de Características (FCM - Feature Calibration Module)

• Objetivo: Corregir el desbalance a nivel de representación causado por la exposición desigual a las modalidades.
• Funcionamiento:
  1. Agregación Global: Calcula descriptores globales promediando las características disponibles de todas las modalidades.
  2. Extracción de Contexto: Utiliza una capa totalmente conectada para capturar el contexto compartido entre modalidades.
  3. Calibración Adaptativa: Genera pesos de calibración específicos para cada modalidad basados en este contexto global. Estos pesos reescalan las características unimodales (mediante una operación de excitación tipo Squeeze-and-Excitation), alineando las distribuciones de características distorsionadas por el IMR sin necesidad de imputar (rellenar) los datos faltantes.

B. Módulo de Reequilibrio de Gradientes (GRM - Gradient Rebalancing Module)

• Objetivo: Equilibrar la dinámica de aprendizaje a nivel de optimización, asegurando que todas las modalidades contribuyan equitativamente a la actualización de los parámetros.
• Funcionamiento: Utiliza cabezales de predicción unimodales ligeros para monitorear el progreso de aprendizaje de cada modalidad y ajusta los gradientes desde dos perspectivas:
  1. Modulación Basada en Distribución: Compara la distribución de predicción unimodal con la distribución multimodal de referencia utilizando la Divergencia de Kullback-Leibler (KL). Calcula el progreso relativo de aprendizaje ($\Delta_{KL}$) y asigna coeficientes de modulación ($\mu^m$): las modalidades que aprenden más rápido (mayor divergencia inicial) reciben actualizaciones atenuadas, mientras que las más lentas reciben refuerzo.
  2. Modulación Basada en Espacio: Evalúa la alineación direccional de los gradientes de cada modalidad con el gradiente global del modelo utilizando la Similitud Coseno. Si una modalidad se desvía demasiado de la dirección óptima multimodal, su gradiente se ajusta para estabilizar el entrenamiento.
• Pérdida Global: Combina la pérdida de la tarea principal con una pérdida de modulación ponderada ($\tau$) para guiar el entrenamiento hacia un equilibrio.

3. Contribuciones Clave

1. Propuesta de BALM: Un marco ligero y agnóstico al modelo que mitiga simultáneamente el desbalance de representación y de optimización bajo condiciones de tasas de fallo desbalanceadas (IMR), sin alterar las arquitecturas existentes.
2. Diseño de Módulos Complementarios: La introducción del FCM para alinear representaciones y del GRM para equilibrar la dinámica de gradientes, abordando el problema desde dos frentes críticos.
3. Validación Exhaustiva: Experimentos extensos en múltiples backbones de reconocimiento de emociones multimodales (MER) y conjuntos de datos estándar, demostrando mejoras consistentes sobre modelos de estado del arte y arquitecturas base.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos IEMOCAP y CMU-MOSEI bajo diversas configuraciones de IMR (combinaciones de tasas de fallo de 0.3, 0.5 y 0.7 para audio, lenguaje y visión).

• Rendimiento Superior: BALM mejoró consistentemente la precisión (Acc) y la puntuación F1 ponderada (w-F1) en todos los backbones probados (incluyendo GCNet, MMGCN, MMDFN y modelos especializados en datos faltantes).
  • En IEMOCAP, la integración de BALM en GCNet logró mejoras de hasta +3.27% en precisión y +7.0% en w-F1 en comparación con la media de modelos de la misma categoría.
  • En escenarios de fallo extremo (ej. 90% de falta de lenguaje), BALM estabilizó el rendimiento, logrando ganancias significativas (ej. +4.78% en precisión) frente a la media de los baselines.
• Robustez: BALM no solo mejoró el rendimiento bajo IMR, sino que también demostró mayor robustez bajo condiciones de SMR (tasas compartidas), superando a todos los baselines en escenarios balanceados.
• Análisis de Ablación: Se demostró que tanto el FCM como el GRM son necesarios; el uso combinado de ambos módulos produce resultados superiores al uso individual, confirmando su naturaleza complementaria.
• Visualización: Los análisis de t-SNE mostraron que BALM reduce la discrepancia entre modalidades y produce representaciones fusionadas más claras y separadas por clase.

5. Significancia e Impacto

El trabajo de BALM es significativo porque:

• Cierre la Brecha Realista: A diferencia de la mayoría de la literatura que asume condiciones ideales de fallo (SMR), BALM aborda explícitamente la realidad de los sistemas multimodales donde las modalidades fallan de manera desigual.
• Generalización: Al ser agnóstico al modelo, puede aplicarse a cualquier arquitectura de aprendizaje multimodal existente, facilitando su adopción en la industria y la investigación.
• Estabilidad de Entrenamiento: Proporciona un mecanismo teórico y práctico para evitar que las modalidades dominantes "ahoguen" a las débiles durante el entrenamiento, asegurando un aprendizaje más equilibrado y robusto incluso con datos incompletos y ruidosos.

En resumen, BALM establece un nuevo estándar para el aprendizaje multimodal robusto en entornos imperfectos, demostrando que el reequilibrio activo de características y gradientes es esencial para el éxito en escenarios de tasas de fallo desbalanceadas.