BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates

Título: BALM: Uma Framework Agnóstica a Modelos para Aprendizado Multimodal Balanceado sob Taxas de Falha Desbalanceadas

1. O Problema

O aprendizado multimodal (que combina áudio, visão e texto) enfrenta dois desafios críticos em cenários do mundo real:

1. Taxas de Falha Desbalanceadas (IMR - Imbalanced Missing Rates): Em sistemas reais, as modalidades não falham com a mesma probabilidade. Diferente da suposição comum de "Taxa de Falha Compartilhada" (SMR), onde todas as modalidades têm a mesma chance de desaparecer, na realidade, um sensor pode falhar frequentemente enquanto outro permanece estável. Isso cria um viés de distribuição onde algumas modalidades são observadas muito mais do que outras.
2. Desequilíbrio de Aprendizado e Representação:
   • Desequilíbrio de Representação: As modalidades com alta taxa de falha desenvolvem representações inconsistentes e distorcidas, prejudicando a fusão cruzada.
   • Desequilíbrio de Otimização (Gradientes): Durante o treinamento, as modalidades mais frequentes (com menos falhas) dominam os atualizações de gradiente, enquanto as modalidades raras ou corrompidas recebem supervisão insuficiente. Isso leva a uma convergência enviesada, onde o modelo superajusta (overfit) nas modalidades dominantes e falha em aprender as outras.

A maioria dos métodos existentes foca apenas em reconstruir dados faltantes ou alinhar representações sob condições ideais (SMR), ignorando o impacto dinâmico do desequilíbrio na otimização do gradiente.

2. Metodologia: A Framework BALM

O BALM (Balanced Agnostic Learning under Imbalanced Missing Rates) é uma framework leve, plug-in e agnóstica a modelos (pode ser integrada a qualquer backbone existente) projetada para mitigar o desequilíbrio em dois níveis: representação e otimização.

A arquitetura consiste em dois módulos complementares:

A. Módulo de Calibração de Características (FCM - Feature Calibration Module)

• Objetivo: Corrigir o desequilíbrio no nível de representação (features).
• Funcionamento:
  1. Agregação de Contexto Global: O módulo calcula descritores globais para cada modalidade disponível (média das features presentes).
  2. Extração de Contexto Cruzado: Esses descritores são concatenados e processados por uma camada totalmente conectada para extrair um contexto global compartilhado.
  3. Calibração Adaptativa: O contexto global é usado para gerar pesos de calibração específicos para cada modalidade. Esses pesos reescalam as features unimodais (usando uma função sigmoid e multiplicação elemento a elemento).
• Resultado: As features são recalibradas para serem consistentes entre diferentes padrões de falha, estabelecendo uma base de representação compartilhada sem precisar imputar (preencher) os dados faltantes explicitamente.

B. Módulo de Rebalanceamento de Gradiente (GRM - Gradient Rebalancing Module)

• Objetivo: Corrigir o desequilíbrio no nível de otimização (gradientes).
• Funcionamento: O GRM ajusta a magnitude e a direção dos gradientes de cada modalidade através de duas perspectivas:
  1. Modulação Orientada por Distribuição:
     • Compara a distribuição de probabilidade de previsão unimodal com a distribuição multimodal de referência usando Divergência de Kullback-Leibler (KL).
     • Calcula o progresso de aprendizado relativo de cada modalidade. Modalidades que aprendem mais rápido (menor divergência) têm seus gradientes atenuados, enquanto as mais lentas são amplificadas.
  2. Modulação Orientada por Espaço (Espacial):
     • Analisa a direção dos gradientes usando Semelhança de Cosseno entre o gradiente do classificador unimodal e o do classificador multimodal principal.
     • Penaliza gradientes que se desviam significativamente da direção de otimização global, garantindo que todas as modalidades converjam para um objetivo comum.
• Objetivo Final: Um coeficiente de modulação dinâmico ($\mu^m$) é aplicado aos gradientes dos codificadores unimodais para restaurar o equilíbrio, independentemente da taxa de falha da modalidade.

3. Principais Contribuições

1. Framework Plug-in Agnóstica: O BALM pode ser integrado a qualquer backbone de reconhecimento de emoção multimodal (MER) sem alterar sua arquitetura interna.
2. Abordagem Dupla: É a primeira a abordar simultaneamente o desequilíbrio de representação (via FCM) e o desequilíbrio de otimização (via GRM) especificamente sob condições de IMR.
3. Mecanismo de Rebalanceamento Dinâmico: O uso de sinais de divergência (KL) e alinhamento espacial permite que o modelo se adapte dinamicamente durante o treinamento, em vez de depender de taxas de falha fixas ou pré-definidas.
4. Validação Exaustiva: Testes em múltiplos benchmarks e backbones demonstram robustez superior.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados IEMOCAP e CMU-MOSEI (Reconhecimento de Emoção Multimodal) sob diversas configurações de IMR (ex: taxas de falha de 0.3, 0.5 e 0.7 para áudio, linguagem e visão).

• Desempenho Superior: O BALM, quando integrado a backbones existentes (como GCNet, MMGCN, MMDFN), superou consistentemente os métodos state-of-the-art que lidam com modalidades faltantes ou desbalanceadas.
  • No IEMOCAP, o GCNet+BALM mostrou ganhos de até +3.27% em acurácia e +7.0% em F1 ponderado em comparação à média de modelos do grupo 1 sob configurações IMR severas.
  • O MMDFN+BALM alcançou ganhos de até +7.51% em F1 ponderado sobre o backbone original.
• Robustez: O modelo manteve alta performance mesmo quando modalidades críticas (como texto/lexical) tinham taxas de falha muito altas (ex: 70-90%), uma situação onde outros modelos falhavam drasticamente.
• Estabilidade: Em configurações de Taxa de Falha Compartilhada (SMR), o BALM também superou os baselines, indicando que a framework melhora a generalização mesmo em cenários balanceados.
• Análise de Ablação: A remoção de qualquer um dos módulos (FCM ou GRM) resultou em queda de desempenho, confirmando que ambos são essenciais para lidar com o desequilíbrio de representação e de gradiente, respectivamente.

5. Significado e Impacto

O trabalho é significativo porque:

• Muda o Paradigma de Avaliação: Demonstra que assumir taxas de falha iguais (SMR) é uma simplificação irrealista que esconde falhas graves em modelos multimodais. O BALM força a comunidade a considerar cenários de IMR.
• Solução Prática: Ao ser uma solução "plug-in", facilita a adoção em sistemas existentes sem a necessidade de redesenhar arquiteturas complexas de fusão.
• Estabilidade em Cenários Hostis: Oferece uma maneira robusta de treinar sistemas multimodais em ambientes onde sensores falham de forma heterogênea (comum em robótica, assistentes virtuais e análise de mídia social), garantindo que o modelo não dependa excessivamente de uma única modalidade.

Em resumo, o BALM resolve o problema fundamental de como treinar modelos multimodais de forma justa e eficiente quando os dados de entrada são incompletos e desbalanceados, equilibrando tanto o que o modelo "vê" (representação) quanto como ele "aprende" (gradientes).