MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization

Resumo Técnico: MER-DG: Regularização de Entropia de Modalidade para Generalização de Domínio Multimodal

Definição do Problema: Overfitting de Fusão
O artigo aborda a Generalização de Domínio Multimodal (MMDG), o desafio de implantar modelos multimodais (por exemplo, áudio-visuais) em ambientes-alvo onde as condições de gravação diferem das fontes de treinamento. Os autores identificam um modo de falha específico em arquiteturas padrão de MMDG, denominado Overfitting de Fusão.

No treinamento padrão de ponta a ponta, codificadores separados para cada modalidade são otimizados conjuntamente com um módulo de fusão para minimizar uma função de perda (por exemplo, entropia cruzada) na saída fusionada. Os autores argumentam que essa otimização conjunta faz com que os codificadores explorem co-ocorrências inter-modais — relações estatísticas entre modalidades que surgem de condições de gravação específicas da fonte (por exemplo, a sincronização precisa do som e do movimento de uma faca em uma cozinha silenciosa) em vez de aprender características invariantes ao domínio. Consequentemente, os codificadores produzem características que são úteis apenas quando combinadas com a saída específica da outra modalidade. Quando implantados em um domínio-alvo com condições diferentes (por exemplo, uma cozinha barulhenta), essas co-ocorrências aprendidas se desmoronam, levando à degradação do desempenho. A análise empírica confirma que o treinamento de fusão faz com que os codificadores colapsem em subespaços de baixo rank, descartando dimensões de características que poderiam generalizar independentemente.

Metodologia: Regularização de Entropia de Modalidade (MER-DG)
Para combater o Overfitting de Fusão, os autores propõem o MER-DG, um regularizador agnóstico à arquitetura que maximiza a entropia da distribuição de características de cada codificador independentemente. A ideia central é que a maximização da entropia preserva a diversidade de características, garantindo que características invariantes ao domínio não sejam descartadas durante o processo de especialização necessário para a fusão.

O método decompõe o objetivo de maximização da entropia diferencial em duas termos de perda aditivos aplicados aos embeddings de características $Z$ de cada modalidade:

1. Perda de Entropia Marginal ($L_{marg}$): Este termo previne o colapso por dimensão impondo um piso de variância. Ele utiliza uma perda de hinge para garantir que o desvio padrão ($\sigma_d$) de cada dimensão de característica permaneça acima de uma escala-alvo ($\gamma=1$), impedindo que as dimensões se tornem inativas.
2. Perda de Entropia Espectral ($L_{spec}$): Este termo minimiza a redundância entre dimensões maximizando o log-determinante da matriz de correlação. Ele incentiva que as características sejam não correlacionadas, espalhando a informação ao longo de eixos independentes em vez de colapsar em um subespaço de baixa dimensão.

O objetivo total de treinamento combina a perda da tarefa base ($L_{base}$) com a soma desses termos de regularização em todas as modalidades:
$$L_{total} = L_{base} + \lambda \sum_{m=1}^{M} (\alpha_{marg} L_{marg}(Z^{(m)}) + \alpha_{spec} L_{spec}(Z^{(m)}))$$

Principais Contribuições

1. Identificação do Overfitting de Fusão: O artigo identifica e analisa formalmente o fenômeno onde a otimização conjunta em MMDG leva os codificadores a overfitar em co-ocorrências inter-modais específicas da fonte, em detrimento de características invariantes ao domínio.
2. Proposta do MER-DG: Os autores introduzem um regularizador simples e aditivo que maximiza a entropia das características. Ele é projetado para ser compatível com qualquer framework multimodal contendo codificadores separados e um módulo de fusão.
3. Validação Empírica do Mecanismo: Através de análise extensa (alinhamento entre domínios, rank espectral, classificação de domínio e desempenho de codificador autônomo), o artigo demonstra que o treinamento padrão de fusão degrada a diversidade dos codificadores e que o MER-DG a restaura com sucesso.
4. Ganhos de Desempenho: O método é validado nos benchmarks EPIC-Kitchens e HAC, mostrando melhorias consistentes sobre a fusão padrão e métodos de MMDG de última geração (SOTA).

Resultados Experimentais
Os autores avaliaram o MER-DG em quatro baselines (Fusão Padrão, Contraste Inter-Modal, SimMMDG e CMRF) em configurações de múltiplas fontes e de fonte única.

• DG de Múltiplas Fontes: O MER-DG alcançou melhorias médias de aproximadamente 5% sobre arquiteturas de fusão padrão e 2% sobre métodos SOTA (SimMMDG e CMRF) em EPIC-Kitchens e HAC.
• DG de Fonte Única: Melhorias semelhantes foram observadas no cenário mais desafiador de fonte única, com ganhos de até 3,00% sobre o SimMMDG para o conjunto de dados HAC.
• Recuperação do Codificador Autônomo: Uma descoberta crítica é que o MER-DG restaura o desempenho autônomo dos codificadores individuais para níveis próximos aos de treinamento independente. Por exemplo, em EPIC-Kitchens, a precisão fora do domínio do codificador de Vídeo melhorou de 56,53% (fusão padrão) para 58,61% (MER-DG), aproximando-se dos 59,46% alcançados por um modelo unimodal treinado independentemente. Isso confirma que o regularizador combate especificamente a perda de características induzida pelo treinamento de fusão.
• Ablação: Tanto os termos de perda marginal quanto espectral foram encontrados como necessários para o desempenho ótimo; usar qualquer um deles isoladamente produziu resultados subótimos em comparação com a abordagem combinada.

Significado e Afirmações
O artigo afirma que o MER-DG aborda uma limitação fundamental na aprendizagem multimodal: a tendência da otimização conjunta de descartar informações invariantes ao domínio em favor de correlações específicas da fonte. Ao preservar a diversidade representacional através da maximização da entropia, o MER-DG permite que os modelos generalizem de forma robusta quando as co-ocorrências inter-modais se deslocam. Os autores enfatizam que o método requer sobrecarga computacional mínima, integra-se perfeitamente como um termo de perda aditivo e não depende de mudanças arquitetônicas específicas, tornando-o uma solução prática para melhorar a robustez de sistemas multimodais em cenários de implantação no mundo real.