Resumo Técnico: Além da Fusão de Modalidades: Deep Ensembles para Classificação Multimodal

Declaração do Problema

Na classificação multimodal, a abordagem padrão envolve redes de "fusão tardia" (late-fusion), que concatenam características extraídas por redes neurais unimodais e as passam para um classificador conjunto. No entanto, quando existe um desequilíbrio de modalidade significativo (onde uma modalidade é significativamente mais preditiva ou converge mais rápido que outra), as redes de fusão tardia ingênuas frequentemente apresentam desempenho inferior ao melhor baseline unimodal. Este fenômeno ocorre porque o processo de otimização tende a explorar insuficientemente a modalidade de convergência mais lenta (mais fraca), levando a uma extração de características subótima. Embora várias técnicas de regularização (ex: modulação de gradiente, regularização de perda) tenham sido propostas para equilibrar o aprendizado, o método ideal para combinar características unimodais em configurações de fusão tardia permanece uma questão em aberto.

Metodologia

Os autores propõem uma alternativa à fusão explícita de modalidades: Heterogeneous Deep Ensembles (HeDEs). Em vez de treinar uma única rede para fundir características, os HeDEs consistem em múltiplas redes unimodais treinadas independentemente em diferentes modalidades. A predição final é obtida pela média dos logits de saída desses modelos independentes.

Componentes metodológicos principais:

1. Construção do Ensemble: Para um conjunto de dados bimodal, os autores treinam $n_1$ classificadores na modalidade 1 e $n_2$ na modalidade 2. A predição do ensemble é a média de todos os logits de $N_{ens} = n_1 + n_2$. Quando $n_2=0$, isso reduz-se a um Homogeneous Deep Ensemble (HoDE).
2. Heurística para Alocação de Modelos: Para evitar buscas exaustivas computacionalmente caras pelo número ideal de modelos por modalidade ($n_1, n_2$), os autores propõem uma heurística baseada na perda de validação ($l_i$) dos classificadores unimodais. O número de modelos para a modalidade $i$ é proporcional a $1/l_i$:
   $$n_i = \text{round}\left( N_{ens} \frac{1/l_i}{\sum_j 1/l_j} \right)$$
   Esta heurística prevê que, sob desequilíbrio extremo, ensembles homogêneos da modalidade mais forte são preferíveis em escalas pequenas, enquanto ensembles heterogêneos tornam-se ótimos conforme o tamanho do ensemble cresce.
3. Estrutura de Conjunto de Dados Sintéticos: Para estudar sistematicamente o desequilíbrio de modalidade, os autores introduzem um método de construção sintética. Partindo de um conjunto de dados unimodal, eles dividem-no em subconjuntos não sobrepostos para criar pares bimodais (ou trimodais). Ao variar o tamanho desses subconjertos, eles controlam a força preditiva e a velocidade de convergência de cada modalidade, permitindo o treinamento de redes superparametrizadas para observar desafios de otimização não presentes em benchmarks sintéticos anteriores.
4. Leis de Escala (Scaling Laws): Os autores ajustam leis de potência à perda de teste dos ensembles como uma função do tamanho ($N$) e da proporção ($\theta$), demonstrando que o desempenho assintótico do ensemble pode ser previsto a partir das perdas dos modelos unimodais individuais.

Principais Contribuições

1. Superioridade dos Deep Ensembles: O artigo demonstra que deep ensembles de redes unimodais superam consistentemente os métodos de estado da arte de fusão tardia (incluindo aqueles projetados para lidar com desequilíbrio como OGM-GE, MMPareto e InfoReg), técnicas de fusão intermediária (MMTM, cross-attention) e abordagens híbridas (I2M2). Isso se mantém verdade mesmo ao comparar modelos com contagens de parâmetros iguais.
2. Validação da Heurística de Alocação: A heurística proposta para selecionar o número de modelos por modalidade é empiricamente validada em conjuntos de dados sintéticos e do mundo real. Ela prevê corretamente a transição de ensembles homogêios para heterogêneos conforme o tamanho do ensemble escala, particularmente sob condições de desequilíbrio extremo de modalidade.
3. Estrutura de Dados Sintéticos Multimodais: Os autores fornecem uma construção de conjunto de dados sintético que permite o controle independente sobre o número de modalidades e sua força preditiva. Esta estrutura revela desafios de otimização (como a convergência mais rápida de modalidades mais fracas em fusão tardia) observados na prática, que benchmarks sintéticos anteriores falharam em reproduzir.
4. Leis de Escala para Ensembles: O estudo estabelece leis de escala mostrando que a perda de teste assintótica de um deep ensemble heterogêneo é confiavelmente previsível a partir das perções de perda dos modelos unimodais, sugerindo que métricas de validação unimodais são suficientes para estimar o desempenho do ensemble sem treinar o ensemble completo.

Resultados Experimentais

Os autores avaliaram sua abordagem em:

• Dados Sintéticos: Divisões bimodais e trimodais de CIFAR-100 e ImageNet-1K.
• Dados do Mundo Real: CREMA-D (áudio-visual), Sarcasm (texto-visual) e Kinetics-400 (áudio-visual).

Principais Descobertas:

• Desempenho: Os HeDEs superaram todas as baselines de fusão tardia, redes de fusão intermediária e modelos híbridos em todos os conjuntos de dados e níveis de desequilíbrio.
• Dinâmica de Desequilíbrio: Sob desequilíbrio extremo e tamanhos pequenos de ensemble, os HoDEs (usando apenas a modalidade mais forte) superaram os HeDEs. No entanto, conforme o tamanho do ensemble aumentava, os HeDEs consistentemente superavam os HoDEs e os métodos de fusão tardia.
• Precisão da Heurística: A heurística proposta previu com precisão a alocação ideal de modalidade em quase todas as configurações testadas, correspondendo aos resultados de busca por força bruta com erro mínimo.
• Calibração: A média de logits nos HeDEs gerou predições bem calibradas sem necessidade de calibração post-hoc, frequentemente superando a média de probabilidades.
• Custo: Embora o treinamento de HeDEs exija o treinamento de múltiplos modelos independentes, o custo de inferência é comparável ao de redes de fusão tardia de mesma contagem de parâmetros. O processo de treinamento é totalmente paralelizável.

Significância e Alegações

O artigo alega que a fusão explícita de modalidades não é estritamente necessária para uma classificação multimodal eficaz. Em vez disso, os benefícios de dados multimodais podem ser capturados por ensembles de modelos unimodais treinados independentemente. Os autores argumentam que sua abordagem oferece uma alternativa robusta e eficiente em termos de parâmetros para arquiteturas de fusão complexas, particularmente em cenários de desequilíbrio de modalidade.

O trabalho sugere que a natureza "gananciosa" (greedy) da otimização de fusão tardia, que frequentemente leva ao negligenciamento de modalidades mais fracas, pode ser contornada pela estratégia de treinamento e agregação independente de deep ensembles. Além disso, a capacidade de prever o desempenho do ensemble e a composição ideal usando apenas as perdas de validação unimodais oferece uma ferramenta prática para o aprendizado multimodal com recursos limitados.

Os autores mantêm uma postura modesta, reconhecendo que, embora seus achados sejam consistentes em diversos conjuntos de dados, a base teórica para a heurística de alocação permanece obscura, e que uma avaliação adicional através de uma gama mais ampla de técnicas de fusão e modelos multimodais de larga escala é necessária. Eles também observam que sua construção sintética é alinhada por classe, e não por instância, embora argumentem que os fenômenos estudados (generalização e taxas de convergência) são preservados nesta configuração.