⚡ electrical engineering

Mitigating Sample-Level Imbalance via Probabilistic Separation for Adaptive Multimodal Fusion

Este artigo propõe um novo framework que mitiga o desequilíbrio de modalidade ao nível da amostra no aprendizado multimodal ao utilizar uma métrica de Hiato de Modalidade e um Modelo de Mistura Gaussiana para separar probabilisticamente as amostras em subgrupos equilibrados e desequilibrados, permitindo, assim, um processo de treinamento dinâmico de dois estágios que realoca adaptativamente as prioridades de otimização e purifica os dados para um desempenho superior.

Autores originais: Zhiwen Yu, Zhaocheng Liu, Xiaoqing Liu, Huanqiang Zeng, C. L. Philip Chen

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhiwen Yu, Zhaocheng Liu, Xiaoqing Liu, Huanqiang Zeng, C. L. Philip Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os seres humanos percebem o mundo através de uma sinfonia de sentidos, onde a visão, o som e o tato se combinam para criar uma compreensão mais rica do que qualquer sentido único poderia proporcionar sozinho. No campo da inteligência artificial, pesquisadores se esforçam para replicar essa habilidade construindo sistemas que possam processar múltiplos tipos de dados simultaneamente, como vídeo e áudio. Essa abordagem, conhecida como aprendizado multimodal, tem mostrado grande promessa em tarefas como o reconhecimento de emoções na fala ou a identificação de eventos em vídeos. No entanto, um problema persistente tem impedido que esses sistemas alcancem seu pleno potencial. Quando um computador aprende tanto com a visão quanto com o som, um sentido frequentemente torna-se dominante, efetivamente abafando o outro. Se os dados visuais forem claros e o áudio estiver ruidoso, o sistema aprende a confiar quase inteiramente nas imagens, ignorando o som. Isso cria um desequilíbrio onde o sentido mais fraco falha em melhorar, e o sistema combinado apresenta um desempenho pior do que deveria, às vezes até performando abaixo de um sistema que utiliza apenas o sentido mais forte.

Uma equipe de pesquisadores desenvolveu um novo método para resolver esse problema ao tratar cada exemplo individual dentro dos dados de treinamento, em vez de tratar todo o conjunto de dados como um bloco uniforme. Eles descobriram que, dentro de qualquer coleção de clipes de vídeo e áudio, existem dois tipos distintos de exemplos. Alguns clipes são bem equilibrados, onde a informação visual e a sonora são igualmente claras e úteis. Outros são desequilibrados, onde um sentido é tão mais forte que o outro que cria confusão durante o processo de aprendizado. Os pesquisadores descobriram que esses dois grupos de exemplos formam naturalmente clusters separados dentro dos dados, de forma muito semelhante a como uma multidão poderia naturalmente se dividir em dois grupos distintos com base na altura. Ao identificar a quais grupo cada exemplo pertence, o sistema pode aprender a lidar com eles de forma diferente, garantindo que o sentido mais fraco receba a atenção necessária para alcançar o outro.

O núcleo de sua solução envolve um processo de treinamento de duas etapas. Primeiro, o computador recebe um período de "aquecimento" onde aprende o básico de ambos os sentidos sem quaisquer ajustes especiais. Durante esse tempo, o sistema registra o quanto as previsões do ramo visual e do ramo de áudio divergem entre si para cada clipe individualmente. Esse desacordo é medido como um "gap de modalidade". Após essa fase inicial, os pesquisadores analisaram a distribuição desses gaps e confirmaram sua suspeita: os dados se separaram naturalmente em um grande grupo de exemplos equilibrados e um grupo menor de exemplos desequilibrados. Para tirar proveito dessa descoberta, eles utilizaram uma ferramenta estatística para mapear esses dois grupos e calcular a probabilidade de qualquer novo exemplo pertencer ao grupo equilibrado ou ao grupo desequilibrado.

Com esse mapa em mãos, o sistema entra em sua segunda etapa, o treinamento adaptativo. Aqui, o computador altera sua estratégia de aprendizado com base na pontuação de probabilidade de cada exemplo. Para os exemplos que são bem equilibrados, o sistema foca em fundir os dois sentidos para maximizar o benefia de sua informação combinada. Para os exemplos que são desequilibrados, onde um sentido está lutando, o sistema aplica uma penalidade mais forte para forçar os dois sentidos a se alinharem mais proximamente. Essa abordagem garante que o computador não simplesmente ignore os exemplos difíceis, mas sim trabalhe mais arduamente para corrigir o viés nesses casos específicos. Os pesquisadores também introduziram um mecanismo que reduz gradualmente a intensidade dessa correção ao longo do tempo, permitindo que o sistema mude seu foco da correção de desequilíbrios para o aperfeiçoamento da tarefa de classificação final conforme aprende.

Os resultados desta abordagem foram testados em três conjuntos de dados envolvendo reconhecimento de emoção na fala, localização de eventos e reconhecimento de ação humana. No conjunto de dados de emoção na fala, que continha mais de 7.000 clipes de vídeo, o novo método alcançou uma precisão de 80,65 por cento, superando significativamente os métodos de estado da arte anteriores. Melhorias semelhantes foram observadas nos outros dois conjuntos de dados, com taxas de precisão atingindo 70,40 por cento e 72,61 por cento, respectivamente. Além de apenas melhorar a pontuação final, os pesquisadores observaram que o método reduziu com sucesso a lacuna de desempenho entre os ramos de áudio e visual, permitindo que o sentido mais fraco melhorasse sem sacrificar a força do sentido dominante.

Em um experimento adicional, os pesquisadores demonstraram que o modelo estatístico poderia ser usado para filtrar os próprios dados. Ao selecionar apenas os exemplos de alta qualidade e equilibrados identificados pelo seu modelo, eles foram capazes de realizar o ajuste fino do sistema em um subconjunto muito menor de dados. Mesmo com menos exemplos, o sistema performou melhor do que quando treinado no conjunto de dados completo e não filtrado. Isso sugere que o método não apenas ajuda o computador a aprender de forma mais eficiente, mas também atua como uma ferramenta poderosa para limpar dados ruidosos, garantindo que o sistema aprenda com os exemplos mais confiáveis disponíveis. O estudo conclui que, ao reconhecer e se adaptar às variações naturais na qualidade dos dados ao nível da amostra, os sistemas multimodais podem superar as limitações dos métodos de treinamento tradicionais e alcançar uma compreensão mais robusta e precisa do mundo.

Resumo Técnico: Mitigação do Desequilíbrio ao Nível de Amostra via Separação Probabilística para Fusão Multimodal Adaptativa

1. Definição do Problema

O aprendizado multimodal visa integrar informações de diversas fontes (ex: áudio e visual) para alcançar um desempenho superior às abordagens unimodais. No entanto, um desafio crítico conhecido como desequilíbrio de modalidade frequentemente impede esse potencial. Devido a variações na densidade de informação e na dificuldade de extração de características, diferentes modalidades exibem taxas de convergência inconsistentes durante o treinamento conjunto. Consequentemente, o processo de otimização torna-se dominado pela modalidade "forte", fazendo com que a modalidade "fraca" permaneça subajustada ou estagnada.

Soluções existentes, como modulação estática ou ajustes heurísticos de gradiente, muitas vezes falham em abordar as variações distributivas ao nível de amostra. Especificamente, elas não distinguem efetivamente entre amostras onde as modalidades estão naturalmente equilibradas e amostras "outliers" onde a lacuna de modalidade é exacerbada por baixa qualidade de dados. Essa negligência leva a conflitos de gradiente e impede que o modelo explore plenamente as informações complementares cross-modais.

2. Metodologia

Os autores propõem um novo framework que diagnostica quantitativamente e mitiga dinamicamente o desequilíbrio ao nível de amostra através de um processo de treinamento de dois estágios: um estágio de Warm-up e um estágio de Treinamento Adaptativo.

A. Métrica de Lacuna de Modalidade (MGM)

Para quantificar o grau de desequilíbrio para amostras individuais, o artigo introduz a Lacuna de Modalidade ( $g_i$ ). Esta métrica é definida a partir de duas perspectivas:

Baseada em Confiança: A diferença nas probabilidades previstas para a classe real (ground-truth) entre a modalidade dominante e a fraca ( $g_i = s^a_{i,y_i} - s^v_{i,y_i}$ ).
Teoria da Informação: A diferença na divergência de Kullback–Leibler (KL) entre a distribuição prevista e uma distribuição uniforme para cada modalidade.
Estes valores brutos são padronizados via normalização Z-score para criar um espaço de entrada consistente.

B. Separação Probabilística via GMM

Através da modelagem de análise, os autores observam que a distribuição da Lacuna de Modalidade exibe uma estrutura bimodal distinta:

Um pico primário próximo a zero, representando amostras de modalidade equilibrada.
Um pico/cauda secundária, representando amostras de modalidade desequilibrada (outliers com viés de predição significativo).

Para explorar essa estrutura, o framework emprega um Modelo de Mistura Gaussiana (GMM) para modelar explicitamente a distribuição da Lacuna de Modalidade após a fase de warm-up. Usando o teorema de Bayes, o modelo calcula a probabilidade posterior ( $w_{i,k}$ ) de que uma amostra específica $i$ pertença ao subgrupo equilibrado ( $k=0$ ) ou ao subgrupo desequilibrado ( $k=1$ ). Essas probabilidades servem como pesos suaves dinâmicos para a otimização subsequente.

C. Treinamento Adaptativo de Dois Estágios

Estágio de Warm-up: O modelo é treinado usando um objetivo padrão que inclui tanto a perda de fusão multimodal quanto perdas unimodais auxiliares ( $L_{wp} = L_f + L_a + L_v$ ). Esta fase garante a convergência preliminar e estabelece representações de características confiáveis necessárias para o cálculo da Lacuna de Modalidade.
Estágio de Treinamento Adaptativo: Este estágio central utiliza as probabilidades posteriores derivadas do GMM para construir uma função de perda adaptativa ao nível de amostra ( $L^{adap}_i$ $L_{i}^{a d a p}$ ). A perda realoca dinamicamente as prioridades de otimização:
- Para Amostras Equilibradas ( $w_{i,0}$ alto): A perda impõe penalidades mais fortes na tarefa de fusão para maximizar a exploração de informações complementares cross-modais.
- Para Amostras Desequilibradas ( $w_{i,1}$ alto): A perda impõe restrições geométricas mais fortes (penalizando o desvio da lacuna de modalidade em relação à média equilibrada) para retificar o viés e estreitar a lacuna.
- Regularização: Um termo que penaliza grandes lacunas de modalidade é aplicado a todas as amostras.
- Annealing: Um coeficiente de annealing ( $\lambda_t$ ) é introduzido para mudar gradualmente o foco da correção do desequilíbrio no início do treinamento adaptativo para a otimização da tarefa de classificação primária nos estágios finais.

O ajuste do GMM e as atualizações de parâmetros da rede são coordenados via um esquema iterativo alternado para garantir que o modelo probabilístico permaneça consistente com a evolução da distribuição dos dados.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Métrica Quantitativa e Modelagem de Distribuição: A proposta de uma métrica de Lacuna de Modalidade para avaliar o desequilíbrio ao nível de amostra e a primeira aplicação de um Modelo de Mistura Gaussiana (GMM) para modelar sua distribuição bimodal, revelando a coexistência natural de subgrupos equilibrados e desequilibrados.
Otimização Adaptativa ao Nível de Amostra: O design de uma função de Perda Adaptativa guiada por GMM que pondera dinamicamente a otimização com base no equilíbrio cross-modal. Isso é implementado dentro de um esquema de treinamento de dois estágios (Warm-up e Treinamento Adaptativo) para estabilizar o processo de otimização.
Estratégia de Purificação de Dados: A demonstração de que a identificação de subconjuntos equilibrados de alta qualidade via GMM serve como uma estratégia eficaz de purificação de dados. O ajuste fino nesses subconjuntos filtrados melhora significamente o desempenho baseline, mesmo sem o framework completo de perda adaptativa.

4. Resultados Experimentais

O método proposto foi avaliado em três conjuntos de dados de referência: CREMA-D (reconhecimento de emoção), AVE (localização de eventos) e KineticSound (reconhecimento de ação).

Desempenho de Estado da Arte (SOTA): O método alcançou novos resultados SOTA, superando baselines como OGM-GE, Greedy e PMR.
- CREMA-D: 80,65% de acurácia (vs. 79,70% para o segundo melhor, MLA).
- AVE: 70,40% de acurácia.
- KineticSound: 72,61% de acurácia.
Estudos de Ablação:
- Remover qualquer componente da perda adaptativa (penalidade de fusão, regularização de lacuna ou pesos do GMM) resultou em degradação do desempenho.
- Estratégia de Otimizador: Resetar o estado do otimizador entre as fases de warm-up e adaptativa mostrou-se crítico; herdar o momentum da fase de warm-up interrompeu a segunda fase.
- Sensibilidade da Distribuição: Embora o GMM tenha performado melhor, comparações com modelos Student's t-Mixture e Laplace Mixture confirmaram a robustez da suposição Gaussiana para esta tarefa específica.
Purificação de Dados: O ajuste fino de modelos exclusivamente em subconjuntos de alta qualidade (selecionados via limiares de probabilidade posterior do GMM) rendeu ganhos substanciais sobre o treinamento no dataset completo, validando a capacidade de "purificação de dados" do método.
Evolução Unimodal: A análise das curvas de acurácia unimodal mostrou que a fase de treinamento adaptativo conseguiu reduzir a lacuna de desempenho entre as modalidades, evitando a estagnação da modalidade mais fraca observada nos métodos baseline.

5. Significância e Alegações

O artigo alega que sua significância reside na mudança de paradigma do tratamento de desequilíbrio estático, ao nível de lote (batch-level) para a separação probabilística dinâmica, ao nível de amostra. Ao diagnosticar quantitativamente a natureza bimodal das lacunas de modalidade, o framework evita a abordagem de "tamanho único" dos métodos existentes.

Os autores afirmam que sua abordagem resolve efetivamente o trade-off de otimização entre amostras equilibradas e desequilibradas, permitindo que o modelo simultaneamente corrija o viés em amostras difíceis e maximize os benefícios de fusão em amostras equilibradas. Além disso, a capacidade de usar o GMM para purificação de dados oferece uma ferramenta prática para melhorar o desempenho baseline sem mudanças arquitetônicas complexas, destacando a utilidade dupla da modelagem probabilística proposta.