Addressing Missing and Noisy Modalities in One Solution: Unified Modality-Quality Framework for Low-quality Multimodal Data

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está tentando entender o humor de uma pessoa assistindo a um vídeo. Para isso, você usa três sentidos: o que ela diz (texto), como ela fala (áudio) e como ela se parece (vídeo). Isso é o que chamamos de "computação afetiva multimodal".

O problema é que, no mundo real, nem sempre temos dados perfeitos. Às vezes, o microfone falha (dados faltando), às vezes há muito ruído de fundo (dados sujos), ou a câmera está tremendo. A maioria dos sistemas de Inteligência Artificial quebra ou fica confusa quando encontra esses problemas, pois eles foram treinados apenas com dados "limpos".

Este artigo apresenta uma solução chamada UMQ (Unificado de Qualidade de Modalidade). Pense no UMQ como um equipe de detetives super-organizada que sabe lidar com qualquer tipo de bagunça.

Aqui está como eles funcionam, usando analogias simples:

1. O Grande Problema: "Dados Sujos" e "Dados Faltando"

Antes, os cientistas tratavam "dados faltando" (como um microfone quebrado) e "dados sujos" (como um microfone com chiado) como dois problemas separados.

A analogia: É como ter um mecânico que só sabe trocar o pneu furado, e outro que só sabe limpar a lataria suja. Se o carro chegar com o pneu furado E a lataria suja, você precisa de dois mecânicos e o processo fica lento e ineficiente.
A solução UMQ: Eles tratam tudo como o mesmo problema: "Qualidade Baixa". Se o dado não é perfeito, é um problema de qualidade que precisa ser consertado.

2. O Detetive de Qualidade (Estimador de Qualidade)

O primeiro passo é saber o quão "confiável" é cada pedaço de informação.

Como funciona: O sistema tem um "olho crítico" que olha para o texto, o áudio e o vídeo e dá uma nota de qualidade para cada um.
O truque inteligente: Em vez de tentar adivinhar uma nota exata (que é difícil e gera erros), o sistema compara: "Este áudio é melhor que aquele?". É como um juiz de concurso que não precisa saber a nota exata de cada participante, apenas saber quem é o melhor e quem é o pior. Isso evita confusão e erros.

3. O Mecânico Reparador (Melhorador de Qualidade)

Depois de saber o que está ruim, o sistema tenta consertar.

O problema antigo: Se o áudio está ruim, os sistemas antigos tentavam "inventar" um áudio novo baseado apenas no vídeo. O resultado? O áudio novo parecia estranho e não tinha a "alma" da voz original.
O truque do UMQ: O reparador usa duas fontes de informação:
1. Informação da Amostra: O que os outros sentidos estão dizendo sobre este momento específico (ex: se o vídeo mostra alguém rindo, o reparador sabe que o áudio deve ser alegre).
2. Informação da Modalidade: Uma "memória geral" de como aquele tipo de dado deveria ser (ex: uma "base de dados" de como vozes humanas soam em geral).
A analogia: Imagine que você perdeu uma página de um livro (dado faltando). Um sistema antigo tentaria inventar uma história aleatória. O UMQ, porém, olha para as páginas vizinhas (informação da amostra) e consulta o estilo de escrita do autor (informação da modalidade) para reescrever a página perdida de forma que ela faça sentido e mantenha a voz do autor.

4. A Sala de Especialistas (MQ-MoE)

Aqui está a parte mais genial. Como existem muitas combinações possíveis de problemas (ex: áudio ruim + vídeo bom; texto bom + áudio e vídeo ruins; tudo ruim), um único "cérebro" não consegue lidar com tudo bem.

A solução: O UMQ cria uma equipe de especialistas.
- Se o problema é "Áudio Ruim", um especialista específico cuida disso.
- Se o problema é "Tudo Sujo", outro especialista entra em ação.
O roteador inteligente: Um "gerente" olha para o problema e decide qual especialista deve trabalhar naquele caso específico. Isso garante que o sistema use a ferramenta certa para o trabalho certo, sem tentar forçar uma solução única para todos os problemas.

Por que isso é importante?

No mundo real, os dados são sempre imperfeitos. Câmeras falham, microfones captam barulho, e a internet corta.

Resultado: O UMQ é muito mais robusto. Ele continua funcionando bem mesmo quando os dados estão quebrados ou sujos, superando todos os outros sistemas de última geração em testes de sentimentos, humor e sarcasmo.

Resumo final:
O UMQ é como ter um time de artesãos que não apenas conserta objetos quebrados, mas sabe exatamente qual tipo de reparo fazer dependendo de como o objeto quebrou, usando a memória do objeto e o contexto ao redor para garantir que o resultado final seja perfeito, mesmo começando com materiais ruins.

Each language version is independently generated for its own context, not a direct translation.

Título: Abordando Modalidades Ausentes e Ruidosas em Uma Única Solução: Um Framework Unificado de Qualidade de Modalidade para Dados Multimodais de Baixa Qualidade

1. O Problema

Em cenários do mundo real, os dados multimodais (que combinam texto, áudio e vídeo) frequentemente apresentam qualidade degradada. Isso se manifesta principalmente de duas formas:

Modalidades Ausentes (Missing Modalities): Causadas por falhas de sensores, equipamentos indisponíveis ou perda de dados durante a transmissão.
Modalidades Ruidosas (Noisy Modalities): Causadas por interferência de fundo, imprecisões inerentes aos sensores ou artefatos de transmissão.

Trabalhos anteriores tendem a tratar esses dois problemas de forma isolada. No entanto, como eles frequentemente ocorrem simultaneamente, abordá-los separadamente limita a robustez e a aplicabilidade prática dos modelos. O desafio central é criar um sistema unificado que possa lidar com qualquer combinação de modalidades de alta ou baixa qualidade (incluindo ausência total ou ruído severo) sem perder desempenho.

2. Metodologia: Framework UMQ (Unified Modality-Quality)

Os autores propõem o UMQ, um framework que trata modalidades ruidosas e ausentes como um problema unificado de "baixa qualidade". O sistema é composto por três componentes principais que atuam sinergicamente:

A. Estimador de Qualidade (Quality Estimator)

Objetivo: Quantificar a fidelidade da representação de cada modalidade individualmente.
Inovação: Ao invés de usar rótulos absolutos de qualidade (que são difíceis de definir e introduzem ruído), os autores propõem uma estratégia de treinamento guiada por ranking (rank-guided).
Funcionamento: O modelo compara a qualidade relativa entre diferentes representações. Ele é treinado com sinais supervisionados explícitos, onde instâncias de "pior qualidade" (simuladas por ruído gaussiano) recebem um rótulo baixo e instâncias de "melhor qualidade" (com perda de previsão baixa) recebem um rótulo alto. Para casos intermediários, utiliza-se uma função de perda de ranking para ordenar as qualidades relativas, evitando a dependência de valores absolutos imprecisos.

B. Aprimorador de Qualidade (Quality Enhancer)

Objetivo: Recuperar e melhorar as representações unimodais degradadas.
Mecanismo: Utiliza duas fontes de informação:
1. Informação Específica da Amostra (Sample-specific): Proveniente de outras modalidades (que podem estar de boa qualidade).
2. Informação Específica da Modalidade (Modality-specific): Proveniente de uma representação base (baseline) definida para aquela modalidade.
Decomposição de Modalidade: Antes do aprimoramento, uma operação de "decoupling" (desacoplamento) separa a representação original em componentes específicos da amostra e componentes compartilhados (específicos da modalidade). A representação base é construída usando uma média móvel com um embedding treinável para compensar ruídos.
Resultado: O aprimorador gera representações de alta qualidade que preservam as características intrínsecas da modalidade (evitando que a reconstrução perca a identidade da modalidade original).

C. Mixture-of-Experts Consciente da Qualidade (MQ-MoE)

Objetivo: Lidar com a explosão combinatória de configurações de qualidade. Com $|M|$ modalidades, existem $2^{|M|}$ combinações possíveis de qualidade (alta/baixa). Um único preditor compartilhado não consegue generalizar bem para todas essas situações.
Arquitetura: O MQ-MoE emprega múltiplos módulos especialistas (experts) especializados.
Roteamento: Um mecanismo de roteamento consciente da qualidade direciona cada amostra para o conjunto de especialistas mais adequado com base na configuração de qualidade das suas modalidades.
Restrições: São impostas restrições de perda (como $L_{same}$ ) para garantir que amostras com a mesma configuração de qualidade sejam roteadas para os mesmos especialistas, enquanto configurações diferentes ativam especialistas distintos.

3. Principais Contribuições

Abordagem Unificada: É a primeira proposta a lidar conjuntamente com modalidades ausentes e ruidosas em um único framework, tratando a ausência como um caso extremo de ruído conhecido.
Estimador de Qualidade com Ranking: Introdução de uma estratégia de treinamento supervisionada que utiliza restrições de ranking para aprender a qualidade das modalidades sem depender de rótulos absolutos ruidosos.
Aprimorador com Informação Específica: Desenvolvimento de um mecanismo que enriquece representações usando tanto informações cruzadas (entre modalidades) quanto informações intrínsecas (base da modalidade), garantindo que as representações recuperadas mantenham a identidade da modalidade original.
MQ-MoE Adaptativo: Uma arquitetura de Mixture-of-Experts que adapta dinamicamente o processamento a diferentes configurações de qualidade de entrada, superando a limitação de modelos únicos compartilhados.

4. Resultados Experimentais

O UMQ foi avaliado em múltiplas tarefas de Computação Afetiva Multimodal (MAC), incluindo Análise de Sentimento (MSA), Detecção de Humor (MHD) e Detecção de Sarcasmo (MSD), em conjuntos de dados como CMU-MOSI, CMU-MOSEI, CH-SIMS, UR-FUNNY e MUStARD.

Modalidades Completas: O UMQ alcançou desempenho State-of-the-Art (SOTA) em todos os conjuntos de dados, superando baselines fortes como Multimodal Boosting e AtCAF, demonstrando que a melhoria de representações beneficia até mesmo dados limpos.
Modalidades Ausentes: Sob taxas de ausência de 10% a 70%, o UMQ superou consistentemente métodos especializados em dados incompletos (como GCNet, MMIN, MoMKE). Por exemplo, no CMU-MOSI, obteve ganhos significativos em precisão (Acc2 e Acc7) em comparação com o segundo melhor método.
Modalidades Ruidosas: Em testes com ruído gaussiano (10% a 70%), o UMQ manteve robustez superior, especialmente na métrica MAE (Erro Absoluto Médio), superando métodos que apenas filtram ruído ou identificam níveis de ruído.
Generalização: O modelo demonstrou capacidade de generalização para tipos de ruído não vistos durante o treinamento (como ruído de Laplace e random erasing).

5. Significância e Conclusão

Este trabalho é significativo porque resolve uma lacuna crítica na aprendizagem multimodal: a incapacidade de modelos atuais de lidar de forma integrada com a degradação de dados do mundo real. Ao unificar o tratamento de dados ausentes e ruidosos e introduzir mecanismos de estimativa e aprimoramento de qualidade baseados em ranking e informações específicas, o UMQ oferece uma solução robusta e escalável.

A proposta valida que tratar a qualidade da modalidade como uma variável aprendível e adaptável, em vez de apenas tentar reconstruir dados faltantes ou filtrar ruído isoladamente, leva a sistemas mais resilientes. Isso é crucial para aplicações práticas de IA, onde a qualidade dos dados de entrada nunca é garantida.