🤖 AI

Deep Multimodal Learning with Missing Modality: A Survey

Este levantamento fornece a primeira revisão abrangente de métodos de aprendizado profundo para Aprendizado Multimodal com Modalidade Ausente (MLMM), detalhando suas motivações, distinções de configurações padrão, técnicas atuais, aplicações, conjuntos de dados e desafios futuros.

Autores originais: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

Publicado 2026-02-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema dos "Cinco Sentidos"

Imagine que você está tentando entender um filme. Normalmente, você tem duas entradas principais: visão (o vídeo) e som (o diálogo e a música). Isso é como um sistema "multimodal" — ele usa vários sentidos para entender a história completa.

No entanto, no mundo real, as coisas dão errado. Talvez seus alto-falantes quebrem (sem som), ou a tela fique preta (sem vídeo). Talvez você esteja em uma floresta com neblina onde não consegue ver, mas consegue ouvir um farfalhar. Este é o problema da Modalidade Ausente (Missing Modality).

A maioria dos modelos de IA é como estudantes que só sabem estudar quando têm o livro didático e as notas de áudio. Se você tirar um deles, eles entram em pânico e falham. Este artigo de revisão é um guia massivo para pesquisadores sobre como ensinar a IA a manter a calma e ter um bom desempenho mesmo quando perde um de seus "sentidos".

Sobre o que é este Artigo?

Este artigo é um survey (revisão). Pense nele como um bibliotecário que leu todos os livros (354 artigos!) escritos entre 2012 e 2025 sobre este tópico específico. Os autores, Renjie Wu e sua equipe, organizaram todas essas diferentes soluções em um mapa claro para que os pesquisadores saibam o que funciona, o que não funciona e para onde ir a seguir.

Eles chamam este campo de MLMM (Aprendizado Multimodal com Modalidade Ausente).

As Duas Estratégias Principais: "Consertar os Dados" vs. "Consertar o Cérebro"

Os autores dividem todas as soluções em dois grandes grupos, como consertar um carro quebrado ou reparando as peças ou mudando a forma como o motorista dirige.

1. Processamento de Dados: "Consertando as Peças"

Esta abordagem tenta preencher a informação ausente antes mesmo de a IA começar a pensar.

O Método da "Página em Branco" (Composição de Modalidade): Imagine que você está lendo um livro, mas uma página foi arrancada. Você poderia apenas deixar um espaço em branco (zeros) ou rabiscar bobagens aleatórias (valores aleatórios) naquela página. A IA aprende a ignorar o espaço em branco e focar no restante. É simples, mas não é muito inteligente.
O Método do "Copiar e Colar" (Recuperação): Se uma página está faltando, você procura outras cópias do mesmo livro na biblioteca, encontra a página correspondente e a cola ali. Isso funciona bem se os livros forem idênticos, mas se as histórias forem ligeiramente diferentes, você pode colar a cena errada.
O Método da "Imaginação" (Geração de Modalidade): Esta é a mais avançada. A IA age como um escritor criativo. Se o áudio estiver faltando, a IA olha para o vídeo e imagina como o som deveria ser, e então o cria. É como um mágico tirando um coelho de dentro de um chapéu. O artigo observa que, embora isso seja legal, às vezes pode "alucinar" (inventar coisas que não são verdadeiras).

2. Design de Estratégia: "Consertando o Cérebro"

Em vez de tentar consertar os dados ausentes, esta abordagem muda a arquitetia da IA para que ela possa lidar com dados ausentes naturalmente.

O Método do "Holofote" (Atenção): Imagine um professor em uma sala de aula. Se um aluno falta, o professor não interrompe a aula; ele apenas aponta seu holofote para os alunos que estão presentes. Os mecanismos de "Atenção" permitem que a IA foque dinamicamente apenas nos dados disponíveis e ignore as partes ausentes.
O Método do "Tutor" (Destilação): Imagine um aluno inteligente (o Professor) que tem todos os livros. Um aluno menos inteligente (o Aluno) tem apenas metade dos livros. O Professor explica os capítulos que faltam para o Aluno. O Aluno aprende a entender a história completa mesmo sem o livro físico.
O Método do "Trabalho em Equipe" (Combinação de Modelos): Em vez de uma única IA gigante, você tem uma equipe de especialistas. Se o vídeo estiver faltando, você pergunta ao "Especialista em Áudio". Se o áudio estiver faltando, você pergunta ao "Especialista em Vídeo". Eles votam na resposta juntos.
O "Super-Cérebro" (Grandes Modelos de Linguagem): Recentemente, modelos de IA gigantes (como os que alimentam os chatbots) tornaram-se tão inteligentes que podem entender texto, imagem e som ao mesmo tempo. Eles são tão flexíveis que, se você tirar uma entrada, eles simplesmente se adaptam e continuam, quase como um humano que ainda consegue contar uma história mesmo que não consiga ver a imagem.

Onde isso é usado? (Exemplos do Mundo Real)

O artigo lista muitos lugares onde isso é crítico:

Exames Médicos: Um médico pode ter uma ressonância magnética, mas não ter uma tomografia computadorizada para um paciente. A IA precisa diagnosticar a doença usando apenas a ressonância sem fazer suposições absurdas.
Carros Autônomos: A câmera de um carro pode ser cegada pela neve, ou o radar pode quebrar. A IA do carro precisa continuar dirigindo com segurança usando apenas os sensores que ainda estão funcionando.
Detecção de Emoções: Uma chamada de vídeo pode ter um áudio ruim, mas um vídeo claro. A IA ainda deve ser capaz de dizer se você está feliz ou triste olhando para o seu rosto.
Robótica: Um robô explorando uma caverna pode perder o sinal de GPS. Ele precisa navegar usando apenas suas câmeras e sensores de toque.

Os Problemas que Ainda Não Resolvemos

Apesar de termos esses truques legais, o artigo aponta algumas dores de cabeça importantes:

A Armadilha dos "Dados Falsos": Quando a IA "imagina" dados ausentes, ela às vezes inventa detalhes que estão errados. Se um carro autônomo imaginar uma estrada onde há um precipício, isso é perigoso.
A IA "Preguiçosa": Às vezes, mesmo que a IA tente preencher a peça que falta, ela acaba ignorando a nova informação e apenas confia no único sensor que ela tem, o que pode não ser suficiente.
A "Biblioteca Bagunçada": Não existe um teste padrão único. Um pesquisador pode testar sua IA com 10% de dados ausentes, enquanto outro testa com 90%. É difícil comparar quem é realmente o melhor.
Muito Pesado: Muitas dessas soluções exigem um poder computacional massivo (como um supercomputador). Mas os dispositivos do mundo real (como um smartwatch ou um drone) são pequenos e têm baterias fracas. Precisamos de soluções "leves" que funcionem em chips pequenos.

A Conclusão

Este artigo é um roteiro. Ele nos diz que, embora tenhamos feito grandes progressos em ensinar a IA a lidar com sensores quebrados e dados ausentes, ainda precisamos de melhores maneiras de fazer isso sem inventar coisas, sem precisar de supercomputadores e sem nos confundirmos com situações bagunçadas do mundo real. O objetivo é construir uma IA que seja tão robusta quanto um humano: capaz de entender o mundo mesmo quando a visão está embaçada ou o microfone está quebrado.

Resumo Técnico: Aprendizado Multimodal Profundo com Modalidade Ausente: Um Levantamento

1. Definição do Problema

O artigo aborda o Problema da Modalidade Ausente no Aprendizado Multimodal Profundo. Em cenários do mundo real, sistemas multimodais frequentemente encontram dados incompletos devido a falhas de sensores, limitações de hardware, restrições de privacidade, perda de dados ou interferência ambiental. Diferente do aprendizado multimodal convencional, que assume que todas as $N$ modalidades estão consistentemente disponíveis durante o treinamento e o teste, o Aprendizado Multimodal com Modalidade Ausente (MLMM) visa desenvolver modelos que permaneçam robustos e performantes quando uma ou mais modalidades de entrada estão ausentes. O desafio central é explorar efetivamente as modalidades disponíveis enquanto mantém o desempenho comparável a sistemas treinados com informações completas, sem degradar devido à ausência de entradas críticas.

2. Taxonomia da Metodologia

Os autores propõem uma nova taxonomia detalhada, categorizando os métodos existentes de MLMM profundo em dois aspectos primários: Processamento de Dados e Design de Estratégia. Esses aspectos são subdivididos em quatro tipos e doze subcategorias (resumidas na Tabela 1 do artigo).

A. Aspecto de Processamento de Dados

Este aspecto foca em como o modelo lida com a informação ausente no nível dos dados ou da representação.

Imputação de Modalidade: Opera no nível dos dados brutos para preencher a informação ausente.
- Composição de Modalidade: Substitui dados ausentes por valores zero/aleatórios ou recupera/copia dados de instâncias similares (ex: K-Nearest Neighbors). Embora simples, esses métodos frequentemente falham em tarefas ao nível de pixel e podem introduzir overfitting ou duplicidade de amostras.
- Geração de Modalidade: Utiliza modelos generativos (Auto-Encoders, GANs, Modelos de Difusão) para sintetizar modalidades ausentes a partir das disponíveis. Geradores individuais são treinados por modalidade, enquanto geradores unificados tentam produzir todas as modalidades ausentes simultaneamente. Esses métodos melhoram a diversidade dos dados, mas aumentam os custos computacionais e de armazenamento.
Modelos Focados em Representação: Opera no nível da representação de características (features).
- Representação Coordenada: Impõe restrições (ex: Regularização de Rank de Tensor, Análise de Correlação Canônica Profunda) para alinhar as modalidades disponíveis em um espaço semântico compartilhado, garantindo consistência semântica mesmo com entradas ausentes.
- Composição de Representação: Funde representações disponíveis usando operações aritméticas (pooling, adição) ou métodos baseados em recuperação para formar uma representação completa sem parâmetros aprendíveis.
- Geração de Representação: Utiliza modelos generativos para criar representações de características ausentes diretamente.
  - Indireta-para-Tarefa: Trata a reconstrução da modalidade como uma tarefa auxiliar durante o treinamento (frequentemente usando arquiteturas Encoder-Decoder), mas descarta o gerador durante a inferência.
  - Direta-para-Tarefa: Mapeia diretamente as representações disponíveis para as ausentes usando pequenas redes generativas (ex: Redes de Alucinação, Aprendizado Bayesiano) sem uma etapa explícita de reconstrução.

B. Aspecto de Design de Estratégia

Este aspecto foca em ajustes arquiteturais e combinações de modelos para se adaptar a variadas condições de entrada.

Modelos Focados em Arquitetura: Projeta arquiteturas flexíveis que se adaptam ao número de modalidades disponíveis.
- Baseado em Atenção: Utiliza mecanismos de autoatenção (intra e inter-modalidade) e estratégias de mascaramento para fundir dinamicamente as modalidades disponíveis. Inclui Aprendizado de Representação Conjunta (JRL) baseado em Transformer e métodos de Aprendizado Eficiente em Parâmetros (PEL), como ajuste de Prompt e Adapter.
- Baseado em Destilação: Transfere conhecimento de um modelo "professor" (treinado com modalidades completas) para um modelo "aluno" (que lida com modalidades ausentes). Inclui destilação de resposta (logits), destilação de características intermediárias e métodos baseados em processo, como Mean Teacher e Autodestilação.
- Baseado em Aprendizado em Grafos: Modela as relações entre modalidades e amostras usando Redes Neurais de Grafos (GNNs) para fundir dinamicamente as características disponíveis e compensar as ausentes via completude de grafo ou passagem de mensagens.
- Grandes Modelos de Linguagem Multimodais (MLLMs): Aproveita modelos de fundação (ex: LLaVA, AnyGPT) onde o LLM atua como um processador de características capaz de aceitar números variáveis de tokens de modalidade, lidando naturalmente com entradas ausentes através de sua arquitetura flexível.
Combinações de Modelos: Emprega estratégias que utilizam múltiplos modelos especializados.
- Métodos de Ensemble: Combina previsões de múltiplos modelos (multimodais ou unimodais) via votação ou média ponderada.
- Treinamento Dedicado: Treina modelos específicos para combinações específicas de modalidades ausentes (ex: um modelo apenas para Modalidade 1+3) e seleciona o apropriado durante a inferência.
- Agendador Discreto (Discrete Scheduler): Utiliza um LLM como controlador para orquestrar e selecionar módulos downstream com base nas modalidades disponíveis e instruções da tarefa.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

Levantamento Abrangente: Fornece a primeira revisão extensa de métodos de MLMM profundo em diversos domínios (Computação Afetiva, Médica, Sensoriamento Remoto, Robótica, etc.), acompanhada de uma compilação de datasets relevantes.
Nova Taxonomia: Introduz um framework de classificação refinado baseado em Processamento de Dados (Imputação vs. Representação) e Design de Estratégia (Arquitetura vs. Combinações), oferecendo uma forma estruturada de analisar a literatura existente.
Análise Crítica: Oferece uma análise profunda das abordagens atuais, destacando seus compromissos (ex: métodos generativos vs. eficiência, recuperação vs. não-recuperação) e identifica desafios abertos e direções de pesquisa futuras.

4. Resultados e Estatísticas

O levantamento analisa 354 artigos significativos publicados entre 2012 e agosto de 2025. Principais achados estatísticos incluem:

Distribuição de Métodos: Aproximadamente 75,5% dos trabalhos focam em recuperar informações de modalidade ausente (recuperação em estágio inicial, intermediário ou tardio), enquanto 24,5% focam em inferência sem recuperação (não-recuperação).
Estágios de Recuperação: A recuperação em estágio intermediário (nível de característica) é a mais prevalente (45,8%), seguida pela inicial (20,3%) e tardia (4,7%).
Restrições de Dados de Treinamento: Existe uma lacuna significativa no tratamento de datasets de treinamento incompletos. Apenas 36,4% dos trabalhos revisados treinaram em datasets onde os dados da modalidade ausente não estavam disponíveis durante o treinamento; a maioria (63,6%) assumiu o acesso a dados completos durante o treinamento e apenas simulou a ausência durante o teste.
Evolução Técnica: O campo evoluiu de correções heurísticas iniciais de nível de dados e métodos de ensemble para aprendizado de representação, design de arquitetura flexível (atenção, destilação) e, recentemente, abordagens baseadas em modelos de fundação.

5. Significância e Alegações

Os autores alegam que este levantamento é o primeiro review abrangente focado especificamente em aprendizado multimodal profundo com modalidades ausentes. Sua significância reside em:

Unificar o Campo: Fornecer uma taxonomia estruturada que une métodos díspares de visão computacional, NLP e processamento de sinais.
Destacar a Relevância no Mundo Real: Enfatizar que modalidades ausentes não são apenas desafios sintéticos, mas inerentes às implementações do mundo real (ex: falhas de sensores na exploração espacial, privacidade na IA médica).
Identificar Lacunas Críticas: O artigo aponta, de forma modesta mas firme, que os benchmarks atuais muitas vezes falham em modelar padrões de ausência realistas (ex: falhas assíncronas de sensores) e que a maioria dos métodos tem dificuldade em lidar com datasets de treinamento incompletos.
Direções Futuras: O trabalho clama pelo desenvolvimento de benchmarks unificados (semelhantes ao MultiBench), modelos mais eficientes e leves para dispositivos de borda (edge), e métodos robustos para dados em streaming e aplicações científicas onde os dados são inerentemente incompletos.

O artigo conclui que, embora progressos tenham sido feitos, o campo requer protocolos de avaliação mais rigorosos, benchmarks padronizados e arquiteturas explicitamente projetadas para a ausência estrutural e persistente encontrada em ambientes do mundo real.