🤖 AI

Deep Multimodal Learning with Missing Modality: A Survey

Esta encuesta proporciona la primera revisión exhaustiva de los métodos de aprendizaje profundo para el Aprendizaje Multimodal con Modalidad Ausente (MLMM), detallando sus motivaciones, distinciones de las configuraciones estándar, técnicas actuales, aplicaciones, conjuntos de datos y desafíos futuros.

Autores originales: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

Publicado 2026-02-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El problema de los "cinco sentidos"

Imagina que estás intentando entender una película. Normalmente, tienes dos entradas principales: la vista (el video) y el oído (el diálogo y la música). Esto es como un sistema "multimodal": utiliza múltiples sentidos para captar la historia completa.

Sin embargo, en el mundo real, las cosas salen mal. Tal vez tus altavoces se rompen (no hay sonido) o la pantalla se queda en negro (no hay video). Tal vez estás en un bosque con niebla donde no puedes ver, pero puedes escuchar un crujido. Este es el problema de la Modalidad Ausente (Missing Modality).

La mayoría de los modelos de IA son como estudiantes que solo saben estudiar cuando tienen su libro de texto y sus notas de audio. Si les quitas uno, entran en pánico y fallan. Este artículo de revisión es una guía masiva para investigadores sobre cómo enseñar a la IA a mantener la calma y rendir bien incluso cuando pierde uno de sus "sentidos".

¿De qué trata este artículo?

Este artículo es una revisión (survey). Piensa en él como un bibliotecario que ha leído cada uno de los libros (¡354 artículos!) escritos entre 2012 y 2025 sobre este tema específico. Los autores, Renjie Wu y su equipo, organizaron todas estas diferentes soluciones en un mapa claro para que los investigadores sepan qué funciona, qué no funciona y hacia dónde ir después.

Llaman a este campo MLMM (Aprendizaje Multimodal con Modalidad Ausente).

Las dos estrategias principales: "Reparar los datos" vs. "Reparar el cerebro"

Los autores dividen todas las soluciones en dos grandes bandos, como reparar un coche roto ya sea reparando las piezas o cambiando la forma en que conduce el conductor.

1. Procesamiento de datos: "Reparar las piezas"

Este enfoque intenta rellenar la información faltante antes de que la IA comience a pensar.

El método de la "Página en blanco" (Composición de modalidades): Imagina que estás leyendo un libro, pero falta una página. Podrías simplemente dejar un espacio en blanco (ceros) o garabatear tonterías aleatorias (valores aleatorios) en esa página. La IA aprende a ignorar el espacio en blanco y concentrarse en el resto. Es simple, pero no muy inteligente.
El método de "Copiar y Pegar" (Recuperación): Si falta una página, buscas otras copias del mismo libro en la biblioteca, encuentras la página correspondiente y la pegas. Esto funciona bien si los libros son idénticos, pero si las historias son ligeramente diferentes, podrías pegar una escena equivocada.
El método de la "Imaginación" (Generación de modalidades): Este es el más avanzado. La IA actúa como un escritor creativo. Si falta el audio, la IA observa el video e imagina cómo debería ser el sonido, y luego lo crea. Es como un mago sacando un conejo de un sombrero. El artículo señala que, aunque esto es genial, a veces puede "alucinar" (inventar cosas que no son ciertas).

2. Diseño de estrategia: "Reparar el cerebro"

En lugar de intentar arreglar los datos faltantes, este enfoque cambia la arquitectura de la IA para que pueda manejar la falta de datos de forma natural.

El método del "Foco" (Atención): Imagina a un profesor en un aula. Si un estudiante falta, el profesor no detiene la lección; simplemente apunta su foco de luz hacia los estudiantes que sí están presentes. Los mecanismos de "atención" permiten que la IA se concentre dinámicamente solo en los datos disponibles e ignore las partes faltantes.
El método del "Tutor" (Destilación): Imagina a un estudiante inteligente (el Profesor) que tiene todos los libros. Un estudiante menos inteligente (el Estudiante) solo tiene la mitad de los libros. El Profesor le explica los capítulos faltantes al Estudiante. El Estudiante aprende a entender toda la historia incluso sin tener el libro físico.
El método del "Trabajo en equipo" (Combinación de modelos): En lugar de una IA gigante, tienes un equipo de especialistas. Si falta el video, le preguntas al "Experto en Audio". Si falta el audio, le preguntas al "Experto en Video". Ellos votan la respuesta juntos.
El "Súper Cerebro" (Grandes Modelos de Lenguaje): Recientemente, los enormes modelos de IA (como los que impulsan los chatbots) se han vuelto tan inteligentes que pueden entender texto, imágenes y sonido al mismo tiempo. Son tan flexibles que, si se elimina una entrada, simplemente se adaptan y siguen adelante, casi como un humano que puede contar una historia incluso si no puede ver la imagen.

¿Dónde se utiliza esto? (Ejemplos del mundo real)

El artículo enumera muchos lugares donde esto es crítico:

Escaneos médicos: Un médico puede tener una resonancia magnética pero no una tomografía computarizada para un paciente. La IA necesita diagnosticar la enfermedad usando solo la resonancia magnética sin adivinar de forma descabellada.
Coches autónomos: La cámara de un coche puede quedar cegada por la nieve, o su radar puede romperse. El cerebro del coche necesita seguir conduciendo de forma segura utilizando solo los sensores que aún funcionan.
Detección de emociones: Una videollamada puede tener un audio malo pero un video claro. La IA debería ser capaz de saber si estás feliz o triste simplemente mirando tu rostro.
Robótica: Un robot que explora una cueva puede perder la señal de GPS. Necesita navegar usando solo sus cámaras y sensores de tacto.

Los problemas que aún no hemos resuelto

A pesar de que tenemos estos trucos geniales, el artículo señala algunos dolores de cabeza importantes:

La trampa de los "Datos Falsos": Cuando la IA "imagina" datos faltantes, a veces inventa detalles que son erróneos. Si un coche autónomo imagina una carretera donde hay un acantilado, eso es peligroso.
La IA "Perezosa": A veces, incluso si la IA intenta rellenar la pieza faltante, termina ignorando la nueva información y simplemente depende del único sensor que sí tiene, lo cual podría no ser suficiente.
La "Biblioteca Desordenada": No existe una prueba estándar única. Un investigador podría probar su IA con un 10% de datos faltantes, mientras que otro podría probarla con un 90%. Es difícil comparar quién es realmente el mejor.
Demasiado Pesado: Muchas de estas soluciones requieren una potencia informática masiva (como una supercomputadora). Pero los dispositivos del mundo real (como un reloj inteligente o un dron) son pequeños y tienen baterías débiles. Necesitamos soluciones "ligeras" que funcionen en chips pequeños.

Conclusión

Este artículo es una hoja de ruta. Nos dice que, si bien hemos hecho grandes progresos enseñando a la IA a lidar con sensores rotos y datos faltantes, todavía necesitamos mejores formas de hacerlo sin inventar cosas, sin necesitar supercomputadoras y sin confundirnos con situaciones desordenadas del mundo real. El objetivo es construir una IA que sea tan robusta como un humano: capaz de entender el mundo incluso cuando la vista es borrosa o el micrófono está roto.

Resumen Técnico: Aprendizaje Multimodal Profundo con Modalidad Ausente: Una Encuesta

1. Definición del Problema

El artículo aborda el Problema de la Modalidad Ausente en el Aprendizaje Multimodal Profundo. En escenarios del mundo real, los sistemas multimodales encuentran frecuentemente datos incompletos debido a fallos en los sensores, limitaciones de hardware, restricciones de privacidad, pérdida de datos o interferencias ambientales. A diferencia del aprendizaje multimodal convencional, que asume que las $N$ modalidades están disponibles de manera consistente durante el entrenamiento y las pruebas, el Aprendizaje Multimodal con Modalidad Ausente (MLMM) tiene como objetivo desarrollar modelos que sigan siendo robustos y eficientes cuando una o más modalidades de entrada están ausentes. El desafío central es explotar eficazmente las modalidades disponibles manteniendo un rendimiento comparable al de los sistemas entrenados con información completa, sin degradarse debido a la ausencia de entradas críticas.

2. Taxonomía de la Metodología

Los autores proponen una taxonomía novedosa y detallada que categoriza los métodos existentes de MLMM profundo en dos aspectos primarios: Procesamiento de Datos y Diseño de Estrategia. Estos aspectos se dividen además en cuatro tipos y doce subcategorías (resumidas en la Tabla 1 del artículo).

A. Aspecto de Procesamiento de Datos

Este aspecto se centra en cómo el modelo maneja la información faltante a nivel de datos o de representación.

Imputación de Modalidades: Opera al nivel de los datos brutos para completar la información faltante.
- Composición de Modalidades: Reemplaza los datos faltantes con valores de cero/aleatorios o recupera/copia datos de instancias similares (por ejemplo, K-Nearest Neighbors). Aunque son simples, estos métodos suelen fallar en tareas a nivel de píxel y pueden introducir sobreajuste o duplicación de muestras.
- Generación de Modalidades: Utiliza modelos generativos (Auto-Encoders, GANs, Modelos de Difusión) para sintetizar las modalidades faltantes a partir de las disponibles. Se entrenan generadores individuales por modalidad, mientras que los generadores unificados intentan producir todas las modalidades faltantes simultáneamente. Estos métodos mejoran la diversidad de los datos pero aumentan los costes computacionales y de almacenamiento.
Modelos Centrados en la Representación: Opera al nivel de la representación de características.
- Representación Coordinada: Impone restricciones (por ejemplo, Regularización de Rango de Tensor, Análisis de Correlación Canónica Profunda) para alinear las modalidades disponibles en un espacio semántico compartido, asegurando la consistencia semántica incluso con entradas ausentes.
- Composición de Representación: Fusiona las representaciones disponibles utilizando operaciones aritméticas (agrupación, adición) o métodos basados en la recuperación para formar una representación completa sin parámetros aprendibles.
- Generación de Representación: Utiliza modelos generativos para crear representaciones de características faltantes directamente.
  - Indirecto-al-Tarea: Trata la reconstrucción de la modalidad como una tarea auxiliar durante el entrenamiento (a menudo usando arquitecturas Encoder-Decoder) pero descarta el generador durante la inferencia.
  - Directo-a-la-Tarea: Mapea directamente las representaciones disponibles a las faltantes utilizando pequeñas redes generativas (por ejemplo, Redes de Alucinación, aprendizaje Bayesiano) sin un paso de reconstrucción explícito.

B. Aspecto de Diseño de Estrategia

Este aspecto se centra en los ajustes arquitectónicos y las combinaciones de modelos para adaptarse a diversas condiciones de entrada.

Modelos Centrados en la Arquitectura: Diseña arquitecturas flexibles que se adaptan al número de modalidades disponibles.
- Basados en Atención: Utiliza mecanismos de auto-atención (intra y entre modalidades) y estrategias de enmascaramiento para fusionar dinámicamente las modalidades disponibles. Incluye el Aprendizaje de Representación Conjunta (JRL) basado en Transformers y métodos de Aprendizaje de Parámetros Eficientes (PEL) como el ajuste de Prompt y Adapter.
- Basados en Destilación: Transfiere conocimiento de un modelo "profesor" (entrenado con modalidades completas) a un modelo "estudiante" (que maneja modalidades ausentes). Incluye la destilación de respuesta (logits), la destilación de características intermedias y métodos basados en procesos como Mean Teacher y Auto-destilación.
- Basados en Aprendizaje de Grafos: Modela las relaciones entre modalidades y muestras utilizando Redes Neuronales de Grafos (GNN) para fusionar dinámicamente las características disponibles y compensar las faltantes mediante la completitud del grafo o el paso de mensajes.
- Modelos de Lenguaje de Gran Escala Multimodales (MLLMs): Aprovecha modelos fundacionales (por ejemplo, LLaVA, AnyGPT) donde el LLM actúa como un procesador de características capaz de aceptar un número variable de tokens de modalidad, manejando naturalmente las entradas ausentes a través de su arquitectura flexible.
Combinaciones de Modelos: Emplea estrategias que aprovechan múltiples modelos especializados.
- Métodos de Ensamblaje: Combina las predicciones de múltiples modelos (multimodales o unimodales) mediante votación o promedio ponderado.
- Entrenamiento Dedicado: Entrena modelos específicos para combinaciones específicas de modalidades ausentes (por ejemplo, un modelo solo para Modalidad 1+3) y selecciona el apropiado durante la inferencia.
- Programador Discreto: Utiliza un LLM como controlador para orquestar y seleccionar los módulos descendentes basándose en las modalidades disponibles y las instrucciones de la tarea.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

Encuesta Exhaustiva: Proporciona la primera revisión extensa de los métodos de MLMM profundo a través de diversos dominios (Computación Afectiva, Médica, Teledetección, Robótica, etc.), acompañada de una compilación de conjuntos de datos relevantes.
Taxonomía Novedosa: Introduce un marco de clasificación detallado basado en el Procesamiento de Datos (Imputación vs. Representación) y el Diseño de Estrategia (Arquitectura vs. Combinaciones), ofreciendo una forma estructurada de analizar la literatura existente.
Análisis Crítico: Ofrece un análisis profundo de los enfoques actuales, destacando sus compensaciones (por ejemplo, métodos generativos vs. eficiencia, recuperación vs. no recuperación) e identifica desafíos abiertos y futuras direcciones de investigación.

4. Resultados y Estadísticas

La encuesta analiza 354 artículos significativos publicados entre 2012 y agosto de 2025. Los hallazgos estadísticos clave incluyen:

Distribución de Métodos: Aproximadamente el 75.5% de los trabajos se centran en la recuperación de la información de la modalidad ausente (recuperación en etapa temprana, intermedia o tardía), mientras que el 24.5% se centran en la inferencia sin recuperación (no recuperación).
Etapas de Recuperación: La recuperación en la etapa intermedia (nivel de características) es la más prevalente (45.8%), seguida de la etapa temprana (20.3%) y la etapa tardía (4.7%).
Restricciones de Datos de Entrenamiento: Existe una brecha significativa en el manejo de conjuntos de datos de entrenamiento incompletos. Solo el 36.4% de los trabajos revisados fueron entrenados en conjuntos de datos donde los datos de la modalidad ausente no estaban disponibles durante el entrenamiento; la mayoría (63.6%) asumió el acceso a datos completos durante el entrenamiento y solo simuló la ausencia durante las pruebas.
Evolución Técnica: El campo ha evolucionado desde las tempranas correcciones heurísticas a nivel de datos y los métodos de ensamblaje hacia el aprendizaje de representaciones, el diseño de arquitecturas flexibles (atención, destilación) y, recientemente, los enfoques basados en modelos fundacionales.

5. Significancia y Reivindicaciones

Los autores afirman que esta encuesta es la primera revisión exhaustiva centrada específicamente en el aprendizaje multimodal profundo con modalidades ausentes. Su importancia radica en:

Unificar el Campo: Proporcionar una taxonomía estructurada que une métodos dispares de visión por computadora, PLN y procesamiento de señales.
Resaltar la Relevancia en el Mundo Real: Enfatizar que las modalidades ausentes no son solo desafíos sintéticos, sino inherentes a los despliegues del mundo real (por ejemplo, fallos de sensores en la exploración espacial, privacidad en la IA médica).
Identificar Brechas Críticas: El artículo señala de manera modesta pero firme que los benchmarks actuales a menudo no logran modelar patrones de ausencia realistas (por ejemplo, fallos de sensores asíncronos) y que la mayoría de los métodos tienen dificultades con los conjuntos de datos de entrenamiento incompletos.
Direcciones Futuras: Hace un llamado al desarrollo de benchmarks unificados (similares a MultiBench), modelos más eficientes y ligeros para dispositivos de borde (edge devices), y métodos robustos para datos en flujo (streaming) y aplicaciones científicas donde los datos son inherentemente incompletos.

El artículo concluye que, si bien se han logrado avances, el campo requiere protocolos de evaluación más rigurosos, benchmarks estandarizados y arquitecturas diseñadas explícitamente para la ausencia estructural y persistente que se encuentra en los entornos del mundo real.