🤖 machine learning

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

Este artículo presenta un marco de coaprendizaje multimodal diseñado para manejar la ausencia de modalidades arbitrarias en tareas de clasificación al priorizar la colaboración intermodal sobre la fusión, ofreciendo dos enfoques complementarios que demuestran ganancias significativas de robustez a través de diversos grados de ausencia de modalidades.

Autores originales: Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

Publicado 2026-07-28

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas gigante, pero en lugar de solo una imagen, tienes un equipo de amigos, cada uno con una pieza diferente del rompecabezas. Un amigo tiene el cielo, otro tiene el océano y un tercero tiene las montañas. Si unes todas sus piezas, obtienes una imagen completa y perfecta. Así es como funciona la IA "multimodal": combina diferentes tipos de datos, como fotos, sonidos y lecturas de sensores, para tomar decisiones más inteligentes. Pero aquí está el truco: en el mundo real, las cosas no siempre salen según lo planeado. Tal vez la cámara se rompe, el micrófono se moja o un sensor se queda sin batería. De repente, a tu equipo le faltan algunos amigos y el rompecabezas está incompleto. Si tu IA solo está entrenada para trabajar cuando todos están presentes, colapsará y fracasará en el momento en que falte una pieza. Este es un gran problema para los robots, los coches autónomos y los dispositivos médicos que necesitan funcionar de manera fiable incluso cuando sus herramientas fallan.

El artículo que vas a leer aborda este mismo dolor de cabeza. Plantea la siguiente pregunta: ¿Cómo podemos enseñar a una IA a mantenerse inteligente y precisa incluso cuando le faltan algunas de sus fuentes de datos? Los autores proponen una nueva y astuta forma de entrenar estos sistemas, no forzándolos a "pegar" las piezas faltantes, sino enseñando a las diferentes fuentes de datos a comunicarse entre sí y ayudarse mutuamente. Lo llaman "co-aprendizaje" (co-learning). Piensa en ello como un grupo de estudio donde el estudiante que es bueno en matemáticas ayuda al que es bueno en historia, de modo que si el estudiante de historia falta, el de matemáticas aún puede explicar toda la historia. Los investigadores probaron sus ideas en dos desafíos muy diferentes: identificar tipos de cultivos a partir de datos satelitales y reconocer actividades humanas a partir de sensores corporales. Descubrieron que sus nuevos métodos hacen que la IA sea mucho más resiliente, manteniéndola en el camino correcto incluso cuando los datos se vuelven desordenados o incompletos.

El Problema: Cuando el Equipo Pierde a un Miembro

En el mundo de la inteligencia artificial, la "clasificación multimodal" es como tener un detective que utiliza múltiples sentidos para resolver un caso. En lugar de solo mirar una foto de la escena del crimen, el detective también escucha grabaciones de audio, lee declaraciones de testigos y revisa informes meteorológicos. Al combinar todas estas pistas, el detective (o la IA) puede hacer una suposición mucho mejor sobre lo que ocurrió. Sin embargo, la vida real es caótica. En el campo de la Observación de la Tierra, una cámara satelital puede estar bloqueada por las nubes, o un radar puede fallar. En estudios centrados en el ser humano, un sensor corporal puede quedarse sin batería o desconectarse.

El gran problema es que la mayoría de los modelos de IA se entrenan asumiendo que todas las pistas estarán siempre presentes. Si entrenas un modelo con cinco tipos de datos y luego intentas usarlo con solo tres, a menudo se confunde y comete errores terribles. Los intentos previos para solucionar esto se centraron generalmente en la "fusión robusta", que es como intentar construir una mesa que se mantenga en pie incluso si le quitas una de sus patas. Los autores de este artículo argumentan que este enfoque tiene límites, especialmente cuando tienes muchos tipos diferentes de datos y cualquier combinación de ellos podría faltar. Ellos querían saber: ¿Qué pasaría si no solo intentáramos tapar el hueco, sino que enseñáramos a las fuentes de datos restantes a cubrirse las espaldas entre sí?

La Solución: Un Grupo de Estudio para los Datos

Los autores presentan un marco llamado "Co-Learning para Modalidades Arbitrarias Faltantes". En lugar de forzar a la IA a fusionar todos los datos en un solo bloque gigante, establecen un equipo de modelos especializados, uno para cada tipo de dato (como uno para imágenes ópticas, uno para radar, uno para el clima). Estos modelos están entrenos para trabajar juntos, compartiendo lo que saben.

Desarrollaron dos estrategias específicas, o "métodos", para que este trabajo en equipo funcione:

Co-Miss (Co-aprendizaje para la Ausencia): Este método es como un simulacro riguroso. Durante el entrenamiento, la IA es obligada a practicar constantemente con datos faltantes. Es como si el profesor le dijera al azar al estudiante de historia: "Hoy estás ausente", y el estudiante de matemáticas tiene que explicar la lección completa de todos modos. La IA aprende a "imitar" lo que habría dicho el equipo completo, incluso cuando partes del equipo faltan. Esto se llama "destilación por ausencia" (missing distillation). Funciona increíblemente bien cuando solo falta uno o pocos datos.
FullCo (Co-aprendizaje Completo): Este método está diseñado para los peores escenarios, donde casi todo el equipo falta. Utiliza una técnica llamada "destilación mutua", donde cada uno de los modelos de datos intenta aprender de los demás y de la decisión final del grupo. Es como una sesión de estudio circular donde todos enseñan a todos. Este enfoque brza cuando la IA se queda con muy poca información, como cuando solo un sensor sigue funcionando.

Ambos métodos dependen de dos niveles de aprendizaje. En el nivel de características, los modelos aprenden a identificar qué es "compartido" (como la forma general de un árbol, que tanto una foto como un radar pueden ver) y qué es "específico" (como la textura de la corteza, que solo la foto puede ver). En el nivel de decisión, utilizan la destilación de conocimiento, donde los modelos intentan ponerse de acuerdo en la respuesta final, ayudándose mutuamente a mantenerse en el camino correcto incluso cuando los datos escasean.

Los Resultados: Más Fuertes en la Tormenta

Los investigadores probaron sus ideas en dos conjuntos de datos del mundo real. El primero fue Multi-CropHarvest, que consiste en identificar tipos de cultivos utilizando cuatro sensores diferentes: imágenes ópticas, radar, datos meteorológicos y mapas topográficos. El segundo fue HL-Opportunity, un conjunto de datos con 19 sensores diferentes en el cuerpo de una persona para reconocer actividades como "hacer un sándwich" o "limpiar".

Los resultados fueron prometedores. Cuando la IA fue probada con todos sus datos presentes, funcionó muy bien. Pero la verdadera prueba llegó cuando empezaron a eliminar datos:

En el escenario de "Ausencia Mínima" (donde falló solo un sensor), el método Co-Miss fue la estrella. Apenas perdió precisión, demostrando que su enfoque de "simulacro" la preparó perfectamente para pequeños fallos.
En el escenario de "Ausencia Extrema" (donde falló casi todos los sensores, dejando solo uno), el método FullCo tomó el mando. Mientras que otros métodos colapsaron y su rendimiento cayó significativamente, FullCo logró mantener su posición, demostando que su estrategia de "enseñanza mutua" le ayudó a sobrevivir a la tormenta.

Por ejemplo, en la tarea de reconocimiento de cultivos, cuando la IA se quedó con un solo sensor, los métodos tradicionales vieron cómo su rendimiento caía unos 40 puntos. Los métodos de los autores descendieron mucho menos, con FullCo cayendo solo unos 24 puntos. En la tarea de reconocimiento de actividades con 19 sensores, el método FullCo mantuvo un alto nivel de precisión incluso cuando la mayoría de los sensores habían desaparecido, superando a muchas otras técnicas de vanguardia.

Qué Significa Esto

El artículo sugiere que, al cambiar el enfoque de simplemente "pegar" los datos a enseñar a las fuentes de datos a colaborar, podemos construir sistemas de IA mucho más robustos. Los autores encontraron que sus métodos superaron consistentemente o igualaron a las mejores técnicas existentes en diferentes escenarios de datos faltantes.

Sin embargo, también señalaron una compensación. El método Co-Miss, aunque excelente para problemas de datos faltantes pequeños, es computacionalmente costoso de entrenar porque tiene que simular cada combinación posible de datos faltantes. Si tienes 10 sensores, ¡eso son más de 1,000 combinaciones para practicar! Por esta razón, recomiendan FullCo para situaciones donde los datos puedan faltar severamente o cuando tengas un gran número de sensores.

En última instancia, este trabajo muestra que el futuro de una IA fiable no es solo tener más datos; es enseñar a los datos que tenemos cómo ayudarse entre sí cuando las cosas salen mal. Ya sea un satélite tratando de ver a través de las nubes o un reloj inteligente tratando de rastrear tu entrenamiento cuando la batería se agota, estas estrategias de co-aprendizaje ofrecen un camino hacia una IA que no se rinde cuando se apagan las luces.

Resumen Técnico: Co-Aprendizaje para la Ausencia de Modalidades Arbitrarias en la Clasificación Multimodal

1. Definición del Problema

La clasificación multimodal aprovecha la información complementaria de diversas fuentes de datos para mejorar el rendimiento predictivo. Sin embargo, las aplicaciones del mundo real a menudo enfrentan una disponibilidad inconsistente de modalidades entre el entrenamiento y la inferencia debido a restricciones operativas (por ejemplo, fallos en los sensores, restricciones de privacidad, factores ambientales como la cobertura de nubes).

Mientras que la investigación previa se ha centrado principalmente en configuraciones bimodales o en el diseño de procesos de fusión robustos (por ejemplo, el Dropout de Modalidad), persiste una brecha significativa en el manejo de la ausencia de modalidades arbitrarias. Este escenario ocurre cuando cualquier subconjunto de las modalidades de entrenamiento puede estar ausente en el momento de la inferencia, abarcando desde la pérdida de una sola modalidad (mínima) hasta la pérdida de todas excepto una (extrema). Los métodos existentes a menudo no logran generalizar más allá de patrones de ausencia específicos o de las restricciones bimodales.

2. Metodología

Los autores proponen un marco de co-aprendizaje multimodal que prioriza la colaboración intermodal sobre la fusión multimodal tradicional. La filosofía central es fomentar que cada modalidad contribuya y se beneficie de las demás, en lugar de depender únicamente de un mecanismo de fusión central.

2.1. Descripción General de la Arquitectura

El marco emplea fusión a nivel de decisión (tardía). Utiliza codificadores dedicados a cada modalidad ( $E_m$ ) para procesar cada entrada $X_m$ . Estos codificadores aprenden explícitamente dos tipos de representaciones de características:

Características Compartidas ( $z^{sha}_m$ ): Características relevantes para la clase que son invariantes entre las modalidades.
Características Específicas ( $z^{spe}_m$ ): Características relevantes para la clase que son únicas de una modalidad específica.

La predicción final se obtiene promediando las estimaciones de probabilidad por modalidad ( $\hat{y}_m$ ).

2.2. Criterios de Aprendizaje

El modelo se optimiza utilizando una combinación de funciones de pérdida a nivel de característica y a nivel de decisión:

A. Aprendizaje a Nivel de Característica (Co-aprendizaje)

Pérdida de Discriminación de Modalidad ( $L_{mod}$ ): Un clasificador auxiliar predice la fuente de la modalidad a partir de las características específicas ( $z^{spe}_m$ ), forzando al modelo a aprender representaciones únicas de la modalidad.
Pérdida Contrastiva Basada en Volumen ( $L_{cont}$ ): Basada en GRAM, esta pérdida minimiza el volumen de la matriz de Gram formada por las características compartidas en todas las modalidades. Esto obliga a que las características compartidas de las diferentes modalidades estén más cerca en el espacio de incrustación (embedding), promoviendo una representación unificada.

B. Aprendizaje a Nivel de Decisión (Destilación de Conocimiento)
Los autores introducen dos estrategias distintas para manejar las modalidades ausentes, lo que resulta en dos métodos propuestos:

Co-Miss (Co-aprendizaje para Ausencia):
- Estrategia: Utiliza Destilación de Ausencia (Missing Distillation).
- Mecanismo: Durante el entrenamiento, el modelo simula exhaustivamente todas las combinaciones posibles de modalidades ausentes ( $2^M - 1$ casos) mediante el Dropout de Modalidad (ModDrop).
- Objetivo: Se fuerza a la predicción derivada de un subconjunto ausente ( $\hat{y}_{miss}$ ) a imitar tanto la verdad de campo (ground truth) como el consenso derivado de los datos de modalidad completa ( $\hat{y}_{full}$ ).
- Pérdida: $L_{miss} = L_{CE}(y, \hat{y}_{miss}) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_{miss})$ .
FullCo (Co-aprendizaje Completo):
- Estrategia: Utiliza Destilación Mutua (Mutual Distillation).
- Mecanismo: Diseñado para condiciones de ausencia extrema. Cada predicción individual por modalidad ( $\hat{y}_m$ ) es entrenada para imitar el consenso de la modalidad completa ( $\hat{y}_{full}$ ) y la verdad de campo.
- Objetivo: Esto asegura que incluso una sola modalidad disponible pueda aproximar el rendimiento del conjunto completo.
- Pérdida: $L_{mut} = \frac{1}{M} \sum L_{CE}(y, \hat{y}_m) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_m)$ .

3. Contribuciones Clave

Generalización a Patrones de Ausencia Arbitrarios: El trabajo aborda el escenario general de "ausencia de modalidades arbitrarias", cubriendo condiciones de ausencia mínima, moderada y extrema, en lugar de restringirse al análisis de configuraciones bimodales.
Marco de Estrategia Dual: La introducción de dos métodos complementarios:
- Co-Miss: Optimizado para condiciones de ausencia mínima (una modalidad ausente).
- FullCo: Optimizado para condiciones de ausencia extrema (todas menos una modalidad ausentes).
Sinergia Característica-Decisión: La integración del aprendizaje contrastivo basado en volumen (nivel de característica) con la destilación de conocimiento (nivel de decisión) para crear representaciones robustas que funcionen eficazmente incluso cuando los datos están incompletos.
Evaluación Exhaustiva: Validación en dos entornos diversos: Multi-CropHarvest (4 modalidades: óptica, radar, meteorológica, topográfica) y HL-Opportunity (19 modalidades de sensores para el reconocimiento de actividad humana).

4. Resultados Experimentales

Los métodos fueron evaluados contra siete competidores del estado del arte y líneas base estándar (unimodal, fusión de características, fusión de decisión).

Multi-CropHarvest (4 Modalidades):
- Co-Miss logró el mejor rendimiento en condiciones de modalidad completa y de ausencia mínima.
- FullCo superó a todos los métodos en condiciones de ausencia moderada y extrema.
- Ambos métodos empataron con el mejor ranking promedio (1.5) en todas las condiciones, superando significativamente a los competidores (ej. DSensD+, DML) con una mejora de aproximadamente 4 puntos en el F1 macro de ausencia respecto al competidor más cercano.
HL-Opportunity (19 Modalidades):
- Debido a la alta redundancia entre 19 sensores, la degradación del rendimiento fue mínima cuando solo faltaba una modalidad.
- FullCo logró los segundos mejores resultados en todas las condiciones (estadísticamente similares al mejor en los casos de modalidad completa y moderada) y el mejor ranking promedio (2.4).
- En condiciones de ausencia extrema, FullCo se mantuvo robusto, mientras que los métodos de línea base sufrieron caídas significativas de rendimiento.
Estudios de Ablación:
- La pérdida contrastiva ( $L_{cont}$ ) fue identificada como el componente más crítico para la robustez.
- La destilación a nivel de decisión fue crucial para manejar condiciones de ausencia severas, mientras que la colaboración a nivel de característica fue clave para las condiciones mínimas/moderadas.
- La pérdida contrastiva basada en volumen demostró ser superior a las pérdidas contrastivas de pares estándar para escenarios de ausencia.

5. Significado y Reivindicaciones

El artículo afirma que las estrategias de co-aprendizaje propuestas mejoran efectivamente la robustez de los modelos de clasificación multimodal en escenarios del mundo real donde la disponibilidad de datos es impredecible.

Fortalezas Complementarias: El estudio destaca que ningún método domina todos los escenarios; Co-Miss sobresale cuando la pérdida de datos es menor, mientras que FullCo es superior cuando la pérdida de datos es severa.
Aplicabilidad Práctica: Los métodos proporcionan una solución viable para dominios como la Observación de la Tierra (donde la cobertura de nubes o los huecos satelitales causan pérdida de datos) y la detección centrada en el humano (donde los sensores pueden fallar o las baterías agotarse).
Limitaciones: Los autores reconocen que Co-Miss tiene una limitación de escalabilidad (complejidad de entrenamiento $O(2^M)$ ) debido a la simulación exhaustiva de los casos de ausencia, lo que convierte a FullCo en el enfoque recomendado para escenarios con muchas modalidades ( $M \ge 10$ ) o condiciones de ausencia extrema.

El trabajo concluye que combinar el co-aprendizaje (intercambio de características) con la destilación de conocimiento (alineación de decisiones) ofrece un enfoque sinérgico para construir sistemas multimodales resilientes capaces de manejar la incompletitud arbitraria de los datos.