Challenges and proposed solutions in modeling multimodal medical data: A systematic review

Imagina que estás intentando resolver un rompecabezas masivo y complejo, pero en lugar de tener solo una caja de piezas, tienes varias cajas. Una caja contiene imágenes coloridas (como escaneos médicos), otra tiene largas listas de números (como códigos genéticos), una tercera contiene entradas de diarios diarios (como registros de pacientes) y una cuarta tiene datos de un reloj inteligente (como la frecuencia cardíaca). En el mundo de la ciencia médica, esto se llama datos multimodales. "Multi" significa muchos, y "modal" se refiere a los diferentes tipos o "modos" de información. Los médicos siempre han sabido que mirar solo un tipo de información —como solo la radiografía o solo el análisis de sangre— es como intentar entender una película completa mirando un solo fotograma. Para obtener la historia completa de la salud de un paciente, es necesario combinar todas estas diferentes piezas.

Sin embargo, mezclar estas diferentes cajas de rompecabezas es increíblemente difícil. Las piezas no encajan de forma natural; son de diferentes formas, tamaños y colores. Algunas cajas carecen de piezas por completo, otras tienen miles de piezas diminutas mientras que otras tienen solo unas pocas, y a veces las piezas son tan pequeñas o la imagen es tan borrosa que es difícil entender qué está pasando. Este es el problema que los científicos en el campo de la Inteligencia Artificial (IA) están tratando de resolver. Están construyendo programas informáticos que pueden aprender a juntar estas diferentes cajas de rompecabezas para ayudar a los médicos a tomar mejores decisiones. Pero antes de poder construir el robot resolutor de rompecabezas perfecto, tienen que averiguar cómo lidiar con el desorden del mundo real.

Este documento es un gigantesco "boletín de notas" de la última década de intentos por resolver este rompecabezas. Los autores, un equipo de investigadores de universidades de Alemania, no construyeron un nuevo robot ellos mismos. En su lugar, actuaron como detectives, rastreando 69 estudios diferentes publicados entre 2011 y finales de 2023. Leyeron cada uno de ellos para descubrir qué problemas encontraron estos científicos al intentar mezclar datos médicos y, lo que es más importante, qué trucos usaron para solucionar esos problemas. Querían saber: ¿Cuáles son los mayores dolores de cabeza en este campo y estamos mejorando en la resolución de los mismos?

Los cinco grandes dolores de cabeza

Después de clasificar cientos de artículos, el equipo descubrió que casi todos luchaban las mismas cinco batallas.

1. El problema de la pieza faltante
Imagina que estás intentando resolver el rompecabezas, pero para algunos pacientes, la caja de la "radiografía" está completamente vacía. Tal vez la máquina se rompió, el paciente no pudo costear la prueba o abandonó el estudio. En el mundo real, esto sucede todo el tiempo. El artículo encontró que 15 de los 69 estudios (alrededor del 22%) tuvieron que lidiar con esto.

• La solución: En lugar de simplemente adivinar o dejar el espacio en blanco, los programas informáticos inteligentes están aprendiendo a "alucinar" la pieza faltante. Utilizan técnicas como las Redes Generativas Antagónicas (GANs), que son como dos artistas de IA jugando un juego: uno intenta dibujar una radiografía falsa que parezca real, y el otro intenta detectar el falso. A través de esta práctica, la IA aprende a crear una suposición realista para los datos faltantes. Otros métodos utilizan la destilación de conocimiento, donde una IA "maestra" que lo sabe todo sobre un tipo de dato le enseña a una IA "estudiante" cómo adivinar el resto, incluso si no ha visto todas las piezas.

2. El problema de la multitud diminuta
A veces, tienes un rompecabezas, pero solo tienes a un puñado de personas para ayudarte a resolverlo. En la investigación médica, esto se llama un conjunto de datos pequeño. El artículo encontró que este era el desafío más común, apareciendo en 17 estudios (25%). Si intentas enseñar a una computadora a reconocer una enfermedad rara con solo cinco ejemplos, es probable que simplemente memorice esas cinco imágenes y falle cuando vea una nueva.

• La solución: Para superar esto, los investigadores están utilizando el Aprendizaje por Transferencia (Transfer Learning). Esto es como tomar a un estudiante que ya ha estudiado durante un millón de horas sobre imágenes generales (como gatos y coches) y darle un curso intensivo rápido sobre imágenes médicas. También utilizan el Aumento de Datos (Data Augmentation), donde la computadora toma las pocas imágenes que tiene y las gira, voltea o ilumina artificialmente para crear "nuevas" imágenes de práctica, haciendo que la multitud diminuta se sienta como un gran estadio.

3. El problema del desajuste de tamaño
Imagina intentar mezclar un cubo de arena con un solo grano de arroz. El cubo de arena representa los datos de imagen (que pueden tener millones de píxeles), y el grano de arroz representa los datos genómicos (que pueden tener solo unos pocos miles de números). Si simplemente los viertes juntos, la computadora ignorará el arroz y solo mirará la arena. Esto se llama desequilibrio en la dimensionalidad, y 7 estudios abordaron este problema.

• La solución: La solución es encoger el cubo de arena hasta el tamaño del arroz, o darle al arroz un "peso" especial para que la computadora le preste atención. Los investigadores utilizan funciones de pérdida ponderadas, que son como un árbitro gritando: "¡Oye, no ignores los datos pequeños! ¡Son importantes!". Esto obliga a la computadora a escuchar tanto a las imágenes gigantes como a las pequeñas listas genéticas por igual.

4. El problema de la "Caja Negra"
Incluso cuando la computadora resuelve el rompecabezas perfectamente, a menudo se niega a explicar cómo lo hizo. En medicina, esto es peligroso. Si una computadora dice: "Este paciente tiene cáncer", pero no puede decirle al médico por qué, el médico no puede confiar en ella. Esta falta de interpretabilidad fue un desafío en 14 estudios.

• La solución: Los científicos están construyendo "linternas" para la IA. Utilizan herramientas como Grad-CAM y SHAP, que resaltan exactamente qué partes de una radiografía o qué genes específicos miró la computadora para tomar su decisión. Es como si la computadora dibujara un círculo alrededor del punto sospechoso en la radiografía y dijera: "Vi esto, así que tomé mi decisión".

5. El problema de la estrategia de mezcla
Finalmente, está la cuestión de cómo mezclar los datos. ¿Deberías mezclar las piezas brutas primero (Fusión Temprana), mezclarlas después de que estén parcialmente resueltas (Fusión Intermedia), o resolverlas por separado y combinar las respuestas al final (Fusión Tardía)? El artículo encontró que 39 de los 69 estudios (más de la mitad) utilizaron la Fusión Intermedia.

• La solución: Este enfoque es como tener un equipo de especialistas. El experto en radiografías y el experto en análisis de sangre estudian sus propias pistas primero, luego se reúnen en medio para comparar notas antes de tomar una decisión final. Esto parece funcionar mejor que mezclar todo al principio o esperar hasta el mismísimo final.

Lo que el artículo dice (y lo que no dice)

Los autores son cuidadosos de no declarar una victoria total. Encontraron que, si bien hay muchos trucos ingeniosos, ningún método es la solución mágica que funcione para cada enfermedad o cada tipo de dato. La mejor solución depende enteramente del rompecabezas específico que se intente resolver.

También descartaron explícitamente algunas ideas. Por ejemplo, señalaron que simplemente pegar todos los datos sin pensar en las diferencias (un método llamado "Fusión Temprana") a menudo falla cuando los tipos de datos son demasiado diferentes, como mezclar un video con una hoja de cálculo. También señalaron que muchos estudios dependen de conjuntos de datos públicos (como la Iniciativa de Neuroimagen de la Enfermedad de Alzheimer, utilizada en 18 estudios, o el Atlas del Genoma del Cáncer, utilizado en 8). Aunque estos son excelentes para realizar pruebas, el artículo sugiere que depender demasiado de ellos podría significar que no estamos probando nuestras ideas con los datos desordenados del mundo real que se encuentran en los hospitales reales.

Además, el artículo destaca una brecha preocupante: solo 19 de los 69 estudios (27.5%) compartieron tanto sus datos como su código informático. Esto significa que, para la mayoría de estas soluciones ingeniosas, otros científicos no pueden verificar fácilmente el trabajo o construir sobre él. Los autores sugieren que el campo necesita ser más abierto, como compartir una receta en lugar de solo el pastel final.

La conclusión

Esta revisión sugiere que estamos progresando, pero el camino sigue siendo accidentado. Los problemas más frecuentes son la falta de datos y no tener suficientes ejemplos para aprender. Las herramientas más prometedoras en este momento implican enseñar a las computadoras a adivinar las piezas faltantes, tomar conocimientos de otras tareas y usar "linternas" para ver cómo piensan.

El artículo concluye que el futuro no se trata de encontrar un algoritmo perfecto. En cambio, se trata de construir sistemas flexibles que puedan manejar piezas faltantes, trabajar con multitudes pequeñas y explicar su razonamiento. Como dicen los autores, el objetivo es pasar de simplemente "crear modelos" a crear modelos que sean robustos, confiables y estén listos para ayudar a los médicos reales en los hospitales reales. Hasta entonces, el rompecabezas sigue siendo un trabajo en progreso, pero definitivamente estamos mejorando en la búsqueda de las piezas.