Challenges and proposed solutions in modeling multimodal medical data: A systematic review

Imagine que você está tentando resolver um quebra-cabeça enorme e complexo, mas em vez de ter apenas uma caixa de peças, você tem várias caixas. Uma caixa contém imagens coloridas (como exames médicos), outra tem listas longas de números (como códigos genéticos), uma terceira contém registros de diários diários (como prontuários de pacientes) e uma quarta tem dados de um smartwatch (como frequência cardíaca). No mundo da ciência médica, isso é chamado de dados multimodais. "Multi" significa muitos, e "modal" refere-se aos diferentes tipos ou "modos" de informação. Os médicos sempre souberam que olhar para apenas um tipo de informação — como apenas o raio-X ou apenas o exame de sangue — é como tentar entender um filme inteiro olhando para um único quadro. Para obter a história completa da saúde de um paciente, você precisa combinar todas essas diferentes peças.

No entanto, misturar essas diferentes caixas de quebra-cabeça é incrivelmente difícil. As peças não se encaixam naturalmente; elas têm formas, tamanhos e cores diferentes. Algumas caixas estão faltando peças inteiras, algumas têm milhares de peças minúsculas enquanto outras têm apenas algumas, e às vezes as peças são tão pequenas ou a imagem é tão borrada que é difícil entender o que está acontecendo. Este é o problema que os cientistas no campo da Inteligência Artificial (IA) estão tentando resolver. Eles estão construindo programas de computador que podem aprender a montar esses diferentes quebra-cabeças para ajudar os médicos a tomar melhores decisões. Mas antes de construir o robô resolvedor de quebra-cabeças perfeito, eles precisam descobrir como lidar com a bagunça do mundo real.

Este artigo é um grande "boletim escolar" da última década de tentativas de resolver este quebra-cabeça. Os autores, uma equipe de pesquisadores de universidades da Alemanha, não construíram um novo robô por conta própria. Em vez disso, atuaram como detetives, caçando 69 estudos diferentes publicados entre 2011 e o final de 2023. Eles leram cada um deles para descobrir quais problemas esses cientistas enfrentaram ao tentar misturar dados médicos e, mais importante, quais truques usaram para corrigir esses problemas. Eles queriam saber: Quais são as maiores dores de cabeça neste campo e estamos melhorando na resolução delas?

As Cinco Grandes Dores de Cabeça

Após analisar centenas de artigos, a equipe descobriu que quase todos estavam lutando as mesmas cinco batalhas.

1. O Problema da Peça Faltante
Imagine que você está tentando resolver o quebra-cabeça, mas para alguns pacientes, a caixa do "raio-X" está completamente vazia. Talvez a máquina tenha quebrado, o paciente não tenha podido pagar pelo teste ou tenha abandonado o estudo. No mundo real, isso acontece o tempo todo. O artigo descobriu que 15 dos 69 estudos (cerca de 22%) tiveram que lidar com isso.

• A Correção: Em vez de apenas adivinhar ou deixar o espaço em branco, programas de computador inteligentes estão aprendendo a "alucinar" a peça faltante. Eles usam técnicas como Redes Adversárias Generativas (GANs), que são como dois artistas de IA jogando um jogo: um tenta desenhar um raio-X falso que pareça real, e o outro tenta detectar o falso. Através dessa prática, a IA aprende a criar um palpite realista para o dado ausente. Outros métodos usam a destilação de conhecimento, onde uma IA "professor" que sabe tudo sobre um tipo de dado ensina uma IA "aluno" a adivinhar o restante, mesmo que ela não tenha visto todas as peças.

2. O Problema da Multidão Minúscula
Às vezes, você tem um quebra-cabeça, mas tem apenas um punhado de pessoas para ajudá-lo a resolvê-lo. Na pesquisa médica, isso é chamado de conjunto de dados pequeno (small dataset). O artigo descobriu que este foi o desafio mais comum, aparecendo em 17 estudos (25%). Se você tentar ensinar um computador a reconhecer uma doença rara com apenas cinco exemplos, ele provavelmente apenas memorizará aquelas cinco imagens e falhará quando vir uma nova.

• A Correção: Para contornar isso, os pesquisadores estão usando o Aprendizado por Transferência (Transfer Learning). Isso é como pegar um aluno que já estudou por um milhão de horas sobre imagens gerais (como gatos e carros) e dar a ele um curso intensivo rápido sobre imagens médicas. Eles também usam a Aumento de Dados (Data Augmentation), onde o computador pega as poucas imagens que possui e artificialmente as gira, inverte ou brilha para criar "novas" imagens de prática, fazendo com que a multidão minúscula pareça um estádio lotado.

3. O Problema do Descompasso de Tamanho
Imagine tentar misturar um balde de areia com um único grão de arroz. O balde de areia representa os Dados de Imagem (que podem ter milhões de pixels), e o grão de arroz representa os Dados Genômicos (que podem ter apenas alguns milhares de números). Se você apenas despejá-los juntos, o computador ignorará o arroz e olhará apenas para a areia. Isso é chamado de desequilíbrio de dimensionalidade, e 7 estudos abordaram isso.

• A Correção: A solução é encolher o balde de areia até o tamanho do arroz, ou dar ao arroz um "peso" especial para que o computador preste atenção nele. Os pesquisadores usam funções de perda ponderadas (weighted loss functions), que são como um árbitro gritando: "Ei, não ignore o dado pequeno! Ele é importante!" Isso força o computador a ouvir tanto as imagens gigantes quanto as listas genéticas minúsculas igualmente.

4. O Problema da "Caixa Preta"
Mesmo quando o computador resolve o quebra-cabeça perfeitamente, ele frequentemente se recusa a explicar como o fez. Na medicina, isso é perigoso. Se um computador diz: "Este paciente tem câncer", mas não consegue dizer ao médico por que, o médico não pode confiar nele. Essa falta de interpretabilidade foi um desafio em 14 estudos.

• A Correção: Cientistas estão construindo "lanternas" para a IA. Eles usam ferramentas como Grad-CAM e SHAP, que destacam exatamente quais partes de um raio-X ou quais genes específicos o computador olhou para tomar sua decisão. É como se o computador desenhasse um círculo ao redor do ponto suspeito no raio-X e dissesse: "Eu vi isso, então tomei minha decisão".

5. O Problema da Estratégia de Mistura
Finalmente, há a questão de como misturar os dados. Deve-se misturar as peças brutas primeiro (Fusão Precoce/Early Fusion), misturá-las depois que forem parcialmente resolvidas (Fusão Intermediária/Intermediate Fusion) ou resolver cada uma separadamente e combinar as respostas no final (Fusão Tardia/Late Fusion)? O artigo descobriu que 39 dos 69 estudos (mais da metade) usaram a Fusão Intermediária.

• A Correção: Esta abordagem é como ter uma equipe de especialistas. O especialista em raio-X e o especialista em exames de sangue estudam suas próprias pistas primeiro, e então se encontram no meio para comparar notas antes de tomar uma decisão final. Isso parece funcionar melhor do que misturar tudo no início ou esperar até o fim.

O Que o Artigo Diz (e o Que Não Diz)

Os autores são cuidadosos em não declarar uma vitória total. Eles descobriram que, embora existam muitos truques inteligentes, não existe um método único que seja a solução mágica que funcione para cada doença ou cada tipo de dado. A melhor solução depende inteiramente do quebra-cabeça específico que você está tentando resolver.

Eles também descartaram explicitamente algumas ideias. Por exemplo, observaram que simplesmente colar todos os dados juntos sem pensar nas diferenças (um método chamado "Fusão Precoce") frequentemente falha quando os tipos de dados são muito diferentes, como misturar um vídeo com uma planilha. Eles também apontaram que muitos estudos dependem de conjuntos de dados públicos (como o Alzheimer's Disease Neuroimaging Initiative, usado em 18 estudos, ou o Cancer Genome Atlas, usado em 8). Embora estes sejam ótimos para testes, o artigo sugere que depender demais deles pode significar que não estamos testando nossas ideias nos dados desordenados do mundo real encontrados em hospitais reais.

Além disso, o artigo destaca uma lacuna preocupante: apenas 19 dos 69 estudos (27,5%) compartilharam tanto seus dados quanto seu código de computador. Isso significa que, para a maioria dessas soluções inteligentes, outros cientistas não podem facilmente verificar o trabalho ou construir sobre ele. Os autores sugerem que o campo precisa ser mais aberto, como compartilhar uma receita em vez de apenas o bolo final.

A Conclusão

Este artigo sugere que estamos progredindo, mas a estrada ainda é acidentada. Os problemas mais frequentes são os dados ausentes e não ter exemplos suficientes para aprender. As ferramentas mais promissoras no momento envolvem ensinar computadores a adivinhar peças perdidas, pegar emprestado conhecimento de outras tarefas e usar "lanternas" para ver como eles pensam.

O artigo conclui que o futuro não é encontrar um algoritmo perfeito. Em vez disso, trata-se de construir sistemas flexíveis que possam lidar com peças faltando, trabalhar com multidões pequenas e explicar seu raciocínio. Como os autores colocam, o objetivo é passar de apenas "criar modelos" para criar modelos que sejam robustos, confiáveis e prontos para ajudar médicos reais em hospitais reais. Até lá, o quebra-cabeça continua sendo um trabalho em progresso, mas certamente estamos ficando melhores em encontrar as peças.