Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes

Este artigo apresenta uma abordagem inovadora de otimização multiobjetivo que determina automaticamente o momento, a seleção e o método de fusão de redes neurais profundas unimodais para prever resultados do COVID-19, alcançando resultados state-of-the-art e robustez na validação externa ao integrar dados de radiografias de tórax e informações clínicas.

O essencial

Imagine que você é um médico tentando prever se um paciente com COVID-19 vai ficar doente de leve ou se a situação vai ficar grave. Para tomar essa decisão, você não olha apenas para uma coisa. Você olha para o raio-X do pulmão (a imagem) e também conversa com o paciente para saber a temperatura, a dificuldade para respirar e outros dados clínicos.

O problema é que, na inteligência artificial (IA), muitas vezes os computadores são "cegos" para essa combinação. Eles olham só para a imagem ou só para os números, mas não conseguem misturar as duas coisas da melhor maneira possível.

Este artigo apresenta uma solução inteligente para esse problema. Vamos explicar como funciona usando uma analogia simples: O Grande Concurso de Detetives.

1. O Problema: Como montar o time perfeito?

Imagine que você precisa montar um time de detetives para resolver um crime complexo.

• Você tem vários tipos de especialistas: alguns são ótimos em analisar fotos (Redes Neurais de Imagem), outros são ótimos em analisar relatórios escritos (Redes Neurais de Dados Clínicos).
• Você tem muitos candidatos para cada cargo.
• A grande dúvida é: Quem você escolhe? Quando você junta as informações deles? E como você faz eles trabalharem juntos?

Antes, os cientistas escolhiam os "melhores" especialistas de cada área manualmente e os juntavam de um jeito fixo. Mas isso nem sempre funciona, porque o "melhor" de um lado pode não combinar bem com o "melhor" do outro.

2. A Solução: O "Torneio de Pareto"

Os autores criaram um método novo que funciona como um torneio de seleção automatizado. Em vez de escolher manualmente, o computador testa milhares de combinações possíveis de detetives (modelos de IA) e usa uma régua mágica chamada Otimização Multi-objetivo.

Essa régua mede duas coisas ao mesmo tempo:

1. Quão bom o time é em acertar o resultado? (Desempenho).
2. Quão diferentes são as opiniões dos membros do time? (Diversidade).

A analogia da diversidade: Se você tem 10 detetives e todos eles olham para a mesma foto e dizem "é o suspeito A", isso é bom, mas se todos estiverem errados juntos, o time falha. O ideal é ter um time onde, se um erra, o outro acerta. O sistema procura o equilíbrio perfeito: um time que acerta muito e onde os membros têm pontos de vista diferentes para se complementar.

3. O Resultado: A "Fusão Tardia" Inteligente

Depois de escolher o time vencedor (que neste caso foi uma mistura de 3 modelos de análise de imagem e 1 modelo de análise de dados clínicos), o sistema decide como eles falam entre si.

Eles não misturam tudo no começo (o que seria bagunçado). Eles deixam cada especialista trabalhar sozinho até o final, onde cada um dá sua "opinião" (uma previsão). Só então, essas opiniões são jogadas em uma "caixa de decisão" final (uma camada neural simples) que pondera quem é mais importante.

É como se cada detetive escrevesse um relatório final, e um chefe inteligente lêsse todos os relatórios e tirasse a conclusão final, dando mais peso para quem tem mais experiência naquele caso específico.

4. O Grande Trunfo: "Explicando o Mistério" (XAI)

Um dos maiores problemas da IA é que ela é uma "caixa preta": ela dá a resposta, mas não diz o porquê. Os autores adicionaram uma camada de Inteligência Artificial Explicável (XAI).

Isso permite que o médico veja:

• Quem falou mais alto? O sistema mostra que, neste caso, os modelos de imagem (raio-X) foram um pouco mais importantes que os dados clínicos, mas o modelo de dados clínicos (MLP-2) foi o mais importante de todos os indivíduos.
• O que eles viram? O sistema consegue "acender" as partes do raio-X que mais chamaram a atenção da IA (mostrando manchas nos pulmões) e destacar quais dados do paciente (como falta de ar ou baixo oxigênio) foram decisivos.

5. O Veredito

Quando testaram esse método no banco de dados público "AIforCOVID", o resultado foi impressionante:

• Mais preciso: Superou todos os métodos anteriores (o "estado da arte").
• Mais resistente: Funcionou bem mesmo quando testado com dados de hospitais diferentes (o que é difícil para IAs).
• Mais transparente: Os médicos podem confiar mais porque entendem a lógica por trás da decisão.

Em resumo:
Os autores criaram um "maestro" de IA que não apenas escolhe os melhores músicos (modelos) para cada instrumento (imagem ou dados), mas também decide a melhor hora e forma de eles tocarem juntos, garantindo uma sinfonia perfeita para salvar vidas, tudo isso enquanto explica a música para que todos entendam.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Otimização Multi-objetivo determina quando, quais e como fundir redes profundas: uma aplicação para prever desfechos de COVID-19

1. Problema e Contexto

A pandemia de COVID-19 exigiu o desenvolvimento de métodos de Inteligência Artificial (IA) capazes de prever a progressão da doença e estratificar pacientes (leves vs. graves). Embora a aprendizagem profunda (Deep Learning - DL) tenha mostrado desempenho superior em campos médicos, a maioria das abordagens atuais utiliza apenas dados unimodais (apenas imagens ou apenas dados clínicos).
O aprendizado multimodal (MDL) é inerentemente necessário, pois a interpretação de dados médicos combina imagens (como Radiografias de Tórax - CXR) e informações clínicas. No entanto, existem três desafios abertos no MDL que este artigo visa resolver:

1. Quando fundir as modalidades? (Fusão precoce, tardia ou intermediária).
2. Quais arquiteturas de rede neural devem ser fundidas? (Seleção do melhor modelo para cada modalidade).
3. Como fundi-las? (Métodos de combinação de características ou decisões).

A abordagem tradicional de "fazer à mão" (handcrafted) para combinar modelos não garante a melhor arquitetura ensemble e ignora interações complexas entre modelos e modalidades.

2. Metodologia Proposta

Os autores propõem uma nova abordagem de fusão conjunta end-to-end otimizada por otimização multi-objetivo de Pareto. O método funciona em quatro etapas principais:

• Aprendizado Unimodal:

  • Treina-se múltiplos modelos candidatos para cada modalidade.
  • Para imagens (CXR): 30 CNNs diferentes (incluindo AlexNet, VGG, ResNet, DenseNet, GoogLeNet, etc.).
  • Para dados clínicos (tabulares): 4 MLPs (Redes Neurais Perceptron Multicamada) com profundidades variadas.
  • Define-se uma matriz de aplicação $\Theta$ que mapeia quais modelos processam quais modalidades.

• Otimização Multi-objetivo (Seleção de Arquitetura):

  • O objetivo é encontrar o subconjunto ótimo de modelos ($\Gamma^*$) para combinar.
  • Utiliza-se um problema de otimização multi-objetivo para maximizar duas métricas simultaneamente em um conjunto de validação:
    1. Desempenho de Classificação: Medido pela acurácia (ou métrica derivada da matriz de confusão).
    2. Diversidade: Medida pelo coeficiente de correlação entre os erros dos modelos candidatos (busca-se modelos que cometam erros diferentes).
  • A solução ótima é um ponto de Pareto que equilibra alta precisão e alta diversidade, descartando modalidades ou modelos inúteis.

• Fusão Joint-Late (Fusão Conjunta-Tardia):

  • Em vez de fundir características brutas (fusão precoce) ou apenas decisões finais por votação (fusão tardia simples), o método propõe uma fusão joint-late.
  • Os vetores de classificação (probabilidades de classe) de cada modelo selecionado em $\Gamma^*$ são concatenados para formar uma representação compartilhada (suave ou "crisp").
  • Esta representação é alimentada em uma camada final de rede neural totalmente conectada (FC) que realiza a fusão intermediária e a classificação final.
  • O sistema é treinado de ponta a ponta (end-to-end) para minimizar a perda global.

• Explicabilidade (XAI):

  • O método integra algoritmos de IA Explicável (XAI).
  • Utiliza-se os pesos aprendidos na camada de fusão para ponderar as importâncias dos modelos individuais.
  • Aplica-se algoritmos específicos (como Grad-CAM para imagens e Integrated Gradients para dados tabulares) a cada sub-rede e combina-se os resultados ponderados para gerar um mapa de importância unificado por modalidade.

3. Contribuições Principais

1. Seleção Automática de Arquitetura: Diferente de métodos anteriores que escolhem manualmente o "melhor" modelo por modalidade, este trabalho usa otimização para encontrar a combinação ótima de múltiplos modelos de diferentes famílias.
2. Abordagem Joint-Late: Propõe uma estratégia de fusão que combina a flexibilidade da fusão tardia (decisões) com o treinamento end-to-end da fusão conjunta, permitindo que a rede aprenda a melhor forma de agregar as previsões.
3. Hierarquia de Modalidades e Recursos: Através da XAI ponderada, o método não apenas explica a decisão, mas estabelece uma hierarquia de importância entre as modalidades (ex: CXR vs. Clínicos) e entre os modelos dentro da mesma modalidade.
4. Validação Robusta: O método foi testado com validação cruzada estratificada, validação "leave-one-center-out" (LOCO) e validação externa em um conjunto de dados independente.

4. Resultados

O método foi testado no conjunto de dados público AIforCOVID (820 pacientes para treino/validação e 283 para validação externa).

• Desempenho: A abordagem proposta (especificamente a configuração JLF-C-1, que usa fusão de vetores "crisp" e uma camada FC simples) alcançou resultados de state-of-the-art.
  • Acurácia (CV): ~79.75%
  • Acurácia (LOCO): ~77.86%
  • Acurácia (Validação Externa): ~77.61%
• Comparação: O método superou significativamente (p < 0.05) as abordagens de baseline do conjunto de dados (HC, HYB, ETE) e outras técnicas de fusão (fusão tardia por votação majoritária, concatenação direta de características, produto multiplicativo).
• Seleção de Modelos: O algoritmo selecionou automaticamente uma combinação de 3 CNNs (GoogLeNet, VGG13-BN, ResNeXt50) e 1 MLP (MLP-2).
• Análise de Importância:
  • A modalidade de imagem (CXR) teve maior peso global (59%) do que a clínica (41%).
  • Dentro da modalidade clínica, "dificuldade de respiração" e "percentual de oxigênio no sangue" foram os fatores mais críticos.
  • A fusão de múltiplos modelos mostrou-se estatisticamente superior ao uso de um único modelo unimodal.

5. Significância e Conclusão

Este trabalho demonstra que a otimização multi-objetivo é uma ferramenta poderosa para resolver os desafios de "quando, quais e como" fundir redes neurais em cenários médicos complexos.

• Robustez: O modelo mantém bom desempenho em dados de centros não vistos, indicando alta generalização.
• Transparência: A integração com XAI aumenta a confiança dos médicos na IA, fornecendo justificativas baseadas em dados para as previsões de gravidade.
• Impacto: Oferece um framework reprodutível que pode ser aplicado a outros conjuntos de dados multimodais e sugere futuras direções para aprendizado federado e redução de custos computacionais.

Em resumo, o artigo apresenta um avanço significativo na estratificação de pacientes com COVID-19, superando métodos existentes ao automatizar a seleção e fusão de arquiteturas profundas heterogêneas, garantindo tanto alta precisão quanto interpretabilidade clínica.