MedicalRec: Medical recommender system for image classification without retraining

Resumo Técnico: MedicalRec: Sistema de Recomendação Médica para Classificação de Imagens Sem Retreinamento

Definição do Problema
A rápida adoção do aprendizado profundo (DL) na classificação de imagens médicas introduziu desafios computacionais e ambientais significativos. Treinar modelos de última geração exige uma energia substancial, levando a altas emissões de carbono e resíduos eletrônicos. Uma ineficiência primária nos fluxos de trabalho atuais é o processo de "tentativa e erro" que pesquisadores e profissionais enfrentam para selecionar o modelo ideal para um conjunto de dados de imagem médica específico. Esse processo envolve o treinamento e a avaliação de dezenas de modelos para identificar o melhor desempenho, uma prática que exacerba a pegada de carbono e consome tempo e recursos excessivos. Além disso, a falta de um benchmark ou protocolo padronizado para recomendar modelos com base nas características do conjunto de dados força esse ciclo repetitivo e intensivo em recursos.

Metodologia
Para enfrentar esses desafios, os autores propõem o MedicalRec, um sistema de recomendação baseado em Transformer projetado para prever o modelo de aprendizado de máquina mais adequado para uma tarefa de classificação de imagem médica sem a necessidade de retreinamento.

1. Construção do Conjunto de Dados (MedicalRec-Bench):
   A base do estudo é um novo conjunto de dados, o MedicalRec-Bench, compilado de 3.000 artigos científicos na área de classificação de imagens médicas. Este conjunto de dados contém mais de 5.000 registros de modelos testados em várias tarefas, incluindo classificação de Câncer de Pele, Tumor, Ferida, Câncer de Mama e Ressonância Magnética (MRI).

   • Características: O conjunto de dados inclui metadados como títulos, resumos, palavras-chave e características estatísticas (ex: tamanho da amostra, dimensões da imagem, número de classes), além de métricas de desempenho (Acurácia, Precisão, Recall, F1, AUC).
   • Versões: Dev devido ao desafio da não-notificação pelos autores originais (resultando em valores ausentes significativos), o conjunto de dados foi lançado em quatro versões com contagens de características variadas: MedicalRec I (5 características), II (9 características), III (11 características) e IV (18 características).
   • Pré-processamento de Dados: Valores ausentes (representados por 0.0) foram imputados usando as médias das colunas. Os dados textuais (Nomes dos Modelos) foram incorporados via BERT, enquanto as características numéricas foram utilizadas diretamente.

2. Arquitetura do Modelo:
   O MedicalRec é formulado como um problema de recomendação sequencial onde:

   • Usuário/Cenário: Uma tarefa de classificação específica definida pelas características do conjunto de dados (ex: tamanho da imagem, número de classes).
   • Item: Uma arquitetura de modelo específica (ex: ResNet-50, VGG-16).
   • Pontuação (Score): A métrica de desempenho (principalmente Acurácia).

   O modelo utiliza uma arquitetura Transformer inspirada no BERT4Rec. Ele emprega:

   • Camada de Embedding: Converte as características de entrada em vetores contínuos.
   • Codificador Transformer: Consiste em 12 camadas, cada uma com 12 cabeças de autoatenção (self-attention), para capturar dependências entre as características de entrada e o desempenho do modelo.
   • Embeddings Posicionais: Adicionados para preservar informações temporais/sequenciais.
   • Camada de Saída: Uma função Softmax classifica as recomendações de modelos probabilisticamente.
   • Objetivo de Treinamento: O modelo é treinado usando uma tarefa de predição de item mascarado (tarefa Cloze), onde uma proporção de itens de entrada é mascarada, e o modelo os prevê usando uma rede feed-forward de duas camadas com ativação GELU.

Principais Contribuições

• MedicalRec-Bench: A criação do primeiro conjunto de dados publicamente disponível especificamente projetado para recomendação de modelos em classificação de imagens médicas, agregando dados de 3.000 artigos.
• Modelo MedicalRec: O desenvolvimento de um sistema de recomendação baseado em Transformer que mapeia as características do conjunto de dados para arquiteturas de modelos ideais, eliminando a necessidade de retreinamento exaustivo.
• Avaliação Abrangente: Uma avaliação rigorosa do modelo proposto contra 12 modelos de base (incluindo Filtragem Colaborativa, Baseada em Conteúdo, SVD, LSTM, GRU, IndRNN, LLM e modelos focados em Equidade/Fairness) através de quatro configurações de dataset.

Resultos
O estudo avaliou os modelos usando Precision@K, Recall@K, F1@K, Ganho Acumulado Descontado (DCG) e HitRate@K.

• Desempenho: O modelo MedicalRec proposto alcançou desempenho superior em todas as versões do dataset (I–IV). Na configuração mais abrangente (MedicalRec IV), alcançou um HitRate@100 de 75,50%, um Recall de 9,80% e uma Precisão de 10,50%.
• Comparação: O MedicalRec superou consistentemente os métodos clássicos (Filtragem Colaborativa, SVD) e as bases de aprendizado profundo (LSTM, GRU, IndRNN). Embora os modelos "Fair" e "Multi-modal" tenham mostrado resultados competitivos em métricas específicas (ex: DCG@5), o MedicalRec manteu as pontuações mais altas no geral, particularmente em listas de recomendação mais longas (D@50 a D@100).
• Estudos de Ablação:
  • Funções de Ativação: Descobriu-se que a ReLU produziu os maiores escores de F1@100 em todas as versões do dataset.
  • Dropout: As taxas de dropout ideais variaram conforme a complexidade do dataset (0.7 para MedicalRec I; 0.5 para II, III e IV).
• Significância Estatística: A validação cruzada k-fold (5-fold) no MedicalRec IV confirmou a estabilidade do modelo, com HitRate@100 variando entre 75,22% e 76,50%. Testes t (P-valores) indicaram que a diferença de desempenho entre o MedicalRec e todos os outros modelos foi estatisticamente significativa (P < 0,05).

Significância e Alegações
O artigo afirma que o MedicalRec oferece uma solução prática para reduzir o impacto ambiental do desenvolvimento de IA médica. Ao recomendar o modelo ideal com base nas características do conjunto de dados, o sistema visa eliminar a necessidade de pesquisadores treinarem múltiplos modelos candidatos, economizando assim energia e reduzindo as emissões de carbono. Os autores enfatizam que este é o primeiro trabalho a utilizar características estatísticas de literatura existente para construir um sistema de recomendação de modelos para imagens médicas. O conjunto de dados e a implementação são disponibilizados publicamente para facilitar pesquisas futuras, observando os autores que trabalhos futuros poderiam abordar desafios como valores iniciais zero, imputação de dados ausentes e desbalanceamento de classes.