3D Foundation Model for Generalizable Disease Detection in Head Computed Tomography

1. O Problema

A Tomografia Computadorizada (TC) de cabeça é o método de imagem de primeira linha em emergências neurológicas devido à sua rapidez, segurança e custo acessível. No entanto, o desenvolvimento de modelos de Inteligência Artificial (IA) robustos para diagnóstico baseado em TC enfrenta barreiras significativas:

• Escassez de Dados Anotados: A obtenção de rótulos de alta qualidade (feitos por radiologistas) é cara e demorada, especialmente para condições menos comuns.
• Limitações de Arquiteturas Atuais: Muitos modelos existentes operam em nível de fatia (2D), ignorando a estrutura 3D intrínseca dos volumes de TC, ou são projetados para tarefas muito específicas, dificultando a generalização.
• Dependência de Rótulos de Nível de Fatia: Modelos que exigem anotações detalhadas em cada fatia da imagem não são escaláveis para cenários clínicos reais, onde geralmente apenas rótulos de nível de paciente (ex: "paciente tem tumor" ou "não tem") estão disponíveis.
• Falta de Modelos Específicos para TC de Cabeça: Modelos de fundação existentes focam em TC abdominal ou utilizam abordagens genéricas que não capturam eficientemente as nuances da anatomia craniana.

2. Metodologia

Os autores desenvolveram o FM-HCT, um modelo de fundação (Foundation Model) para TC de cabeça, utilizando Aprendizado Auto-Supervisionado (SSL).

• Dados de Pré-treinamento:
  • Utilizaram um conjunto massivo de 361.663 exames de TC de cabeça sem contraste (não anotados manualmente) do NYU Langone.
  • Os dados foram padronizados (normalização espacial, interpolação para resolução isotrópica) e pré-processados em janelas de Hounsfield (tecido mole, osso, contraste) para criar volumes 3D de 3 canais.
• Arquitetura do Modelo:
  • Baseado no Vision Transformer (ViT) adaptado para 3D.
  • O volume 3D (96x96x96) é segmentado em 512 patches de tamanho 12x12x12 (uma escolha otimizada para equilibrar desempenho e custo computacional).
  • Arquitetura ViT-Base com dimensão de embedding de 768.
• Estratégias de Pré-treinamento (SSL):
  • Foram comparadas duas abordagens principais:
    1. Distilação Self-Distillation (DINO): Usa um framework estudante-professor para aprender representações robustas através de aumentações de dados (cortes globais e locais, rotações, etc.).
    2. Modelagem de Imagem Mascarada (MAE): Reconstrói patches aleatoriamente mascarados do volume.
  • Resultado: O modelo pré-treinado com DINO superou consistentemente o MAE e foi selecionado como o modelo final.
• Avaliação e Fine-tuning:
  • O modelo foi ajustado (fine-tuned) em 10 tarefas de detecção de doenças (hemorragias, tumores, hidrocefalia, edema, demência, etc.).
  • Os rótulos para o ajuste fino foram derivados de Registros Eletrônicos de Saúde (EHR) usando códigos ICD-10 e medicamentos, permitindo o uso de grandes volumes de dados sem anotação manual direta.
  • A validação foi realizada em conjuntos de dados internos e externos (NYU Long Island, RSNA, CQ500).

3. Contribuições Principais

• Primeiro Modelo de Fundação 3D Específico para TC de Cabeça: Diferente de modelos anteriores focados em abdômen ou em 2D, o FM-HCT explora a estrutura volumétrica completa da TC de cabeça.
• Eficiência de Rótulos (Label Efficiency): Demonstra que é possível treinar modelos de alta performance com quantidades mínimas de dados anotados (aprendizado few-shot), superando modelos treinados do zero.
• Generalização Robusta: O modelo mantém alta performance em dados de distribuição externa (out-of-distribution) e em diferentes protocolos de aquisição de imagem (espessura de fatia, fabricantes de equipamentos).
• Abordagem Unificada: Um único modelo pode ser adaptado para detectar uma vasta gama de patologias neurológicas, desde hemorragias agudas até condições crônicas como demência.

4. Resultados Chave

• Desempenho Superior:
  • O FM-HCT (fine-tuned) superou modelos treinados do zero ("scratch") em 16,07% no macro-AUC em dados internos e em 20,86% em dados externos (NYU Long Island).
  • Superou outros modelos de fundação de TC (Merlin, CT-FM, Google CT Foundation) em todas as comparações diretas, com ganhos relativos de até 13,05% no macro-AUC sobre o Merlin e 9,56% sobre o CT-FM.
• Aprendizado Few-Shot:
  • Com apenas 256 amostras por classe (8 positivos e 8 negativos por doença, totalizando 512 amostras), o modelo alcançou desempenho comparável ao treinamento com o conjunto de dados completo, demonstrando uma capacidade excepcional de generalização com poucos dados.
• Recuperação de Volume (Retrieval):
  • O modelo apresentou melhor desempenho na recuperação de subtipos de hemorragia (Volume-to-Volume Retrieval) em comparação com modelos concorrentes, indicando representações semânticas de alta qualidade.
• Interpretabilidade:
  • Mapas de atenção do ViT mostraram que o modelo aprendeu a focar em regiões anatomicamente relevantes (ex: ventrículos aumentados para demência, áreas de sangramento para hemorragias) após o ajuste fino.

5. Significado e Impacto

• Aplicabilidade Clínica: O modelo oferece uma ferramenta viável para triagem e diagnóstico precoce em emergências, onde o acesso à Ressonância Magnética (MRI) é limitado ou demorado.
• Democratização do Diagnóstico: Ao permitir a detecção de condições complexas (como demência e hidrocefalia) usando apenas TC de cabeça (mais acessível e barato), o modelo pode reduzir disparidades no cuidado de saúde, especialmente em regiões com recursos limitados.
• Paradigma de Dados: O trabalho valida a eficácia de usar grandes conjuntos de dados não anotados (via EHR) para treinar modelos de fundação, contornando o gargalo da anotação manual de radiologistas.
• Futuro: Estabelece um novo padrão para análise de TC 3D, abrindo caminho para o uso de IA em cenários de aprendizado federado e para a previsão de prognósticos (ex: expansão de hematoma).

Em resumo, o FM-HCT representa um avanço significativo na interseção entre aprendizado profundo, medicina e radiologia, demonstrando que modelos de fundação pré-treinados de forma auto-supervisionada podem superar as limitações de dados anotados e oferecer diagnósticos precisos e generalizáveis para uma ampla gama de condições neurológicas.