Cross-Scanner Reliability of Brain MRI Foundation Model Embeddings: A Travelling-Heads Study

Este estudo demonstra que a confiabilidade das representações de modelos fundamentais de ressonância magnética cerebral entre diferentes scanners depende fundamentalmente da estratégia de pré-treinamento, sendo que modelos que incorporam metadados biológicos no objetivo de aprendizado superam os modelos puramente auto-supervisionados e atingem níveis de reprodutibilidade comparáveis ou superiores aos métodos tradicionais.

O essencial

Imagine que você tem um grupo de amigos (os cérebros) e quer tirar fotos deles para criar um álbum de memórias digital. O problema é que você não tem uma única câmera, mas sim oito câmeras diferentes de marcas distintas (Siemens, Philips, GE), cada uma com suas próprias lentes, filtros e cores.

O objetivo deste estudo foi verificar se as "impressões digitais" digitais que a Inteligência Artificial (IA) cria a partir dessas fotos são confiáveis, independentemente de qual câmera foi usada.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Grande Problema: A "Voz" da Câmera

Nós temos modelos de IA modernos (chamados "Modelos Fundamentais") que aprendem a entender cérebros olhando para milhares de exames de ressonância magnética. A ideia é que, ao olhar para um cérebro, a IA deve identificar a biologia (a pessoa, a doença, a idade).

Mas, e se a IA, sem querer, aprender a identificar a câmera?

• Se eu tirar uma foto do meu amigo João com a câmera A, a IA diz "Isso é o João".
• Se eu tirar a mesma foto do João com a câmera B, a IA diz "Isso parece diferente, talvez não seja o João".

Isso é perigoso. Se a IA estiver focada na marca da câmera em vez da pessoa, ela pode dar diagnósticos errados quando usada em hospitais diferentes.

2. O Experimento: "Cabeças Viajantes"

Para testar isso, os pesquisadores usaram um grupo de 20 pessoas saudáveis. Eles levaram essas mesmas 20 pessoas para serem escaneadas em 8 máquinas diferentes (como se fossem "cabeças viajantes").

Eles pegaram os dados dessas pessoas e os jogaram em 5 modelos de IA diferentes (e um método tradicional) para ver o que cada um "pensava" sobre os cérebros.

3. Os Resultados: Quem é o "Melhor Fotógrafo"?

Os resultados foram surpreendentes e dividiram os modelos em dois grupos claros:

🏆 O Grupo dos "Biólogos" (Modelos Confiáveis)

Dois modelos se destacaram: AnatCL e y-Aware.

• A Analogia: Imagine que esses modelos foram treinados com um "professor" que dizia: "Não olhe apenas para a foto, olhe para o tamanho do nariz, a cor dos olhos e a idade da pessoa. Ignore a cor da câmera."
• O Resultado: Eles conseguiram identificar a pessoa com quase 100% de precisão, não importa qual câmera foi usada. Eles são tão bons quanto os métodos tradicionais usados hoje em dia. O AnatCL foi o campeão, superando até mesmo os métodos clássicos.

📉 O Grupo dos "Técnicos de Câmera" (Modelos Não Confiáveis)

Três modelos (BrainIAC, BrainSegFounder e 3D-Neuro-SimCLR) falharam miseravelmente.

• A Analogia: Esses modelos foram treinados apenas olhando para as fotos, sem nenhum professor humano. Eles aprenderam a dizer: "Ah, essa foto tem um tom azulzinho e um brilho específico... isso é uma foto da Câmera X!". Eles esqueceram de olhar para a pessoa.
• O Resultado: Quando a mesma pessoa era escaneada em outra máquina, esses modelos achavam que era uma pessoa completamente diferente. A IA estava tão focada na "assinatura" da máquina que perdeu a biologia humana.

4. A Lição Principal: O Segredo está no "Treinamento"

O estudo descobriu que o que faz a diferença não é o tamanho do cérebro da IA (quantos dados ela viu) nem a arquitetura complexa dela.

O segredo é como ela foi treinada:

• Se a IA foi ensinada a prestar atenção em dados biológicos (como idade ou medidas do cérebro), ela aprende a ignorar a máquina.
• Se a IA foi deixada sozinha para aprender apenas com os dados brutos, ela aprende a "cola" da máquina (o ruído do scanner).

5. Por que isso importa para você?

Hoje em dia, hospitais estão começando a usar essas IAs para diagnosticar doenças, prever envelhecimento e detectar tumores.

• Se um hospital usa um modelo "técnico de câmera" (não confiável) e o paciente vai para outro hospital com uma máquina diferente, a IA pode dar um resultado errado.
• Isso pode levar a falsos diagnósticos ou tratamentos desnecessários.

Conclusão

A mensagem final é: Não basta ter uma IA inteligente; ela precisa ser treinada para ser "cega" às máquinas e "atenta" às pessoas.

Os pesquisadores mostram que, ao ensinar a IA com dados biológicos reais (como idade e anatomia), conseguimos criar ferramentas que funcionam em qualquer lugar do mundo, independentemente de qual máquina de ressonância magnética esteja sendo usada. É como ensinar um fotógrafo a focar no retrato, e não no fundo da foto.

Resumo técnico

1. O Problema

Os Modelos Fundamentais (Foundation Models - FMs) para Ressonância Magnética (MRI) cerebral estão sendo cada vez mais adotados como backbones pré-treinados para tarefas clínicas, como previsão de idade cerebral, classificação de doenças e detecção de anomalias. No entanto, surge uma preocupação crítica: se os embeddings (representações internas) desses modelos se deslocarem sistematicamente dependendo do scanner de MRI utilizado, as análises subsequentes podem refletir o hardware de aquisição em vez da biologia subjacente.

Até o momento, não havia estudos que quantificassem sistematicamente a reprodutibilidade cruzada entre scanners (cross-scanner reproducibility) dos embeddings de FMs de MRI cerebral. A questão central é: as representações aprendidas são robustas a variações de hardware ou são contaminadas por "assinaturas" do scanner?

2. Metodologia

Os autores empregaram um design de "cabeças viajantes" (travelling-heads), onde os mesmos indivíduos são escaneados em múltiplos sistemas de MRI, permitindo separar a variabilidade biológica da técnica.

• Dataset: Utilizaram o conjunto de dados ON-Harmony, contendo 20 participantes saudáveis escaneados em 8 scanners diferentes (de 3 fabricantes: Siemens, Philips e GE), totalizando 165 sessões de T1-pesado.
• Modelos Avaliados: Foram testados 5 FMs diversos em arquitetura e estratégia de pré-treinamento, além de uma linha de base convencional (FreeSurfer):
  1. BrainIAC: Transformer (ViT-B), pré-treinado com SimCLR (aprendizado auto-supervisionado puro).
  2. 3D-Neuro-SimCLR: CNN (ResNet-18), pré-treinado com SimCLR (puro).
  3. y-Aware: CNN (DenseNet-121), pré-treinado com perda InfoNCE guiada pela idade (biologia).
  4. AnatCL: CNN (ResNet-18), pré-treinado com perda combinada guiada por morfometria cortical e idade (biologia).
  5. BrainSegFounder: Transformer (SwinUNETR), pré-treinado com reconstrução e rotação (auto-supervisionado).
  6. FreeSurfer: Linha de base de morfometria convencional.
• Métricas de Avaliação:
  • Coeficiente de Correlação Intraclasses (ICC): Para medir confiabilidade entre scanners (ICC(2,1)) e dentro do mesmo scanner (ICC(3,1)).
  • Decomposição de Variância: Para quantificar quanto da variância nos embeddings é atribuída ao sujeito (biologia), ao scanner (técnica) ou ao resíduo.
  • Impressão Digital do Scanner (Scanner Fingerprinting): Uso de SVM para prever a identidade do scanner a partir dos embeddings.
  • Identificação de Sujeito: Capacidade de identificar o mesmo indivíduo através de scanners diferentes usando similaridade de cosseno.
• Condição: Todos os modelos foram usados em modo de inferência congelado (sem fine-tuning), avaliando as propriedades do espaço de embedding pré-treinado.

3. Principais Resultados

Os resultados revelaram um espectro completo de confiabilidade, variando de excelente a quase nulo, dependendo fortemente da estratégia de pré-treinamento.

• Impacto da Estratégia de Pré-treinamento: O fator mais determinante para a confiabilidade cruzada foi a estratégia de pré-treinamento, e não a arquitetura (CNN vs. Transformer) ou a escala do dataset.
  • Modelos Guiados por Biologia (AnatCL e y-Aware): Alcançaram confiabilidade boa a excelente. O AnatCL obteve o melhor desempenho (ICC entre scanners = 0.97), superando até mesmo o FreeSurfer (0.93). O y-Aware também teve bom desempenho (ICC = 0.81).
  • Modelos Auto-Supervisionados Puros (BrainIAC, BrainSegFounder, 3D-Neuro-SimCLR): Apresentaram confiabilidade pobre. O BrainIAC teve ICC de 0.45, o BrainSegFounder 0.31 e o 3D-Neuro-SimCLR 0.25.
• Decomposição de Variância:
  • Nos modelos confiáveis (AnatCL, FreeSurfer), mais de 84% da variância era atribuída às diferenças entre sujeitos (biologia).
  • Nos modelos não confiáveis, a variância do scanner dominou. O BrainSegFounder teve 57.9% da variância atribuída ao scanner, e o 3D-Neuro-SimCLR teve 32% (superando a variância do sujeito).
• Impressão Digital e Identificação:
  • Modelos confiáveis permitiram a identificação perfeita dos sujeitos (100%) através de scanners diferentes.
  • Modelos não confiáveis falharam na identificação de sujeitos (ex: BrainIAC em 49.7%) e permitiram que o scanner fosse identificado com alta precisão (ex: BrainSegFounder em 90.9%).
• Inconsistência do BrainIAC: O BrainIAC mostrou boa reprodutibilidade dentro do mesmo scanner (ICC 0.81), mas pobre entre scanners (0.45), indicando que aprendeu características de contraste específicas do hardware que não se generalizam.

4. Contribuições Chave

1. Primeira Avaliação Sistemática: Este é o primeiro estudo a utilizar um design de "cabeças viajantes" para quantificar a reprodutibilidade cruzada de embeddings de FMs em MRI cerebral.
2. Descoberta Crítica sobre Supervisão: Demonstra que o uso de metadados biológicos (como idade e morfometria cortical) nas funções de perda contrastiva durante o pré-treinamento é essencial para criar representações robustas a variações de scanner. Modelos puramente auto-supervisionados falharam em aprender invariância ao scanner.
3. Desmistificação de Fatores de Design: Evidencia que arquitetura (CNN vs. Transformer) e escala de dados (número de imagens de pré-treinamento) não garantem confiabilidade. Um modelo menor (AnatCL, 4k imagens) superou modelos massivos (32k-44k imagens) devido à sua estratégia de supervisão.
4. Validação de Limites: Mostra que mesmo os melhores FMs atuais ainda carregam sinais relacionados ao scanner acima do limite mínimo alcançável por harmonização estatística (ComBat), sugerindo que a seleção do modelo é o passo mais crítico para estudos multi-sítio.

5. Significado e Implicações

O estudo alerta para o risco de viés em aplicações clínicas e de pesquisa que utilizam FMs de MRI sem verificação de confiabilidade cruzada.

• Para Pesquisa Multi-Sítio: O uso de modelos pré-treinados puramente auto-supervisionados pode introduzir ruído de scanner que supera o sinal biológico, levando a conclusões errôneas.
• Para Desenvolvimento de Modelos: A comunidade deve priorizar estratégias de pré-treinamento que incorporem supervisionamento biológico ou invariância explícita ao scanner, em vez de depender apenas da escala de dados e auto-supervisão.
• Recomendação Prática: Antes de implantar FMs em pipelines clínicos multi-sítio, é necessário realizar verificações de confiabilidade cruzada (como as propostas neste estudo) para garantir que as representações capturam a biologia e não o hardware.

Em resumo, o artigo conclui que a estratégia de pré-treinamento é o determinante principal da robustez cruzada, e que modelos guiados por biologia são essenciais para garantir que os embeddings de MRI reflitam a verdade biológica e não artefatos de aquisição.