MINT: Molecularly Informed Training with Spatial Transcriptomics Supervision for Pathology Foundation Models

O artigo apresenta o MINT, um framework de ajuste fino que integra supervisão de transcriptômica espacial em modelos de visão pré-treinados para patologia, permitindo que representações morfológicas capturem estados moleculares subjacentes e alcançando desempenho superior na previsão de expressão gênica e em tarefas gerais de patologia.

O essencial

Imagine que você tem um detetive de imagens muito inteligente, chamado MINT.

Este detetive foi treinado por anos apenas olhando para milhões de fotos de tecidos humanos (como se fossem fotos de microscópio de biópsias). Ele ficou incrível em reconhecer padrões visuais: sabe diferenciar um tumor de um tecido saudável apenas pela forma das células, como um artista que reconhece uma pintura apenas pelo estilo de pinceladas.

O Problema:
O problema é que esse detetive é um pouco "cego" para o que está acontecendo dentro das células. Ele vê a casa (a morfologia), mas não sabe quem mora lá, o que eles estão comendo ou quais segredos químicos estão sendo trocados (o estado molecular e genético). Na medicina, saber a "personalidade química" de uma célula é tão importante quanto saber como ela se parece.

A Solução: O "Tradutor de Genes"
Os cientistas da LG AI Research criaram o MINT para dar a esse detetive um novo superpoder: a capacidade de "ler" o RNA (as instruções genéticas) diretamente da imagem.

Eles usaram uma tecnologia chamada Transcriptômica Espacial, que é como ter um mapa que mostra não só onde estão as casas, mas também o que cada morador está pensando e fazendo em tempo real.

Como o MINT funciona (A Analogia da Sala de Aula):

1. O Aluno e o Professor:
   Imagine que o modelo original (o detetive) é um Professor muito experiente. O MINT cria um Aluno que é uma cópia desse professor.

   • O Professor fica parado, congelado no tempo (ele não muda).
   • O Aluno é quem estuda e aprende.

2. A Caneta Mágica (O Token ST):
   Aqui está a parte genial. Em vez de pedir ao Aluno para reescrever tudo o que o Professor já sabe (o que faria ele esquecer as fotos antigas), eles deram ao Aluno uma caneta mágica separada chamada Token ST.

   • O Token CLS (a caneta antiga) continua desenhando apenas as formas e cores das células.
   • O Token ST (a caneta nova) é usada exclusivamente para anotar os segredos genéticos (o RNA).
   • Assim, o Aluno aprende a química sem apagar a memória das formas. É como se ele tivesse dois cadernos: um para desenho e outro para anotações de biologia.

3. O Sistema de Segurança (Distilação):
   Para garantir que o Aluno não esqueça o que o Professor ensinou sobre formas, eles usam um truque chamado "distilação". É como se o Professor olhasse para o trabalho do Aluno e dissesse: "Ei, você ainda lembra como é a forma de um coração saudável? Não mude isso!". Isso evita o "esquecimento catastrófico" (quando aprender uma coisa nova faz a gente esquecer a antiga).

4. Dois Níveis de Detalhe:
   O MINT aprende de duas formas ao mesmo tempo:

   • Visão Geral (Spot-level): Olha para um grupo de células e diz "aqui tem muito gene X".
   • Visão Microscópica (Patch-level): Olha para células individuais e diz "esta célula específica tem gene Y".

O Resultado:
Quando colocaram o MINT à prova, ele se tornou o melhor de todos em duas frentes:

1. Prever Genes: Ele conseguiu adivinhar quais genes estavam ativos nas células apenas olhando para a foto, com uma precisão nunca antes vista.
2. Tarefas Gerais: E, o mais importante, ele não perdeu sua habilidade original de classificar doenças e segmentar células. Na verdade, ele ficou ainda melhor.

Resumo da Ópera:
O MINT é como dar óculos de visão noturna e um tradutor de idiomas para um detetive que só tinha um bom olho. Ele agora vê a imagem (a forma) e entende a história (a genética) ao mesmo tempo, sem esquecer o que já sabia. Isso abre portas para diagnósticos de câncer muito mais precisos, onde a aparência do tecido e a sua química molecular trabalham juntas para salvar vidas.

Resumo técnico

Título: MINT: Treinamento Informado Molecularmente com Supervisão de Transcriptômica Espacial para Modelos Fundamentais de Patologia

1. O Problema

Os modelos fundamentais de patologia (Foundation Models), como ViT (Vision Transformers), têm alcançado resultados notáveis ao aprender representações morfológicas através de pre-treinamento auto-supervisionado em grandes coleções de imagens de lâminas inteiras (WSI). No entanto, esses modelos possuem uma limitação fundamental: eles são treinados exclusivamente em padrões visuais e não capturam explicitamente o estado molecular subjacente do tecido (como composição celular, atividade de vias de sinalização e programas de expressão gênica).

Embora a histopatologia codifique implicitamente essas informações moleculares na morfologia do tecido, extrair essa relação de forma eficaz é difícil. Tecnologias de Transcriptômica Espacial (ST), como Visium e Xenium, preenchem essa lacuna ao medir a expressão gênica in situ, oferecendo um sinal de supervisão cruzada natural. O desafio principal reside no fato de que o fine-tuning (ajuste fino) de modelos pré-treinados em objetivos de expressão gênica tende a causar esquecimento catastrófico das representações morfológicas adquiridas durante o pré-treinamento em larga escala.

2. Metodologia: Framework MINT

Os autores propõem o MINT (Molecularly Informed Training), um framework de ajuste fino multi-tarefa que integra supervisão de transcriptômica espacial em Vision Transformers (ViT) pré-treinados, sem sacrificar as capacidades morfológicas existentes.

Principais Componentes Técnicos:

• Design do Token ST (Spatial Transcriptomics):

  • Em vez de modificar o token CLS (que codifica características morfológicas), o MINT anexa um token ST aprendível ($t_{st}$) à sequência de entrada do ViT, junto com o token CLS e os tokens de patch.
  • Motivação: Isso cria um canal separado para informações moleculares. O token CLS preserva suas representações morfológicas originais, enquanto o token ST se especializa em sinais moleculares.
  • Durante a inferência, os tokens podem ser concatenados ($[z_{cls} \parallel z_{st}]$) para obter uma representação rica em ambas as modalidades.

• Mecanismos de Prevenção de Esquecimento Catastrófico:
  O MINT utiliza uma dupla estratégia para estabilizar o aprendizado:

  1. Auto-distilação DINO: Mantém a dinâmica de aprendizado auto-supervisionado original, onde o modelo "aluno" aprende com um "professor" (atualizado via Média Móvel Exponencial - EMA) apenas nas visões globais.
  2. Ancoragem de Características (Feature Anchoring): Um cópia congelada do modelo pré-treinado atua como uma âncora. O modelo aluno é regularizado para manter suas representações CLS próximas às do modelo congelado, minimizando a distância $L_2$.

• Objetivos de Treinamento (Loss Functions):
  O treinamento combina quatro objetivos complementares:

  1. $L_{DINO}$: Auto-distilação para aprendizado contínuo de representações visuais.
  2. $L_{distill}$: Distilação de características para ancorar o espaço de features morfológicas.
  3. $L_{ST}$ (Regressão em Nível de Spot): Regressão da expressão gênica a partir do token ST usando dados de plataformas como Visium (resolução de ~55 µm). Utiliza seleção estocástica de genes altamente variáveis (HVG).
  4. $L_{pST}$ (Regressão em Nível de Patch): Regressão da expressão gênica a partir dos tokens de patch usando dados de alta resolução (Xenium), permitindo supervisão em nível subcelular.

3. Contribuições Chave

1. Framework MINT: Propõe um método inovador que incorpora supervisão de transcriptômica espacial em ViTs de patologia, evitando o esquecimento catastrófico através de um token dedicado e mecanismos de distilação dupla.
2. Especialização de Tokens: Demonstra que os tokens ST e CLS capturam informações complementares. O ST especializa-se em sinais moleculares, enquanto o CLS mantém a transferibilidade morfológica. A combinação de ambos resulta em melhorias consistentes, independentemente da arquitetura base (backbone-agnostic).
3. Desempenho Superior: Sob os frameworks oficiais de avaliação (HEST-Bench e EVA), o MINT alcançou o melhor desempenho global em ambas as benchmarks, provando que a supervisão cruzada complementa o pré-treinamento centrado na morfologia.

4. Resultados Experimentais

O modelo foi ajustado finamente no conjunto de dados HEST (577 amostras de histologia e transcriptômica pareadas) e avaliado em duas benchmarks principais:

• HEST-Bench (Previsão de Expressão Gênica):

  • O MINT alcançou a maior correlação de Pearson média (0.440) entre todos os modelos comparados (incluindo H-optimus-0, UNI2-h e Virchow2).
  • Ficou em primeiro lugar em todos os 9 tipos de câncer testados.
  • Isso demonstra uma capacidade superior de prever perfis moleculares a partir de imagens de histologia.

• EVA (Transferibilidade Geral em Patologia):

  • O MINT obteve a maior média geral (0.803) em 9 benchmarks de tarefas diversas (classificação, tarefas de lâmina inteira e segmentação de núcleos).
  • Superou modelos de ponta como Virchow2 (0.798) e UNI2-h (0.795).
  • Análise de Compensação: O modelo manteve ou melhorou o desempenho em tarefas morfológicas enquanto ganhava em tarefas moleculares, indicando que não há um trade-off negativo entre as duas modalidades.

• Análise de Representação:

  • Testes de ablação mostraram que aplicar a perda de expressão gênica diretamente no token CLS (mesmo com distilação) resulta em perda de desempenho em tarefas morfológicas (esquecimento catastrófico).
  • A separação em tokens distintos (CLS vs ST) e a concatenação posterior ($[CLS \parallel ST]$) foram superiores a qualquer outra configuração, confirmando que a decuplagem do aprendizado molecular e morfológico é essencial.

5. Significado e Impacto

O trabalho MINT estabelece um novo paradigma para o desenvolvimento de modelos fundamentais em patologia computacional:

• Supervisão Cruzada como Eixo de Melhoria: Demonstra que a melhoria de modelos de patologia não depende apenas de escalar a quantidade de dados de imagem (como feito anteriormente), mas sim de introduzir novas modalidades de supervisão (molecular) que são complementares à morfologia.
• Eficiência de Dados: O modelo alcançou desempenho de ponta ajustando-se finamente em apenas 577 amostras pareadas, sugerindo que a qualidade e a natureza da supervisão (transcriptômica) são mais críticas do que o volume massivo de dados não rotulados para certas tarefas.
• Aplicabilidade Clínica Potencial: Ao aprender a mapear morfologia para estados moleculares com alta fidelidade, o MINT abre caminho para inferir perfis genéticos e biomarcadores diretamente de imagens de rotina (H&E), reduzindo a necessidade de testes moleculares caros e demorados em cenários clínicos.

Em resumo, o MINT prova que a integração de dados de transcriptômica espacial em modelos de visão pré-treinados, através de uma arquitetura cuidadosamente projetada para preservar o conhecimento morfológico, resulta em modelos mais robustos e informativos para a patologia moderna.