Resumo Técnico: OrganLens

Declaração do Problema

Exames de Tomografia Computadorizada (TC) capturam múltiplos sistemas de órgãos dentro de um único volume, mas muitas investigações biomédicas — que variam desde a detecção de anormalidades até a predição prognóstica e o monitoramento longitudinal — focam em órgãos específicos. Os modelos de fundação de TC existentes tipicamente geram uma única representação ao nível do volume. Essa abordagem dilui as evidências específicas de cada órgão porque deve integrar características de órgãos de diferentes tamanhos, aparências e relevância clínica, o que frequentemente obscurece o sinal necessário para tarefas específicas.

Abordagens atuais conscientes da anatomia tentam resolver isso através de três métodos principais, cada um com limitações:

1. Entradas pré-segmentadas: Codificar volumes isolados de órgãos remove o contexto circundante clinicamente relevante, necessário para a detecção de anormalidades.
2. Desentrelaçamento de tokens: Separar imagens em grupos de tokens por órgão sem condicionamento explícito a um órgão selecionado pode reter características irrelevantes e falhar em concentrar o sinal.
3. Supervisão derivada de texto: Localizar a anatomia via alinhamento região-relatório frequentemente carece da precisão espacial para distinguir órgãos adjacentes.

Além disso, treinar codificadores separados para cada órgão é computacionalmente ineficiente e impede o compartilhamento de representações. O desafio central é desenvolver um codificador compartilhado que possa adaptar sua representação a um órgão selecionado, preservar o contexto anatômico circundante e produzir representações ponderadas pela anatomia sem exigir máscaras de segmentação manuais na inferência.

Metodologia

Os autores introduzem o OrganLens, um framework para aprendizado de representação específica de órgãos construído sobre um codificador DINOv2 pré-treinado em TC. O modelo produz 11 representações distintas de órgãos (coração, pulmão, aorta, fígado, baço, rins, pâncreas, estômago, intestino, esôfago e traqueia) a partir do mesmo volume de TC usando um único conjunto de parâmetros.

O framework baseia-se em três componentes principais durante o pré-treinamento autossupervisionado:

1. Condicionamento de Identidade do Órgão:
   Um embedding aprendido para uma identidade específica de órgão é adicionado como um offset ao token CLS do Vision Transformer (ViT). Isso condiciona o codificador compartilhado a adaptar suas características ao órgão selecionado sem alterar a arquitetura do backbone. A força desse offset é aprendida durante a otimização.

2. Destilação Guiada pelo Órgão:
   Adaptando o framework estudante-professor do DINOv2, o modelo realiza a autodestilação usando visualizações construídas a partir da fatia de TC e a máscara correspondente do órgão.

   • Recorte (Cropping): Recortes globais e locais são amostrados de modo que mantenam a anatomia de primeiro plano especificada pela identidade do órgão.
   • Treinamento: O estudante processa tanto recortes globais quanto locais, enquanto o professor (atualizado via média móvel exponencial) processa apenas recortes globais. Isso garante que ambas as redes aprendam características relevantes para a identidade específica do órgão.

3. Supervisão de Máscara Anatômica:
   Para garantir que as características dos patches localizem o órgão consultado, um decodificador auxiliar prevê uma máscara espacial para o órgão selecionado a partir das características de patch do estudante.

   • Perda (Loss): O decodificador é treinado usando uma combinação de entropia cruzada binária pixel a pixel e uma perda baseada em Dice diferenciável contra máscaras de verdade fundamental (derivadas de pseudo-labels do TotalSegmentator durante o pré-treinamento).
   • Mecanismo de Inferência: Crucialmente, na inferência, a máscara de verdade fundamental não é necessária. O decodificador treinado prevê uma máscara espacial suave, que serve como pesos para o agrupamento (pooling) das características dos patches.

Construção da Representação:
Na inferência, para uma determinada identidade de órgão $o$ e volume de TC $V$:

1. O codificador produz características de patch e uma característica CLS condicionada a $o$.
2. O decodificador de anatomia prevê um mapa de probabilidade espacial para o órgão.
3. As características dos patches dentro de cada fatia são agrupadas usando esses pesos suaves para criar uma representação de fatia.
4. As representações de fatia são agregadas ao longo do volume, ponderadas pela área do órgão prevista em cada fatia, para formar a representação final específica do órgão $z(V, o)$.
5. Uma representação global também é definida pela concatenação de todas as 11 representações de órgãos, permitendo tarefas de todo o volume.

Principais Contribuições

1. Framework OrganLens: Uma arquitetura de codificador compartilhado que aprende características específicas de órgãos enquanto retém o contexto anatômico circundante, produzindo 11 representações distintas de um único exame de TC sem segmentação externa na inferência.
2. Estratégia de Autodestilação: Um pipeline de treinamento inovador combinando condicionamento de identidade de órgão, recorte guiado pelo órgão e supervisão de máscara anatômica para moldar as características para o agrupamento ponderado pela anatomia.
3. Demonstração de Utilidade Clínica: Evidência empírica mostrando que representações anatomicamente compatíveis fornecem características mais refinadas e relevantes para a tarefa de aplicações de downstream focadas em órgãos, enquanto a agregação global retém utilidade ampla para tarefas de todo o volume.

Resultados Experimentais

Os autores avaliaram o OrganLens em quatro coortes diversas: CT-RATE, RAD-ChestCT, INSPECT e o National Lung Screening Trial (NLST). A avaliação cobriu quatro famílias de tarefas: detecção de anormalidades, predição prognóstica, análise longitudinal e recuperação de imagem-texto.

• Detecção de Anormalidades:

  • No CT-RATE (16 anormalidades), a representação do OrganLens anatomicamente compatível alcançou um macro-AUROC de 0,856, superando o DINOv2 pré-treinado em CT (0,788), GigaHeart (0,792), Merlin (0,780) e SPECTRE (0,836).
  • Ganhos específicos foram notáveis: as representações do Coração melhoraram a detecção de cardiomegalia de 0,910 para 0,953 AUROC comparado ao DINOv2. As representações do Pulmão melhoraram a detecção de padrão de atenuação em mosaico para 0,906.
  • No dataset externo RAD-ChestCT, o OrganLens alcançou um macro-AUROC de 0,767, superando significativamente todos os baselines (ex: 0,684 para DINOv2).

• Predição Prognóstica:

  • Nos conjuntos INSPECT e NLST, as representações anatomicamente compatíveis classificaram-se consistentemente no topo. Para 16 de 17 desfechos, a representação do órgão compatível superou outras variantes do OrganLens.
  • No NLST, a representação do pulmão melhorou o índice de Harrell C para mortalidade por câncer de pulmão em 14,2% em relação ao DINOv2 pré-treinado em CT (0,780 vs. 0,686).
  • Curvas de Kaplan–Meier demonstraram que os quartetos de alto risco identificados pelo OrganLens mostraram consistentemente menor sobrevida livre de eventos, validando a estratificação prognóstica.

• Análise Longitudinal:

  • O OrganLens alcançou o melhor desempenho geral de índice C entre as visitas de triagem T0, T1 e T2 no NLST.
  • Os escores de Cox log-hazard para participantes que posteriormente sofreram eventos de mortalidade aumentaram monotonicamente de T0 para T2, demonstrando a capacidade do modelo de capturar a progressão do risco longitudinal.

• Recuperação de Imagem-Texto:

  • A representação global do OrganLens (concatenação de todas as 11 características de órgãos) alcançou o melhor desempenho tanto em recuperação de texto-para-imagem quanto de imagem-para-texto no CT-RATE e INSPECT.
  • No INSPECT, o OrganLens alcançou um Recall@10 de 33,09% para texto-para-imagem e 32,04% para imagem-para-texto, superando todos os baselines.

• Estudos de Ablação:

  • A remoção da supervisão de máscara anatômica ou do recorte guiado pelo órgão resultou em quedas significativas de desempenho, confirmando que ambos os componentes são essenciais para aprender sinais localizados e específicos de órgãos.
  • O agrupamento de patches ponderado pela anatomia (usando a máscara prevista) superou o agrupamento uniforme de patches e o agrupamento de média de CLS.

Significância e Alegações

O artigo afirma que o OrganLens oferece uma abordagem escalável para o aprendizado de representação de órgãos específica de TC. Ao condicionar um codificador compartilhado em uma identidade de órgão, ele resolve o descompasso entre representações ao nível do volume e questões biomédicas focadas em órgãos.

Os autores afirmam que:

1. O Compatibilismo Anatômico é Crítico: Sinais preditivos para doenças específicas estão concentrados em órgãos anatomicamente compatíveis em vez de distribuídos uniformemente por todo o volume.
2. Preservação de Contexto: Ao contrário de métodos que recortam o tecido circundante, o OrganLens retém o contexto anatômico útil, o que é vital para a detecção de anormalidades.
3. Eficiência de Inferência: O modelo produz representações específicas de órgãos sem exigir máscaras de segmentação externas na inferência, baseando-se em vez disso em um decodificador de máscara espacial previsto.
4. Utilidade Dupla: O framework suporta tanto análises granulares e específicas de órgãos (via representações compatíveis) quanto tarefas amplas de todo o volume (via agregação global).

Os autores concluem que o OrganLens fornece um framework reutilizável para a comunidade de pesquisa médica estudar doenças específicas de órgãos através de coortes e desfechos clínicos, ofereando uma base para futuras aplicações em estratificação de risco e monitoramento longitudinal. Eles observam limitações, incluindo a natureza retrospectiva da avaliação, a dependência de pseudo-labels para o pré-treinamento e a necessidade de validação prospectiva antes da implantação clínica.