Opportunistic Promptable Segmentation: Leveraging Routine Radiological Annotations to Guide 3D CT Lesion Segmentation

Resumo Técnico: Segmentação Oportunista Baseada em Prompts com SAM2CT

Definição do Problema
O desenvolvimento de modelos de aprendizado de máquina robustos para imagens de TC é limitado pela escassez de conjuntos de dados de segmentação 3D de grande escala e alta qualidade. Embora os sistemas clínicos de Arquivamento e Comunicação de Imagens (PACS) contenham vastos repositórios de imagens de TC e laudos, a geração de segmentações 3D normalmente requer o contorno manual extensivo por radiologistas, o que é caro e demorado. Por outro outro lado, os radiologistas geram rotineiramente anotações esparsas durante as leituras clínicas padrão — como medições de linha (ex: diâmetro da lesão) e setas para destacar achados — que são armazenadas como objetos DICOM de Grayscale Softcopy Presentation State (GSPS). Atualmente, essas ricas anotações existentes são subutilizadas para o treinamento de modelos de segmentação 3D porque nenhum modelo de segmentação baseado em prompts existente pode interpretar diretamente esses formatos GSPS específicos (setas e linhas) para gerar máscaras 3D.

Metodologia
Os autores propõem um novo paradigma denominado Segmentação Oportunista Baseada em Prompts, que utiliza as anotações GSPS existentes como prompts para gerar automaticamente segmentações 3D. Para viabilizar isso, eles introduzem o SAM2CT, o primeiro modelo de segmentação baseada em prompts projetado para converter anotações de radiologistas (setas e linhas) em segmentações de TC 3D.

• Arquitetura: O SAM2CT é construído sobre a arquitetura do Segment Anything Model 2 (SAM2). Ele mantém os componentes principais do SAM2 (codificador de imagem, codificador de prompt, atenção de memória, codificador de memória, banco de memória e decodificador de máscara), mas introduz duas modificações críticas:
  1. Codificador de Prompt Aprimorado: O codificador de prompt é estendido com três parâmetros aprendíveis para interpretar os pontos finais das linhas e os pontos de início/fim das setas, permitindo que o modelo processe entradas do tipo GSPS diretamente.
  2. Memórias Condicionadas por Memória (MCM): No SAM2 padrão, os tokens de memória são gerados usando embeddings de imagem não condicionadas. O SAM2CT modifica isso ao alimentar o codificador de memória com embeddings de imagem condicionadas (aquelas que passaram pela atenção de memória). Isso cria tokens de memória que são mais específicos para a lesão alvo, melhorando a consistência da segmentação em volumes 3D.
• Estratégia de Treinamento: O modelo foi ajustado (fine-tuned) de ponta a ponta em um conjunto de dados curado de cinco conjuntos de dados públicos de segmentação de lesões de TC (abrangendo 8 tipos de tumores). Para simular o uso oportunista de dados GSPS, os autores sintetizaram prompts de seta e linha a partir de máscaras de referência (ground-truth) durante o treinamento. O treinamento utilizou subvolumes de 8 fatias para gerenciar os custos computacionais.
• Comparadores: O estudo compara o SAM2CT contra uma variante do SAM2 ajustada (SAM2 FT) que suporta prompts de seta/linha, mas carece de MCM, bem como arquiteturas padrão baseadas em UNet (DynUNet e Swin UNETR), onde os prompts são codificados como canais de máscara binária.

Principais Contribuições

1. Novo Paradigma: O artigo define e demonstra a "Segmentação Oportunsta Baseada em Prompts", um método para minerar dados históricos de GSPS de PACS para a geração de conjuntos de dados 3D sem esforço adicional do médico.
2. Modelo SAM2CT: O desenvolvimento do primeiro modelo capaz de interpretar anotações clínicas de linha e seta para produzir segmentações de TC 3D.
3. Inovação Arquitetural: A introdução da Memória Condicionada por Memória (MCM), uma estratégia mostrada para melhorar a segmentação volumétrica 3D ao codificar características específicas da lesão no banco de memória. Os autores demonstram que a MCM melhora o desempenho não apenas no SAM2CT, mas também quando aplicada como uma adaptação em tempo de teste (test-time adaptation) a outros modelos baseados em SAM2 sem necessidade de novo ajuste fino.
4. Geração de Prompt Sintético: Uma metodologia para sintetizar prompts realistas de setas e linhas a partir de máscaras de referência para treinar modelos em dados que originalmente careciam de tais anotações.

Resultos

• Desempenho de Benchmark: Em conjuntos de teste de reserva públicos, o SAM2CT alcançou o desempenho estado da arte entre os modelos baseados em prompts. Ele atingiu um Coeficiente de Similaridade de Dice (DSC) de 0,649 para prompts de seta e 0,757 para prompts de linha, superando o SAM2 (FT), MedSAM2, DynUNet e Swin UNETR em vários tipos de lesões (rim, fígado, pâncreas, linfonodos, etc.).
• Utilidade Clínica (Oncologia): Aplicado a 60 casos oncológicos reais de PACS clínicos, os radiologistas classificaram as máscaras geradas pelo SAM2CT como clinicamente aceitáveis (não requerendo modificação) ou exigindo apenas ajustes menores em 87% dos casos.
• Generalização Zero-Shot: O modelo demonstrou forte desempenho zero-shot em achados de Departamento de Emergência (ED) não presentes nos dados de treinamento. Ele alcançou um DSC de 0,610 para abscessos e 0,725 para cálculos biliares usando os prompts GSPS originais.
• Precisão RECIST: O SAM2CT alcançou o menor erro percentual médio em medições RECIST 1.1 (11,1%) em comparação com outros modelos, indicando alta relevância clínica para a quantificação da carga tumoral.
• Adaptação em Tempo de Teste: A aplicação da estratégia MCM a outros modelos (SAM2, MedSAM2) em tempo de teste resultou em ganhos significativos de desempenho sem treinamento adicional, validando a MCM como uma melhoria arquitetural robusta para segmentação médica 3D.

Significância e Alegações
Os autores afirmam que o SAM2CT representa uma solução escalável para gerar conjuntos de dados de segmentação de TC 3D de grande escala, desbloqueando a "riqueza de prompts" já armazenada nos sistemas PACS. Ao converter anotações clínicas esparsas de radiologistas em máscas 3D densas, esta abordagem elimina a necessidade de contornos manuais dispendiosos para a criação de conjuntos de dados. O artigo postula que este método facilita a construção de conjuntos de dados multimodais e fundamentados (vinculando máscaras 3D com relatórios de texto livre), que são essenciais para o desenvolvimento de modelos avançados de visão-linguagem na radiologia. O estudo conclui que a segmentação oportunista baseada em prompts é uma estratégia viável para acelerar o desenvolvimento de IA médica, aproveitando os fluxos de trabalho clínicos existentes.