💻 computer science

ENSAM: an efficient foundation model for interactive segmentation of 3D medical images

O ENSAM é um modelo de fundação leve para segmentação de imagens médicas 3D interativas que alcança desempenho de estado da arte sob orçamentos limitados de dados e computação ao combinar uma arquitetaura baseada em SegResNet com técnicas de treinamento avançadas, como atenção normalizada e o otimizador Muon, superando vários baselines pré-treinados no CVPR 2025 Foundation Models for Interactive 3D Biomedical Image Segmentation Challenge.

Autores originais: Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Publicado 2026-07-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um computador a encontrar órgãos específicos dentro de um exame médico 3D (como uma TC ou RM). Normalmente, isso requer um supercomputador massivo e caro e milhares de horas de treinamento.

Os autores deste artigo, Elias, Agnar e Arian, construíram uma nova ferramenta chamada ENSAM. Pense no ENSAM como um "assistente inteligente e leve" que pode aprender a segmentar (contornar) qualquer parte de uma imagem médica 3D apenas olhando para alguns exemplos e recebendo algumas dicas de um humano.

Aqui está a história de como eles construíram o ENSAM, explicada de forma simples:

1. O Objetivo: Um "Exército de um Homem Só"

A equipe queria criar um modelo que pudesse fazer o trabalho de um modelo de fundação gigante e pesado, mas que rodasse em uma única placa de vídeo padrão (uma GPU de 32 GB). Eles queriam provar que você não precisa de um supercomputador para obter ótimos resultados.

O Nome: Eles chamaram de ENSAM (Segment Anything Model Equivariante e Normalizado). O nome é uma piada sutil: em sueco e línguas germânicas, "ensam" significa "sozinho" ou "solitário". Isso reflete o objetivo deles de treinar um modelo poderoso sozinho, sem ajuda de outros gigantes pré-treinados.

2. A Receita: Como Eles o Construíram

Eles não apenas copiaram modelos existentes; eles prepararam uma nova receita com três ingredientes especiais:

O Cérebro (Codificador de Imagem): Em vez de usar o cérebro "Transformer" mais novo e complexo (que é como um motor pesado e que consome muito combustível), eles usaram um SegResNet. Pense nisso como um motor de trabalho confiável e eficiente, comprovado para lidar bem com dados médicos 3D.
O GPS (Codificação Posicional Relativa): Quando você diz ao computador "clique aqui", ele precisa saber onde é esse "aqui". Os modelos antigos usam "Posicionamento Absoluto" (como dar um endereço residencial: "Rua Principal, 123"). Se você mover a casa, o endereço fica errado. O ENSAM usa Posicionamento Relativo (como dizer "dois quarteirões ao norte do parque"). Isso é como dar ao computador um mapa flexível que funciona não importa onde o órgão esteja no corpo. Isso fez o modelo aprender muito mais rápido.
O Treinador (Otimizador Muon): Treinar IA é como ensinar um aluno. Normalmente, você usa um professor padrão (um otimizador chamado Adam). Os autores trocaram isso por um novo treinador mais rápido chamado Muon. Imagine um treinador que não apenas diz ao aluno "tente mais forte", mas reorganiza todo o plano de aula instantaneamente para encontrar o melhor caminho a seguir. Isso ajudou o modelo a aprender em tempo recorde.

3. O Desafio: O Teste do "Coreset"

O artigo descreve uma competição (o desafio CVPR 2025) onde as equipes tinham que construir esses modelos.

A Reviravolta: Havia uma trilha especial chamada "Trilha Coreset". As equipes só podiam usar 10% dos dados de treinamento disponíveis. Foi como ser solicitado a aprender uma língua inteira usando apenas um dicionário de bolso em vez de uma biblioteca.
A Restrição: Eles também tiveram que treinar em uma única GPU em apenas 6 horas.

4. Os Resultados: Superando as Expectativas

Apesar de usar apenas uma fração dos dados e um único computador, o ENSAM teve um desempenho incrível:

A Pontuação: Terminou em 5º lugar entre 10 equipes na trilha Coreset.
A Grande Vitória: Foi a melhor equipe que não utilizou pesos pré-treinados. (Muitas outras equipes começaram com um modelo que já havia sido treinado em conjuntos de dados massivos; o ENSAM começou do zero, como uma tela em branco).
Comparação: Superou dois outros modelos famosos (VISTA3D e SAM-Med3D) e chegou muito perto do terceiro (SegVol), mesmo tendo sido treinado com muito menos poder computacional.

5. Como Funciona na Prática (A Parte "Interativa")

Imagine um médico olhando para um exame 3D de um fígado.

O médico desenha uma caixa ao redor do fígado.
O modelo adivinha o contorno.
O médico clica em "Sim" no fígado e "Não" em um rim próximo para corrigir o modelo.
O modelo atualiza o contorno instantaneamente.
O ENSAM foi projetado para lidar com essa conversa de ida e volta de forma muito rápida, refinando sua resposta a cada clique.

6. Onde Ele Tropeça (Limitações)

Os autores são honestos sobre onde seu modelo ainda não é perfeito:

Detalhes Minúsculos: Em imagens muito pequenas e densas (como microscopia), o modelo às vezes perde detalhes minúsculos ou se confunde com o ruído.
A Lacuna da "Simulação": O modelo foi testado simulando cliques de um computador. Os autores admitem que médicos reais podem clicar de forma diferente, e eles ainda não o testaram com pessoas reais.
Um de Cada Vez: Atualmente, o modelo lida com um objeto por vez (como um rim). Ele não entende naturalmente que, se você clicar em "rim", você definitivamente não quer dizer "fígado".

Resumo

Em suma, o ENSAM é uma prova de conceito de que você pode construir uma ferramenta de segmentação médica 3D interativa e altamente eficaz sem precisar de um orçamento massivo ou de um supercomputador. Ao usar um sistema de "mapa relativo" e um "treinador de via rápida" para o treinamento, eles criaram um modelo que aprende rápido, funciona bem em um único computador e compete com sistemas muito maiores e mais caros.

Resumo Técnico: ENSAM – Um Modelo de Fundação Eficiente para Segmentação Interativa de Imagens Médicas 3D

Declaração do Problema

A segmentação precisa de imagens médicas 3D é crítica para tarefas clínicas, como diagnóstico e planejamento de tratamento. Embora modelos de aprendizado profundo tenham automatizado essas tarefas, modelos de fundação recentes como o SAM (Segment Anything Model) e o SAM2, projetados para imagens naturais, têm dificuldade em generalizar para modalidades médicas sem adaptação significativa. Modelos existentes específicos para medicina frequentemente enfrentam compromissos: alguns carecem de suporte para refinamento iterativo (ex: MedSAM), outros exigem recursos computacionais massivos e pesos pré-treinados, e muitos falham em generalizar através de diversas modalidades (CT, MRI, PET, Ultrassom, Microscopia). Além disso, um benchmark unificado para comparar esses modelos em um conjunto de teste padronizado e oculto era anteriormente inexistente.

O desafio específico abordado neste trabalho é o Desafio de Modelos de Fundação para Segmentação de Imagens Biomédicas 3D Interativas da CVPR 2025. O objetivo é desenvolver um modelo universal e passível de prompts, que possa segmentar qualquer estrutura anatômica ou patológica ao receber um prompt do usuário (caixa delimitadora ou cliques) dentro de um ambiente interativo simulado. Uma restrição crítica da "trilha de coreset" é a limitação a 10% do total de dados de treinamento e a exigência de treinar do zero sem utilizar pesos pré-treinados externos, tudo operando sob orçamentos computacionais rigorosos (uma única GPU de 32 GB).

Metodologia: Arquitetura ENSAM

Os autores propõem o ENSAM (Equivariant, Normalized, Segment Anything Model), um modelo leve e passível de prompts construído sobre uma arquitetura do tipo U-Net. Ele consiste em três componentes primários: um codificador de imagem, um codificador de prompt e um decodificador de máscara.

1. Codificador de Imagem

Em vez de Vision Transformers, que muitas vezes apresentam desempenho inferior aos CNNs em benchmarks específicos de segmentação, o ENSAM utiliza um codificador baseado em SegResNet. Esta arquitetura compreende uma cascata de blocos residuais intercalados com camadas de subamostragem (StridedConv3D). Ela transforma entradas de canal único em mapas de características multicanais, mantendo a consistência volumétrica.

2. Codificador de Prompt e Mecanismo de Interação

O codificador de prompt lida com caixas delimitadoras 3D, cliques de primeiro plano e cliques de fundo. As inovações principais incluem:

Codificação Posicional Rotacional de Lie (LieRE): Para preservar a equivariância e melhorar a eficiência, o modelo substitui a codificação posicional absoluta por codificação posicional relativa. Isso é alcançado aplicando matrizes de rotação dependentes da posição aos vetores de chave (key) e consulta (query). A matriz de rotação $R(p)$ é derivada da álgebra de Lie $so(n)$, garantindo que os escores de atenção dependam apenas da posição relativa $p_j - p_i$ .
Atenção Normalizada: Inspirado em trabalhos recentes sobre transformers normalizados, o ENSAM substitui o LayerNorm padrão e o decaimento de peso por uma normalização $\ell_2$ aplicada a todas as matrizes de peso e ativações após cada etapa de otimização. Isso constrange as saídas a uma hiperesfera unitária, utilizando uma estratégia de atualização residual modificada:
$x \leftarrow \text{Norm}(\text{Norm}(x) + \lambda(\text{Norm}(\text{nBlock}(x)) - \text{Norm}(x)))$
onde $\lambda$ é uma taxa de aprendizado de autovalor aprendível. Isso visa acelerar a convergência e melhorar a estabilidade numérica.
Fluxo de Interação: Os prompts do usuário e os logits de segmentação anteriores (subamostrados via convoluções com stride) interagem com os embeddings da imagem através de um processo de quatro etapas: (1) autoatenção normalizada nos prompts, (2) atenção prompt-para-imagem, (3) processamento MLP e (4) atenção imagem-para-prompt. Este ciclo se repete duas vezes.

3. Decodificador de Máscara

O decodificador espelha a estrutura do codificador, mas utiliza blocos residuais únicos por camada de upsampling. Ele concatena conexões de salto (skip connections), processa-as através de um ResBlock3D e aplica upsampling trilinear para gerar os logits de segmentação.

4. Estratégia de Treinamento

Otimizador: Os autores empregam o otimizador Muon, que opera em matrizes de peso 2D usando uma aproximação eficiente de Decomposição de Valor Singular (SVD) para atualizações, em vez do gradiente descendente padrão. Para parâmetros 1D, o AdamW é utilizado.
Manipulação de Dados: O treinamento envolve interações simuladas onde caixas delimitadoras iniciais são geradas a partir do ground truth com offsets aleatórios, seguidas por cinco cliques iterativos posicionados nas maiores regiões de erro (primeiro plano para subsegmentação, fundo para sobresegmentação).
Função de Perda: Uma perda composta de Dice Loss Generalizada e Cross-Entropy (ponderada 1:2) é utilizada.
Seleção de Coreset: Para a trilha de coreset, o conjunto de treinamento foi limitado a aproximadamente 4.471 amostras (10% do total), selecionadas para garantir uma representação uniforme entre as modalidades, excluindo conjuntos de dados com problemas de normalização ou de anotação.

Principais Contribuições

Modelo de Fundação Eficiente: O ENSAM alcança um desempenho competitivo na segmentação médica 3D universal enquanto é treinado do zero em uma única GPU de 32 GB em apenas 6 horas, utilizando menos de 5.000 volumes.
Inovações Arquiteturais: A integração da Codificação Posicional Rotacional de Lie e da Atenção Normalizada dentro de um backbone SegResNet acelera significamente a convergência e melhora a qualidade da segmentação em comparação com a codificação absoluta e a atenção padrão.
Aplicação de Otimizador: O artigo demonstra a eficácia do otimizador Muon para tarefas de segmentação médica 3D, mostrando que ele supera o AdamW em velocidade de treinamento e perda final.
Benchmarking: O trabalho fornece uma avaliação rigorosa em um conjunto de teste oculto e multimodal, oferecendo uma comparação justa contra baselines de última geração (VISTA3D, SAM-Med3D, SegVol) sob condições de dados e computação restritas.

Resultados

Desempenho Quantitativo

No conjunto de teste oculto (trilha de coreset), o ENSAM alcançou:

DSC AUC: 2.404
NSD AUC: 2.266
DSC Final: 0.627
NSD Final: 0.597

Comparações:

O ENSAM superou o VISTA3D e o SAM-Med3D em todas as quatro métricas.
Ele igualou o SegVol em DSC AUC e NSD AUC, mas superou o SegVol em DSC Final (0.627 vs. 0.622), embora tenha ficado ligeiramente atrás em NSD Final.
No ranking geral do desafio, o ENSAM ficou em 5º lugar de 10 equipes e foi o melhor modelo que não utilizou pesos pré-treinados.

Estudos de Ablação

Experimentos confirmaram que a mudança da codificação posicional absoluta para a relativa (LieRE) melhorou a eficiência do treinamento. Além disso, combinar o LieRE com o otimizador Muon resultou na convergência mais rápida e na melhor perda final, superando a configuração baseline (Absolute PE + Adam).

Análise Qualitativa

Sucessos: O ENSAM demonstrou delineamento preciso de grandes estruturas (ex: fígado, baço, rins em CT; corpos vertebrais em MRI) e lidou efetivamente com sequências de ultrassom 2D+t.
Falhas: O modelo teve dificuldades com detalhes finos em microscopia (vasos finos) e às vezes exibiu sobresegmentação em imagens de PET, provavelmente devido ao clipping de intensidade durante o pré-processamento. Também apresentou bordas irregulares em ultrassom devido a artefatos de movimento.

Significância e Alegações

Os autores afirmam que o ENSAM demonstra que modelos de fundação de alto desempenho para imagens médicas podem ser treinados eficientemente do zero sem depender de recursos computacionais massivos ou pesos pré-treinados externos. O artigo enfatiza que a combinação de codificação posicional relativa e o otimizador Muon é um motor fundamental para essa eficiência.

O trabalho destaca que, embora o modelo ainda não seja superior a todos os baselines em cada métrica (particularmente quando esses baselines utilizam significativamente mais dados e computação), ele alcança um forte equilíbrio entre desempenho e eficiência de recursos. Os autores notam modestamente que a arquitetura atual provavelmente não é a ótima e que trabalhos futuros poderiam se beneficiar da exploração de redes mais profundas, do tratamento de espaçamento anisotrópico via coordenadas físicas e da integração de tipos de prompts mais diversos (ex: rabiscos, laços).

O artigo conclui que o ENSAM representa um passo significativo para democratizar o acesso a modelos de fundação para imagens médicas, provando que a segmentação interativa eficaz é alcançável sob restrições rigorosas de dados e hardware.