💻 computer science

Primus: Enforcing Attention Usage for 3D Medical Image Segmentation

Este artigo apresenta o Primus e o PrimusV2, as primeiras arquiteturas competitivas centradas em Transformer para segmentação de imagens médicas 3D que superam as limitações dos modelos híbridos ao maximizar o uso da atenção, alcançando assim desempenho de última geração que supera ou iguala os métodos baseados em CNN líderes em nove conjuntos de dados públicos.

Autores originais: Tassilo Wald, Saikat Roy, Fabian Isensee, Constantin Ulrich, Sebastian Ziegler, Dasha Trofimova, Raphael Stock, Michael Baumgartner, Gregor Köhler, Klaus Maier-Hein

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tassilo Wald, Saikat Roy, Fabian Isensee, Constantin Ulrich, Sebastian Ziegler, Dasha Trofimova, Raphael Stock, Michael Baumgartner, Gregor Köhler, Klaus Maier-Hein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Os Transformers "Impostores"

Imagine que você está tentando construir um robô capaz de olhar para uma imagem médica 3D (como uma tomografia computadorizada de um rim) e desenhar um contorno perfeito ao redor de um tumor.

Por muito tempo, os melhores robôs para essa tarefa foram as CNNs (Redes Neurais Convolucionais). Pense numa CNN como um detetive muito habilidoso e local. Ela observa um pequeno bairro de pixels, reúne pistas e avança para o próximo bairro. É excelente em ver detalhes locais, mas às vezes perde a "visão geral" de todo o órgão.

Então, os Transformers chegaram. Eles são como "super-observadores" que conseguem olhar para a imagem inteira de uma só vez e entender como o topo do rim se relaciona com a base. Tornaram-se famosos no processamento de linguagem (como Chatbots) e em fotos naturais. Todos pensaram: "Se os Transformers conseguem ler um livro inteiro ou ver uma paisagem completa, devem ser perfeitos para exames médicos!"

Mas eis o problema: Quando os pesquisadores tentaram usar Transformers para exames médicos 3D, eles não funcionaram muito bem. Frequentemente, eram mais lentos e menos precisos do que os antigos detetives CNN.

A Investigação: Quem está fazendo o trabalho?

Os autores deste artigo decidiram investigar por que esses Transformers estavam falhando. Eles analisaram nove modelos "híbridos" populares (modelos que tentam usar tanto CNNs quanto Transformers).

Eles descobriram um segredo chocante: Os Transformers estavam majoritariamente dormindo.

A Analogia: Imagine uma equipe de construção onde você contratou um arquiteto famoso e caro (o Transformer) para projetar uma casa, mas também contratou 100 pedreiros comuns (as CNNs). Quando a casa foi terminada, os autores perceberam que o arquiteto não desenhou realmente os planos. Os pedreiros construíram a casa inteira sozinhos, e o arquiteto apenas ficou ali acenando com a cabeça.
A Evidência: Quando os pesquisadores removeram o "arquiteto" (os blocos do Transformer) desses modelos, os modelos performaram quase exatamente da mesma forma. Em alguns casos, remover o Transformer até os tornou mais rápidos e ligeiramente melhores, porque o modelo parou de desperdiçar energia em um componente inútil.

O artigo chama isso de "Índice UNet". A maioria dos modelos existentes tinha um índice alto, o que significava que eles eram, na verdade, apenas CNNs disfarçadas, carregando uma mochila pesada e inútil de Transformer.

A Solução: Primus e PrimusV2

Os autores perguntaram: "E se construíssemos um modelo onde o Transformer tivesse que fazer o trabalho?" Eles criaram duas novas arquiteturas chamadas Primus (latim para "Primeiro") e PrimusV2.

Veja como eles forçaram o Transformer a acordar e fazer seu trabalho:

1. Não esmague os detalhes (O Tokenizador)

Transformers padrão frequentemente cortam a imagem 3D em pedaços enormes (como cortar um bolo em fatias gigantes e grossas) para transformá-los em tokens de dados. Isso joga fora detalhes minúsculos e importantes, como um pequeno tumor ou um vaso sanguíneo fino.

O Conserto: O Primus usa um "tokenizador de alta resolução". Em vez de fatias gigantes, ele usa fatias menores e mais finas (8x8x8 voxels).
A Analogia: Em vez de olhar para um mapa da cidade onde cada rua é apenas uma linha borrada, o Primus olha para um mapa onde você consegue ver casas individuais. Isso dá ao Transformer informações mais detalhadas para trabalhar.

2. A Abordagem "Iterativa" (PrimusV2)

Mesmo com fatias menores, o Transformer às vezes lutava para entender as formas 3D complexas dos órgãos de imediato.

O Conserto: O PrimusV2 usa um "Embaralhamento de Patch Iterativo". Em vez de tentar entender o pedaço inteiro de uma só vez, ele processa a imagem em etapas, como descascar uma cebola ou refinar um esboço. Ele usa alguns passos convolucionais pequenos e inteligentes para preparar os dados antes de o Transformer vê-los.
A Analogia: Imagine tentar resolver um quebra-cabeça complexo. O Primus não apenas despeja todas as peças na mesa. Primeiro, ele as organiza por cor e peças de borda (os passos iterativos), tornando muito mais fácil para o "super-observador" (o Transformer) ver a imagem final.

3. Dando a ele um GPS (3D RoPE)

Transformers são naturalmente "cegos" para o espaço; eles não sabem que "esquerda" é diferente de "direita" a menos que você lhes diga.

O Conserto: Os autores adicionaram uma "Embaralhamento Posicional Rotativo" 3D especial (RoPE).
A Analogia: É como dar ao Transformer um sistema de GPS que entende profundidade, largura e altura simultaneamente. Ele sabe exatamente onde um tumor está localizado no espaço 3D em relação ao resto do órgão.

Os Resultados: O Transformer Finalmente Vence

Após essas mudanças, os resultados foram impressionantes:

O Primus tornou-se o primeiro modelo baseado em Transformer capaz de competir com a CNN padrão "padrão ouro" (nnU-Net).
O PrimusV2 não apenas competiu; ele venceu a CNN padrão na maioria dos testes e igualou as CNNs mais complexas e melhores disponíveis hoje.

A Conclusão Chave:
O artigo prova que os Transformers podem ser a melhor ferramenta para imagens médicas 3D, mas apenas se você parar de tratá-los como um ajudante de uma CNN. Você precisa projetar o sistema para que o Transformer seja o personagem principal, alimentado com dados de alta resolução e equipado com as ferramentas certas para entender o espaço 3D.

Resumo em Uma Frase

Os autores construíram um novo modelo de IA chamado Primus que finalmente força o Transformer "super-observador" a fazer o trabalho pesado na imagem médica, provando que, quando projetados corretamente, os Transformers podem superar as CNNs tradicionais de "detetive local".

1. Declaração do Problema

Apesar do sucesso dos Transformers no processamento de linguagem natural e na visão computacional de imagens naturais, seu impacto na segmentação de imagens médicas 3D tem sido limitado. Os benchmarks atuais ainda são dominados por Redes Neurais Convolucionais (CNNs), particularmente pelo framework nnU-Net. Os autores identificam duas deficiências críticas nas abordagens existentes baseadas em Transformers para imagens médicas:

Excesso de Dependência de Convoluções: A maioria das arquiteturas "Transformer" são, na verdade, modelos híbridos onde a maioria dos parâmetros e capacidade computacional reside em blocos convolucionais (codificadores/decodificadores), tornando os componentes do Transformer meramente auxiliares.
Ineficácia da Atenção: Em muitos modelos híbridos, a remoção dos blocos Transformer resulta em quedas de desempenho negligenciáveis, sugerindo que os modelos estão aprendendo representações apenas via CNNs. Além disso, modelos existentes puramente ou quase puramente Transformer frequentemente têm desempenho inferior a bases CNNs fortes, provavelmente devido à dificuldade de treinar Transformers do zero em conjuntos de dados médicos pequenos e esparsamente rotulados.

2. Metodologia

Os autores propõem uma abordagem de duas frentes: primeiro, uma desconstrução rigorosa de modelos existentes para provar suas limitações e, segundo, o projeto de novas arquiteturas verdadeiramente centradas em Transformers.

A. Análise de Arquiteturas Existentes

Os autores analisaram nove modelos populares baseados em Transformers (por exemplo, TransUNet, SwinUNETR, UNETR) usando uma métrica chamada Índice UNet.

Definição do Índice UNet: Uma razão que mede a quantidade de parâmetros convolucionais fora dos blocos Transformer em relação a um U-Net padrão.
Descobertas: A maioria dos modelos possui um alto Índice UNet (forte dependência de CNN). Quando os blocos Transformer foram substituídos por mapeamentos de identidade, 6 de 9 modelos mostraram uma queda inferior a 3% no Coeficiente de Similaridade Dice (DSC), provando que o Transformer não era o principal motor do desempenho.

B. As Arquiteturas Primus e PrimusV2

Para abordar essas questões, os autores projetaram Primus e PrimusV2, as primeiras arquiteturas centradas em Transformer competitivas para imagens médicas 3D. Esses modelos minimizam parâmetros convolucionais, forçando a rede a depender de mecanismos de atenção.

Inovações Chave de Projeto:

Tokenização de Alta Resolução:
- Ao contrário dos ViTs padrão que usam grandes patches $16\times16\times16$ (que perdem detalhes locais), o Primus usa um tamanho de patch $8\times8\times8$ para preservar estruturas anatômicas de alta granularidade.
- O PrimusV2 introduz um Embedding de Patch Iterativo. Em vez de uma única projeção, ele usa uma cadeia de blocos convolucionais residuais para fazer o downsample iterativo e extrair características semânticas antes da tokenização. Isso cria tokens mais ricos sem depender de um backbone CNN pesado.
Embeddings Posicionais Rotacionais 3D (RoPE):
- Os embeddings posicionais absolutos padrão lutam com os deslocamentos espaciais comuns em dados médicos 3D. Os autores adaptaram os Embeddings Posicionais Rotacionais Axiais (RoPE) para 3D, codificando distâncias e orientações relativas diretamente no mecanismo de atenção para capturar melhor as correlações espaciais volumétricas.
Componentes Modernos de Transformer:
- Blocos MLP: Adoção de SwiGLU (Unidades Lineares Portadas ativadas por Swish) com Normalização de Camada, comprovadamente eficazes em Transformers de imagens naturais (por exemplo, EVA-02).
- Mecanismos de Estabilidade: Uso de LayerScale e Normalização Pós-Atenção para estabilizar o treinamento em modelos grandes (Primus-L) e evitar divergência.
- Decodificador Leve: Um decodificador composto por convoluções transpostas que faz o upsample dos tokens independentemente, minimizando a influência convolucional e mantendo o Índice UNet baixo.

3. Principais Contribuições

Desconstrução Empírica: Fornecimento de evidências quantitativas (via Índice UNet e estudos de ablação) de que os atuais modelos médicos "Transformer" são efetivamente CNNs com adições mínimas de atenção.
Primeiros Modelos Centrados em Transformer Competitivos: Introdução de Primus e PrimusV2, que alcançam desempenho de última geração mantendo a vasta maioria dos parâmetros e FLOPs dentro dos blocos Transformer.
Inovações Arquiteturais: Demonstração de que combinar tokenização de alta resolução ( $8\times8\times8$ ), embedding de patch iterativo e RoPE 3D permite que Transformers superem a escassez de dados e os requisitos de características locais da imagem médica.
Eficiência no Aprendizado Auto-supervisionado: Destaque de que designs centrados em Transformer são mais eficientes para pré-treinamento com Modelagem de Imagem Mascarada (MIM), utilizando significativamente menos VRAM (40% menos) em comparação com arquiteturas pesadas em CNN ao mascarar tokens.

4. Resultados Experimentais

Os modelos foram avaliados em nove conjuntos de dados públicos (incluindo AMOS22, KiTS23, TotalSegmentator-BTCV, SBM, etc.) cobrindo várias modalidades (TC, RM) e órgãos.

Desempenho vs. Bases:
- Primus: Superou os métodos atuais baseados em Transformers e competiu diretamente com o nnU-Net padrão, superando-o em 4 de 9 conjuntos de dados.
- PrimusV2: Superou significativamente todas as outras bases de Transformer (incluindo UNETR++, SwinUNETRv2) e alcançou paridade com CNNs de última geração como ResEnc-L e MedNeXt.
- Redução da Lacuna: O PrimusV2 reduziu a lacuna de desempenho em relação às melhores CNNs para dentro de 0,05–0,29 pontos DSC, uma melhoria massiva em relação às tentativas anteriores de Transformer, que ficavam atrás por 8–11 pontos DSC.
Insights de Ablação:
- A remoção do Transformer do PrimusV2 causou uma queda de ~5,0 DSC, confirmando que o modelo depende fortemente de seus mecanismos de atenção (diferente de híbridos anteriores onde a queda era próxima de 0).
- O Tokenizador Iterativo no PrimusV2 forneceu um ganho de ~2 DSC sobre a projeção padrão, melhorando particularmente o desempenho em lesões pequenas (por exemplo, metástases cerebrais no conjunto de dados SBM).
Escalonamento: Embora o aumento do tamanho do modelo (de S para L) tenha mostrado retornos decrescentes em conjuntos de dados muito pequenos (devido ao overfitting), o PrimusV2-L alcançou as pontuações gerais mais altas em conjuntos de dados maiores.

5. Significado

Este trabalho marca uma mudança de paradigma na segmentação de imagens médicas 3D:

Viabilidade de Transformers Puros: Prova que os Transformers podem ser o principal motor de desempenho na imagem médica, não apenas um complemento às CNNs.
Preparação para o Futuro: Ao estabelecer uma base forte centrada em Transformer, o artigo permite a adoção de aprendizado auto-supervisionado (SSL) e integração multi-modal (por exemplo, combinando imagens com relatórios textuais) em IA médica, áreas onde os Transformers se destacam, mas as CNNs lutam.
Aplicabilidade Clínica: A análise do tempo de inferência mostra que mesmo os maiores modelos PrimusV2 cabem dentro das janelas de decisão clínica (por exemplo, detecção de AVC), tornando-os viáveis para implantação no mundo real.

Em conclusão, Primus e PrimusV2 demonstram que, com as adaptações arquitetônicas adequadas (tokens de alta resolução, RoPE 3D, embedding iterativo), os Transformers podem igualar ou superar as melhores CNNs na segmentação médica 3D, abrindo caminho para pipelines de IA médica de próxima geração.