💻 computer science

SAM+D: Parameter-Efficient Dimensional Lifting of SAM-Family Models via Depth-Routed LoRA and Depth Shifting

Este artigo apresenta o SAM+D, um framework de eficiência de parâmetros que adapta modelos da família SAM 2D para tarefas de segmentação volumétrica 3D e 4D ao integrar o Depth-Routed LoRA e os Depth Shift Modules, alcançando um desempenho competitivo com parâmetros treináveis mínimos enquanto preserva os pesos pré-treinados.

Autores originais: Yu Song, Hao Sun, Shiyu Teng, Ikuko Nishikawa, Yen-wei Chen

Publicado 2026-08-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yu Song, Hao Sun, Shiyu Teng, Ikuko Nishikawa, Yen-wei Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ver o mundo. Durante anos, os melhores robôs foram especialistas em olhar para imagens planas e bidimensionais, como uma fotografia de um gato ou um mapa de uma cidade. Eles são incrivelmente bons nisso, treinados em bilhões de imagens para reconhecer formas e contornos instantaneamente. Mas o mundo real não é plano; ele tem profundidade. Ele tem espessura, camadas e a passagem do tempo. Quando médicos olham para um exame 3D do corpo humano ou biólogos observam células se movendo sob um microscópio ao longo do tempo, eles não estão olhando para uma única imagem plana; eles estão olhando para uma pilha delas, um volume.

O problema é que esses especialistas em imagens planas ficam confusos quando você entrega a eles um objeto 3D. Se você pedir a um robô treinado apenas em fotos para entender um tumor 3D, ele pode tentar olhar para cada fatia do tumor uma por uma, como se estivesse folheando um livro sem perceber que as páginas estão conectadas. Ele perde a visão do quadro geral de como o objeto existe no espaço. Para resolver isso, cientistas geralmente precisam construir robôs inteiros novos e massivos do zero, o que exige enormes quantidades de dados e poder computacional. Mas e se pudéssemos apenas dar aos nossos especialistas em imagens planas um par de óculos 3D e um pouco de treinamento, sem reconstruir todo o seu céreão? Essa é a grande questão que este artigo aborda: Como pegamos um modelo que conhece o 2D e o ensinamos a entender o 3D (e até o 4D, que é 3D mais o tempo) sem começar do zero?

Conheça o SAM+D, um novo e inteligente framework que atua como um adaptador mágico para esses modelos de visão "planos". Os autores, Yu Song e sua equipe, quiseram pegar o famoso Segment Anything Model (SAM) e seu primo versado em vídeo, o SAM2, e elevá-los em uma dimensão. Pense no SAM como um mestre pintor que consegue traçar perfeitamente o contorno de um gato em uma foto. O SAM+D é a ferramenta que permite que esse mesmo pintor comece subitamente a pintar uma escultura 3D de um gato, ou até mesmo um filme de um gato correndo, sem precisar reaprender a segurar o pincel.

O ingrediente secreto do SAM+D é que ele não toca no cérebro pesado e pré-treinado do modelo. Em vez disso, ele insere dois "dispositivos" minúsculos e leves em cada camada do processo de pensamento do modelo. Esses dispositivos são tão pequenos que a equipe só teve que treinar cerca de 2,8% dos parâmetros do modelo para a versão 3D e 3,7% para a versão 4D. É como fazer o upgrade do motor de um carro adicionando dois pequenos turbocompressores, em vez de substituir o motor inteiro.

O primeiro dispositivo é chamado de Depth-Routed LoRA (DRLoRA). Imagine que você está olhando para um pão de forma. A crosta da fatia de cima é diferente da fatia macia do meio, que é diferente da crosta de baixo. Um IA padrão tentaria tratar cada fatia da mesma maneira. O DRLoRA é como um guia inteligente que sabe exatamente qual fatia você está olhando. Ele possui uma equipe de pequenos especialistas (chamados de "especialistas LoRA") e um roteador que diz: "Ei, estamos olhando para a crosta, então o Especialista A deve lidar com isso", ou "Estamos no meio, então o Especialista B deve assumir o controle". Isso permite que o modelo adapte seu entendimento com base na profundidade da fatia, capturando as características únicas de diferentes partes do volume.

O segundo dispositivo é o Depth Shift Module (DSM). Este é ainda mais legal porque não custa absolutamente nada extra em termos de poder computacional. Imagine uma fila de pessoas passando um bilhete. Normalmente, a Pessoa 1 só fala com a Pessoa 2, e a Pessoa 2 só fala com a Pessoa 3. Mas em um volume 3D, a fatia acima e a fatia abaixo também são vizinhas. O DSM atua como um sussurrador mágico que permite que uma fatia "pegue emprestado" alguns recursos da fatia logo acima e da fatia logo abaixo antes de realizar seu próprio pensamento. Ele desloca uma pequena fração da informação lateralmente entre as fatias. Isso acontece instantaneamente, com zero cálculos matemáticos extras, permitindo que o modelo entenda que o objeto continua suavemente de uma fatia para a próxima.

A equipe testou este adaptador mágico em dois mundos muito diferentes. Primeiro, eles o utilizaram em tomografias computadorizadas médicas (imagens 3D de rins, pâncreas, fígado e cólon). Eles deram ao modelo apenas um único ponto (um "point prompt") na imagem para dizer "comece aqui", e o SAM+D conseguiu traçar todo o órgão 3D. Ele teve um desempenho tão bom quanto, ou melhor que, outros métodos que exigem muito mais treinamento e dados, tudo isso utilizando uma fração mínima do poder computacional.

Segundo, eles levaram o modelo para o mundo microscópico do rastreamento de células (4D, que é o espaço 3D mais o tempo). Aqui, eles observaram células se dividindo e se movendo ao longo do tempo. Ao usar o mesmo adaptador no SAM2 (a versão de vídeo), eles conseguiram rastrear células através do tempo e do espaço, lidando com divisões celulares e o aparecimento de novas células, tudo com o mesmo prompt de ponto único. Os resultados mostraram que o modelo consegue acompanhar as células muito melhor do que apenas olhando para cada quadro separadamente.

O artigo é muito claro sobre o que isso não faz. Ele não afirma ser uma solução perfeita e universal para todas as tarefas 3D possíveis ainda, e observa que ainda não foi testado na versão mais recente de "prompt de texto" do SAM (SAM3). No entanto, os resultados são sólidos: ao usar esses módulos leves, a equipe conseguiu elevar modelos 2D para 3D e 4D, provando que você não precisa jogar fora seus modelos antigos e inteligentes para entender o mundo profundo e em movimento. Você só precisa dar a eles os óculos certos.

Resumo Técnico: SAM+D

Problema
Os modelos de fundação existentes para visão, como o Segment Anything Model (SAM) e sua extensão de vídeo SAM2, são nativamente projetados para imagens 2D ou sequências 2D+T (vídeo). Embora esses modelos demonstrem fortes capacidades de zero-shot em domínios 2D, eles carecem da compreensão volumétrica genuína necessária para imagens médicas 3D (ex: tomografias computadorizadas - CT) e tarefas espaciotemporais 4D (ex: microscopia de lapso de tempo 3D). As abordagens atuais para adaptar esses modelos a dados volumétricos enfrentam limitações significativas:

Processamento fatia por fatia: Tratar volumes 3D como fatias 2D independentes ignora o contexto entre fatias, falhando em distinguir estruturas sobrepostas.
Retreinamento pesado: Arquiteturas totalmente 3D ou métodos que reconstroem o SAM/SAM2 com componentes 3D geralmente exigem conjuntos de dados anotados massivos e descartam valiosos priors pré-treinados em 2D.
Adaptação ineficiente: Os métodos de adaptador existentes frequentemente aplicam transformações uniformes através do volume, ignorando que diferentes regiões anatômicas (ex: bordas vs. interiores) requerem adaptações distintas. Além disso, modelar dependências entre fatias normalmente introduz convoluções 3D ou mecanismos de atenção que adicionam parâmetros substanciais e custo computacional.
Falta de unificação: A maioria dos métodos visa um único modelo base (seja SAM ou SAM2) e uma única dimensionalidade, carecendo de uma arquitetura unificada para elevar ambos ao 3D e ao 4D, respectivamente.

Metodologia: SAM+D
Os autores propõem o SAM+D, um framework de eficiência de parâmetros que "eleva" modelos de fundação 2D congelados em uma dimensão espacial para lidar com dados 3D e 4D. A inovação central reside na inserção de dois módulos leves e agnósticos ao modelo em cada bloco transformer pré-treinado do codificador, mantendo a vasta maioria dos parâmetros congelados.

DRLoRA (Depth-Routed LoRA):
- Mecanismo: Em vez de um único adaptador LoRA aplicado uniformemente, o DRLoRA mantém múltiplos especialistas LoRA paralelos ( $E$ ) por bloco transformer.
- Roteamento: Um roteador leve mapeia a posição de profundidade normalizada ( $z = d/D_s$ ) de uma fatia para uma distribuição softmax sobre esses especialistas.
- Função: Isso permite que o modelo aprenda adaptações dependentes da profundidade. Por exemplo, características próximas às bordas de órgãos podem receber atualizações de baixo rank diferentes de regiões interiores homogêneas. O roteador é condicionado exclusivamente à posição de profundidade, eliminando a necessidade de perdas de balanceamento de carga auxiliares exigidas pelos métodos de Mistura de Especialistas (MoE) baseados em conteúdo.
- Injeção: O DRLoRA é aplicado às projeções de Query ( $Q$ ) e Value ( $V$ ) das camadas de autoatenção, deixando as Keys ( $K$ ) congeladas para preservar o espaço de características pré-treinado.
DSM (Depth Shift Module):
- Mecanismo: Inspirado no Temporal Shift Module (TSM) para vídeo, o DSM é reaproveitado para deslocar os canais de características ao longo do eixo de profundidade espacial.
- Operação: Antes da autoatenção, uma fração ( $\alpha$ ) dos canais na fatia $i$ é deslocada para frente da fatia $i-1$ e para trás da fatia $i+1$ . Os canais restantes permanecem inalterados.
- Eficiência: Esta operação envolve zero parâmetros treináveis e zero operações de multiplicação-acumulação (MAC). Ela incorre apenas em um overhead negligenciável de tráfego de memória (medido em aproximadamente ~1,7% da latência do bloco do codificador).
- Propósito: Ele permite a troca de características entre fatias, fornecendo contexto de nível de volume sem o custo de convoluções 3D ou atenção entre fatias.

Configurações de Implementação

Configuração 3D (SAM $\to$ 3D): DRLoRA e DSM são inseridos no codificador ViT-B congelado do SAM. O modelo processa um volume reamostrado de fatias em uma única passagem direta (forward pass). Um embedding de profundidade treinável é adicionado aos embeddings de prompt para modular as predições com base na proximidade da fatia ao prompt.
Configção 4D (SAM2 $\to$ 3D+T): Os mesmos módulos são inseridos no codificador Hiera congelado do SAM2. A consistência temporal é tratada pela arquitetura de memória nativa do SAM2, enquanto DRLoRA/DSM lidam com a profundidade espacial. O LoRA é adicionalmente injetado no módulo de atenção de memória para adaptar a atenção cruzada para dados volumétricos.

Principais Contribuições

Framework Unificado: O SAM+D é o primeiro método a elevar tanto o SAM (2D $\to$ 3D) quanto o SAM2 (2D+T $\to$ 3D+T) usando os mesmos componentes leves sem redesenhar a arquitetura base.
Módulos Inovadores: Introdução do DRLoRA para atualizações de baixo rank espacialmente adaptativas e condicionadas à profundidade, e do DSM para troca de características entre fatias de custo zero.
Eficiência de Parâmetros: O método ajusta apenas ~2,8% dos parâmetros para o SAM e ~3,7% para o SAM2, significativamente menos do que as abordagens baseadas em adaptadores ou de ajuste fino total existentes.
Generalização: A abordagem demonstra generalização através de diferentes arquiteturas da família SAM, dimensionalidades alvo (3D, 4D) e domínios (CT médico, rastreamento de células em bio-cenas).

Resultados Experimentais
Os autores avaliaram o SAM+D em cinco benchmarks sob uma configuração de prompt de ponto único:

Segmentação Médica 3D: Avaliado em quatro conjuntos de dados de segmentação de tumor em CT (KiTS, Pancreas, LiTS, Colon). O SAM+D alcançou resultados competitivos ou superiores em comparação com métodos totalmente supervisionados 3D (ex: nnU-Net) e adaptadores baseados em SAM existentes (ex: 3DSAM-adapter, Med-SA), apesar de usar muito menos parâmetros treináveis.
Segmentação Espaciotemporal 4D: Avaliado no conjunto de dados Fluo-N3DH-SIM+ do Cell Tracking Challenge. O SAM+D superou abordagens de SAM2 baseadas em fatias e outros métodos de rastreamento, demonstrando que a propagação temporal pode refinar a qualidade da segmentação além do detector inicial (Cellpose).
Estudos de Ablação: Confirmaram que tanto o DRLoRA quanto o DSM fornecem ganhos complementares. O roteamento baseado em profundidade superou os roteadores MoE baseados em conteúdo, e o DSM forneceu melhor contexto entre fatias do que adaptadores de atenção 3D ou de convolução ricos em parâmetros.

Significância e Alegações
O artigo afirma que o SAM+D fornece uma receita prática e generalizável para estender modelos de fundação 2D pré-treinados para tarefas de maior dimensão. Ao tratar a dimensão adicionada (profundidade) como um eixo específico para roteamento e deslocamento, o método alcança compreensão volumétrica sem descartar priors 2D ou incorrer em altos custos computacionais. Os autores observam que, embora o trabalho atual se concentre no SAM e SAM2, o princípio de "elevação dimensional" via adaptação de eficiência de parâmetros poderia naturalmente se estender a outras dimensões (ex: elevar modelos de imagem 2D para vídeo ao tratar o tempo como o eixo adicionado). O trabalho é modesto em escopo, reconhecendo que ainda não avaliou o SAM3 (prompt de texto) e que o rastreamento 4D totalmente automático ainda requer detectores externos para eventos de divisão celular.

Mais como este