Dual-Adaptive SAM3: Hierarchical Routing over Low-Rank Expert Layers for Parameter-Efficient Medical Image Segmentation

Resumo Técnico: Dual-Adaptive SAM3 (DA-SAM3)

Declaração do Problema
O Segment Anything Model with Concepts (SAM3) oferece um paradigma promissor para a segmentação de imagens médicas de vocabulário aberto por meio de interação com linguagem natural. No entanto, adaptar modelos fundacionais de visão-linguagem de grande escala para o domínio especializado e heterogêneo das imagens médicas apresenta um equilíbrio crítico entre eficiência e especialização. O ajuste fino (fine-tuning) total e ingênuo é ineficiente em termos de parâmetros e corre o risco de esquecimento catastrófico do conhecimento pré-treinado. Por outro lado, as abordagens padrão de Mixture-of-Experts (MoE), embora capazes de especialização, introduzem uma sobrecarga computacional e de memória proibitiva, limitando sua escalabilidade em ambientes clínicos com recursos restritos. Os métodos existentes de Parameter-Efficient Fine-Tuning (PEFT) frequentemente aplicam adaptações estáticas e uniformes que falham em abordar a natureza dinâmica e hierárquica da compreensão de conceitos médicos.

Metodologia
Os autores propõem o Dual-Adaptive SAM3 (DA-SAM3), um framework projetado para alcançar alta precisão de segmentação com extrema eficiência de parâmetros. A abordagem integra uma estratégia de adaptação MoE hierárquica à arquitetura SAM3, substituindo especificamente os blocos de Redes de Alimentação Direta (FFN) dentro do módulo de fusão do modelo em profundidades críticas ($L/6, L/4, L/2$). O framework consiste em três componentes primários:

1. Encoders Congelados: O encoder de imagem ($f_v$) e o encoder de texto ($f_t$) permanecem inteiramente congelados para preservar o conhecimento geral pré-treinado. Apenas os novos níveis Dual-Adaptive MoE inseridos e os parâmetros de Normalização de Camada (LN) dentro do módulo de fusão são treináveis.
2. Dynamic Expert Router (DER): Este mecanismo consciente da tarefa realiza uma seleção de especialistas esparsa e por token. Ele raciocina conjuntamente sobre o conteúdo visual e os prompts de conceitos textuais para gerar pesos de roteamento. O roteador utiliza um vetor de contexto de domínio global ($h_{ctx}$), derivado da interação entre os tokens de conceito e os recursos visuais agrupados (pooled), juntamente com os recursos de tokens locais e a semântica original do conceito. Isso mimetiza um processo de consulta clínica sensível ao contexto, selecionando os top-$k$ especialistas (onde $k=2$) para cada token.
3. Decomposed Parameterized Experts (DPE): Para abordar a eficiência de parâmetros, cada especialista não é uma rede densa completa, mas é decomposto em um peso base congelado e compartilhado ($W_0$ herdado do SAM3) e um delta de baixo posto (low-rank) leve e treinável ($\Delta W_i = A_i B_i^\top$). Este design reduz a sobrecarga de parâmetros MoE em mais de 80% em comparação com implementações padrão de MoE.

Estratégia de Especialização Hierárquica
O framework emprega um posicionamento hierárquico de camadas MoE para emular um processo de raciocínio clínico de amplo para detalhado:

• Estágio Inicial ($L/6$): Foca no alinhamento global grosseiro, alinhando primitivas visuais de baixo nível com os conceitos de entrada.
• Estágio Intermediário ($L/4$): Dedicado à identificação de estrutura semântica, integrando recursos multimodais para resolver variações morfológicas e distinguir estruturas adjacentes.
• Estágio Tardio ($L/2$): Focado no refinamento de precisão de bordas, operando em mapas de recursos de alta resolução para aguçar bordas e resolver ambiguidades regionais.

O modelo é treinado usando uma estratégia de dois estágios: um estágio de aquecimento (warm-up) para especialização de especialistas com balanceamento de carga, seguido por um estágio de ajuste fino para calibração de roteamento em conjuntos de dados mais amplos para aumentar a generalização de vocabulário aberto.

Principais Contribuições

1. Framework Inovador: O DA-SAM3 é o primeiro framework a integrar roteamento multimodal dinâmico com decomposição de especialistas eficiente em parâmetros para adaptar modelos fundacionais de visão-linguagem para imagens médicas.
2. Mecanismos Dual-Adaptive: A introdução do Dynamic Expert Router (DER) para seleção esparsa consciente do contexto e do Decomposed Parameterized Experts (DPE) para redução drástica de parâmetros.
3. Design Hierárquico: Uma estratégia especializada onde especialistas em diferentes profundidades de rede aprendem a realizar tarefas distintas (alinhamento, identificação, refinamento), espelhando o raciocínio clínico.

Resultados Experimentais
Experimentos extensos foram conduzidos em quatro benchmarks de segmentação médica pública: Synapse (CT abdominal), MMWHS (CT cardíaco), BTCV (CT abdominal) e ACDC (RM cardíaco).

• Desempenho: O DA-SAM3 alcança resultados de estado da arte, superando os métodos atuais em aproximadamente 5% em métricas chave. No conjunto de dados Synapse, ele melhorou o Coeficiente de Similaridade de Dice (DSC) para 85,12% (um ganho de 4,37% sobre a linha de base SAM3) e reduziu a Distância de Hausdorff (HD) de 15,120mm para 8,425mm.
• Comparações: O modelo supera consistentemente o SAM3 com ajuste fino total, baselines de MoE padrão e outras arquiteturas específicas de tarefa (ex: nnU-Net, Swin-UNETR) em todos os conjuntos de dados.
• Eficiência: O design DPE reduz a sobrecarga de parâmetros MoE em mais de 80%, mantendo ou excedendo a precisão do ajuste fino padrão.
• Estudos de Ablação: Remover o DER (substituindo por roteamento aleatório) ou o DPE (usando especialistas completos) resultou em quedas significativas de desempenho, validando a necessidade tanto do roteamento dinâmico quanto da decomposição eficiente de parâmetros.

Significância
O artigo afirma que o DA-SAM3 fornece um caminho prático para o implante de modelos de IA generalistas e versáteis na prática clínica. Ao equilibrar com sucesso a extrema eficiência de parâmetros com alta precisão de segmentação, o framework aborda a necessidade crítica de uma IA médica adaptável e eficiente em recursos. Os resultados sugerem que mimetizar processos de tomada de decisão clínica através de especialização dual-adaptativa e hierárquica permite que grandes modelos fundacionais sejam efetivamente especializados para diversos conceitos médicos sem o ônus computacional do ajuste fino total ou do MoE padrão.