Resumo Técnico: DeCoDrift: Estabilização do Acoplamento do Decodificador em Segmentação de Modelos Fundamentais em Malha Fechada

Declaração do Problema

Modelos de segmentação fundamentais, como o Segment Anything Model (SAM), estão sendo cada vez mais implantados em pipelines iterativos onde as máscaras previstas de uma iteração servem como prompts para a próxima. Isso cria um sistema dinâmico em malha fechada. Embora pesquisas anteriores tenham se focado na robustez do lado da entrada (por exemplo, sensibilidade a prompts, robustez a corrupções), o comportamento interno do decodificador durante esses loops de feedback iterativos permanece inexplorado.

O artigo identifica um modo de falha previamente negligenciado denominado deriva de acoplamento do decodificador. Neste fenômeno, a atenção cruzada do decodificador de máscaras perde progressivamente o alinhamento com o objeto-alvo ao longo das iterações. Esse desalinhamento faz com que os erros se acumulem: pequenas imprecisões em uma máscara prevista ($M_t$) geram prompts deslocados ($p_{t+1}$), que alteram a atenção cruzada do decodificador, levando a uma degradação adicional na máscara subsequente. A questão central abordada é: O que acontece dentro do decodificador do SAM durante essa deriva iterativa e podemos intervir no momento da inferência sem retreinamento?

Metodologia

1. Instrumentação e Métricas

Os autores instrumentaram o decodificador de máscaras de duas camadas do SAM em quatro locais específicos de atenção: atenção auto-gerada final, atenção cruzada de token para imagem, atenção cruzada de imagem para token e atenção final de token para imagem. Com base nesses sinais internos, eles derivaram dez métricas para quantificar o acoplamento entre a atenção do decodificador e o alvo, sem depender de dados verdadeiros para monitoramento:

• Sinais Livres de Dados Verdadeiros: Deriva da Âncora de Atenção (AAD), Estabilidade de Acoplamento Temporal (TCS), Energia de Deriva do Prompt (PDE), Entropia de Atenção (AE) e Correlação Auto-Cruzada (SCA).
• Dependentes de Dados Verdadeiros (para análise): Alinhamento de Máscara de Atenção Cruzada (CAMA), Razão de Vazamento de Distratibilidade (DLR), Queda de Acoplamento Causal (CCD) e uma Pontuação de Acoplamento Prompt-Imagem composta (PICS).

2. Análise de Sistemas Dinâmicos

O processo de promptagem iterativa é formalizado como um sistema dinâmico de tempo discreto: $p_{t+1} = \Phi_\theta(I_t, p_t)$.

• Análise de Estabilidade: Os autores provam que o loop de feedback é assintoticamente estável apenas se o raio espectral do Jacobiano, $\rho(J_t)$, for menor que 1. Quando $\rho(J_t) \geq 1$, os erros crescem geometricamente, manifestando-se como a deriva observada.
• Estabilização Proximal: Para contrabalançar isso, eles propõem substituir a atualização padrão por uma atualização regularizada derivada de operadores proximais. Essa atualização combina a previsão atual com uma âncora inicial ($p_0$) e o prompt anterior ($p_{t-1}$), reduzindo efetivamente o raio espectral do sistema e limitando a amplificação de erros.

3. Framework DeCoDrift

Com base na análise, os autores introduzem o DeCoDrift, um framework de estabilização sem treinamento e no momento da inferência, composto por quatro componentes:

1. Extração de Prompt Guiada por Atenção: Em vez de usar momentos brutos da máscara, os prompts (centroides/caixas delimitadoras) são extraídos usando o próprio mapa de atenção do decodificador como um prior espacial para enviesar a extração em direção às regiões atendidas.
2. Regularização de Âncora Proximal: O prompt extraído é regularizado usando a solução de forma fechada derivada, combinando o novo prompt com uma âncora fixa e o prompt anterior para evitar deriva e oscilação ilimitadas.
3. Seleção de Candidatos Consciente do Decodificador: Quando múltiplas máscaras candidatas são geradas, os critérios de seleção são modificados para equilibrar confiança, continuidade, incerteza, divergência e vazamento, em vez de simplesmente maximizar a Interseção sobre União (IoU).
4. Persistência Suave de Objetos: Um mecanismo para reter objetos que estão temporariamente ocluídos ou instáveis, usando limiares AAD/TCS e recuperação baseada em âncora, substituindo a filtragem rígida.

Principais Contribuições

1. Framework de Acoplamento do Decodificador: A primeira instrumentação sistemática do decodificador de um modelo fundamental para definir métricas que quantificam o acoplamento atenção-alvo sem dados verdadeiros.
2. Caracterização Empírica: Demonstração em dados de microscopia eletrônica volumétrica (MitoEM) de que a promptagem iterativa padrão sofre de deriva de atenção sistemática, energia de prompt elevada e estabilidade temporal degradada em comparação com um limite superior ancorado por oráculo.
3. Análise Dinâmica: Formalização do loop de feedback de prompt como um sistema dinâmico, provando que a regularização de âncora proximal limita o Jacobiano efetivo e estabiliza o sistema.
4. Estabilização sem Treinamento: A introdução do DeCoDrift, que melhora a qualidade e a estabilidade da segmentação sem retreinamento, modificação de pesos ou dados adicionais.

Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados MitoEM (mitocôndrias de córtex de rato) usando 10 fatias volumétricas e 133.452 chamadas de decodificador pareadas.

• Métricas de Acoplamento: A promptagem iterativa padrão (Método A) exibiu Deriva da Âncora de Atenção (AAD) significativamente maior e Estabilidade de Acoplamento Temporal (TCS) menor em comparação com o oráculo (Método B). Especificamente, o TCS caiu de 0,995 (oráculo) para 0,847 (iterativo), indicando um deslocamento de 15% na atenção por etapa.
• Desempenho de Estabilização: O DeCoDrift (A-Stab) fechou 76,4% da lacuna de TCS e 27,9% da lacuna de AAD em relação ao oráculo.
• Qualidade de Segmentação: O DeCoDrift melhorou a Interseção sobre União (IoU) de ponta a ponta em 37,7% (relativo) em comparação com a linha de base iterativa padrão em distâncias curtas (≤10 fatias).
• Ablação: O componente de regularização proximal foi identificado como o principal contribuinte para a estabilidade, reduzindo a AAD em 18% e aumentando a TCS em 12,2 pontos percentuais por si só.
• Tempo de Execução: O framework adiciona aproximadamente 4,1 ms (4,9%) de sobrecarga por objeto por iteração em uma GPU A5000.

Significado e Alegações

O artigo alega que as dinâmicas internas do decodificador não são meramente diagnósticas, mas fornecem sinais acionáveis para estabilizar modelos fundamentais em uso em malha fechada. As principais descobertas são:

• O Desacoplamento é Sistemático: A promptagem iterativa induz um modo de falha sistemático onde a atenção se desvia do alvo, invisível a partir da máscara de saída sozinha até que os erros se acumulem.
• Sinais Internos Preveem Qualidade: Métricas como AAD e TCS são fortemente preditivas da qualidade da segmentação (correlações de Pearson/Spearman $|r| > 0,95$) quando o acoplamento é controlado.
• Estabilidade vs. Adaptabilidade: O DeCoDrift alcança um "ponto ideal" limitando a deriva por meio de regularização proximal, enquanto preserva flexibilidade suficiente para adaptação entre fatias, sem exigir âncoras de dados verdadeiros durante a inferência.
• Generalizabilidade: Os autores sugerem que qualquer sistema que consulta iterativamente um modelo fundamental (por exemplo, promptagem de cadeia de pensamento, difusão iterativa) pode exibir deriva análoga, e seu framework é agnóstico à arquitetura.

Os autores permanecem modestos quanto às limitações, observando que a avaliação está atualmente restrita a um único conjunto de dados principal (MitoEM) e que o método ancorado por oráculo serve apenas como um limite superior. Eles reconhecem que, embora o DeCoDrift estabilize a parte dinâmica do loop, o acoplamento estático (dependência causal) é mais difícil de alterar sem modificação de pesos.