A3-TTA: Adaptive Anchor Alignment Test-Time Adaptation for Image Segmentation

Resumo Técnico de A3-TTA: Adaptação de Modelo em Tempo de Teste com Alinhamento de Âncora Adaptativo para Segmentação de Imagens

Definição do Problema
Modelos de segmentação de imagens baseados em aprendizado profundo frequentemente sofrem degradação de desempenho quando implantados em domínios de destino que diferem de seus domínios de treinamento (origem) devido a variações em protocolos de imagem, scanners ou condições ambientais. Embora a Adaptação de Domínio Não Supervisionada (UDA) e a Adaptação de Domínio Não Supervisionada Livre de Origem (SFUDA) abordem isso, elas geralmente exigem treinamento de múltiplos épocas ou acesso a dados de origem, limitando sua utilidade em configurações clínicas em tempo real, onde os dados chegam em fluxos. A Adaptação de Modelo em Tempo de Teste (TTA) oferece uma solução ao adaptar modelos online usando apenas imagens de teste não rotuladas, sem dados de origem. As estratégias de TTA existentes enfrentam desafios significativos:

1. A adaptação de Normalização de Lote (BN) frequentemente falha sob grandes desvios de domínio devido a distribuições de características incompatíveis.
2. A otimização não supervisionada (ex: minimização de entropia) carece de supervisão ao nível de pixel e pode levar ao esquecimento catastrófico.
3. Métodos baseados em pseudo-rótulos tipicamente dependem de heurísticas de perturbação-ensemble (ex: dropout, aumento de dados, injeção de ruído) para gerar auto-rótulos. Esses métodos carecem de fundamentação distributiva explícita, resultando em pseudo-rótulos ruidosos e instáveis que desencadeiam acúmulo de erros e degradam o desempenho.

Metodologia: Estrutura A3-TTA
Os autores propõem o A3-TTA (Adaptive Anchor Alignment Test-Time Adaptation), uma estrutura projetada para construir pseudo-rótulos confiáveis por meio de supervisão guiada por âncoras sem exigir dados de origem. O método opera de maneira online, em uma única passagem, e consiste em quatro componentes principais:

1. Identificação de Imagem-Âncora-Alvo (ATI) via Densidade de Compactação de Classe (CCD):
   Em vez de depender de perturbações estocásticas, o A3-TTA identifica um subconjunto de imagens do domínio de destino que são "bem preditas" e distribucionalmente próximas do domínio de origem. Estas são denominadas Imagens-Âncora-Alvo (ATIs). A seleção baseia-se em uma nova métrica chamada Densidade de Compactação de Classe (CCD), que calcula um escore de compactação ($S_i$) baseado na distribuição de probabilidade softmax das predições de classe. Um escore mais baixo indica maior compactação de predição e menor ambiguidade entre classes. Diferente da entropia ao nível de pixel ou do MC Dropout, a CCD é um sinal global ao nível de classe computável em uma única passagem direta (forward pass).

2. Banco de Características Dinâmico e Alinhamento de Características:
   As ATIs selecionadas são armazenadas em um Banco de Características de capacidade fixa. Para cada imagem de teste que chega, o modelo recupera a característica de âncora mais semelhante deste banco. Uma estratégia de Refinamento Baseado em Alinhamento de Características (FAR) é então aplicada:

• Fusão de Características Sensível à Similaridade: A característica latente da imagem de teste é fundida com a característica de âncora recuperada usando um coeficiente ponderado pela similaridade.
• Normalização de Características Baseada em Âncora: A característica fundida é normalizada usando a média e o desvio padrão da característica de âncora.
  Este processo refina a representação da imagem de teste, alinhando-a mais proximamente à distribuição similar à de origem para gerar pseudo-rótulos mais confiáveis.

3. Supervisão Densa Guiada por Fronteiras:
   Os pseudo-rótulos refinados são usados para supervisionar o modelo via uma estratégia de perda dupla:

• Consistência Semântica ($L_{sem}$): Uma perda de entropia cruzada normalizada que garante o alinhamento entre a predição original e o pseudo-rótulo refinado.
• Minimização de Entropia Orientada a Fronteiras ($L_{be}$): Uma perda que visa especificamente regiões de alta entropia (tipicamente fronteiras de objetos) para reduzir a incerteza e aumentar a clareza das bordas, evitando a instabilidade da minimização de entropia global.

4. Mean Teacher Auto-Adaptativo Robusto:
   Para estabilizar as atualizações em um cenário de época única, o A3-TTA emprega uma estrutura de Mean Teacher. Crucialmente, ele introduz uma taxa de Média Móvel Exponencial (EMA) Auto-Adaptativa. A taxa de atualização é regulada dinamicamente pela divergência de entropia cruzada normalizada entre as predições do professor (teacher) e do aluno (student). Se a divergência for grande (indicando um desvio de distribuição significativo), o professor atualiza de forma mais agressiva; se a divergência for pequena, o professor retém mais de seus parâmetros anteriores para manter a estabilidade.

Principais Contribuições

• Imagens-Âncora-Alvo (ATIs) & Métrica CCD: Introdução das ATIs como referências estáveis e uma nova métrica de Densidade de Compactação de Classe para identificação eficiente em passagem única baseada na confiança do softmax.
• Refinamento de Alinhamento de Características: Uma estratégia inovadora usando um banco de características dinâmico e operações de fusão/normalização para refinar as representações das imagens de teste para geração de pseudo-rótulos.
• Supervisão Aprimorada: Integração de consistência semântica e minimização de entropia orientada a fronteiras para melhorar a qualidade da predição ao nível de pixel.
• EMA Auto-Adaptativo: Uma estratégia de atualização dinâmica para a estrutura mean-teacher que equilibra adaptação rápida com estabilidade baseada na consistência da predição.
• Agnosticismo de Modelo: A estrutura não requer dados de origem, tarefas de proxy adicionais ou modificações arquitetônicas nos modelos de segmentação existentes.

Resultados Experimentais
Os autores avaliaram o A3-TTA em três conjuntos de dados multi-domínio:

1. RM Cardíaco (M&MS): Segmentação de Ventrículo Esquerdo, Miocárdio e Ventrículo Direito através de quatro fabricantes de scanners.
2. RM de Próstata: Segmentação através de seis diferentes centros.
3. Cityscapes (Condições Adversas): Segmentação sob condições de névoa, noite, chuva e neve usando DeepLabV3+.

Desempenho Quantitativo:

• Imagens Médicas: O A3-TTA melhorou os escores médios de Dice em 10,40% (Coração) e 17,68% (Próstata) em relação ao baseline apenas de origem (source-only). Superou consistentemente os métodos de TTA de estado da arte (ex: TENT, CoTTA, SAR) em todos os domínios de destino, alcançando os maiores escores de Dice e o menor ASSD (Distância de Superfície Simétrica Média).
• Imagens Naturais: No conjunto de dados de condições adversas do Cityscapes, o A3-TTA melhorou o Dice em 16,90% em relação ao modelo de origem, superando o melhor método TTA existente (TENT) em 2,14–2,93 pontos percentuais.
• TTA Contínua: Em cenários de adaptação sequencial (adaptando-se através de múltiplos domínios de destino), o A3-TTA demonstrou uma forte capacidade anti-esquecimento, mantendo alto desempenho em rodadas subsequentes onde outros métodos sofreram com acúmulo de erro.
• Robustez: Sob ruído Rician simulado e desfoque de movimento, o A3-TTA manteve um desempenho significativamente superior em comparação com outros métodos TTA e o modelo de origem.
• Eficiência: O método é computacionalmente eficiente, processando fatias em aproximadamente 0,044 segundos com menor consumo de memória GPU (4,99 GB) comparado ao CoTTA (7,23 GB) sob configurações similares.

Significância e Alegações
O artigo afirma que o A3-TTA aborda os problemas críticos de instabilidade e acúmulo de erro inerentes aos atuais métodos de TTA baseados em pseudo-rótulos. Ao substituir perturbações heurísticas por alinhamento guiado por âncora, o método fornece um mecanismo fundamentado na distribuição para gerar sinais de supervisão confiáveis. Os autores enfatizam que o A3-TTA é particularmente significativo para a implantação clínica em tempo real, onde os dados chegam em fluxos, dados de origem não estão disponíveis e o treinamento de múltiplas épocas é inviável. A capacidade da estrutura de manter o desempenho através de domínios sequenciais sem esquecimento catastrófico torna-a uma solução robusta para ambientes dinâmicos. Os autores observam que, embora o método seja eficaz para desvios de distribuição típicos, lacunas extremas de mudança de modalidade (ex: CT para RM) permanecem um desafio, e trabalhos futuros explorarão a extensão da abordagem para modelos 3D e modelos de fundação (foundation models).