Resumo Técnico: Marginalização de Fase para Instabilidade de Grade de Patches em Vision Transformers

1. Definição do Problema: Instabilidade de Fase da Grade de Patches

Os Vision Transformers (ViTs) dependem de um processo de patcheificação fixo para converter imagens em sequências de tokens. Isso introduz uma fase espacial discreta: a atribuição específica de pixels a tokens depende do alinhamento da grade de patches em relação ao sistema de coordenadas da imagem. O artigo identifica esta fase da grade de patches como uma "variável de incômodo" que causa instabilidade dependente da fase em tarefas de predição densa (ex: segmentação, estimativa de profundidade, correspondência local).

Especificamente, deslocar a grade de patches por alguns pixels (um deslocamento de fase $\phi$) pode alterar a evidência de tokens disponível para o modelo, particularmente próximo a fronteiras semânticas onde pixels vizinhos pertencem a diferentes classes ou profundidades. Se as predições densas de um modelo mudam significativamente quando a grade de patches é deslocada, o modelo exibe instabilidade. Isso é distinto de perturbações genéricas de imagem (como ruído ou rotação) e representa um artefato de quantização arquitetural específico, inerente à tokenização de patches não sobrepostos.

2. Metodologia: Marginalização de Fase

O artigo propõe a Marginalização de Fase, um invólucro (wrapper) de inferência pós-hoc, livre de treinamento, projetado para mitigar essa instabilidade sem modificar o backbone ou retreinar o modelo.

Mecanismo Central

O método trata a fase da grade de patches como uma variável a ser marginalizada. Em vez de uma única passagem direta com uma grade canônica ($\phi = (0,0)$), o modelo avalia a imagem sob um conjunto estruturado de deslocamentos de fase $\Phi_K = \{\phi_1, \dots, \phi_K\}$.

1. Deslocamento de Fase: Para cada fase $\phi_k$, a imagem de entrada é processada usando um operador de deslocamento de fase $S_{\phi_k}$ (envolvendo preenchimento reflexivo e recorte) para deslocar a grade de patches.
2. Inferência: Um codificador ViT congelado e uma cabeça densa produzem um mapa de logits $z_{\phi_k}$ para cada fase.
3. Alinhamento Inverso: Cada saída é mapeada de volta para o sistema de coordenadas original da imagem usando um operador de alinhamento inverso $A^{-1}_{\phi_k}$. Isso envolve remodelagem, upsampling bilinear (com align-corners=False e recorte) para recuperar a resolução original.
4. Agregação: Os logits alinhados são calculados pela média para produzir a predição final:
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

Variante Principal: Marginalização de Fase Uniforme

A principal contribuição é a Marginalização de Fase Uniforme com $K=4$. Para um tamanho de patch par $P$, o método amostra quatro quadrantes canônicos do espaço de fase sub-patch:
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
Esta abordagem é computacionalmente equivalente a um ensemble de Test-Time Augmentation (TTA) de 4 passagens diretas, mas amostra especificamente a variável de incômodo do alinhamento da grade de patches, em vez de transformações de imagem genéricas.

Variantes Secundárias (Auditorias)

O artigo também avalia várias variantes aprendidas e adaptadas como auditorias secundárias, incluindo:

• Atenção de Características de Fase Aprendida: Um módulo treinado que aprende a ponderar características específicas de fase baseando-se na variância local.
• Ajuste Parcial do Codificador: Descongelar os últimos blocos do codificador enquanto utiliza atenção de fase.
• Média Pré-Transformer: Médias de embeddings de patch antes da autoatenção (uma variante de design negativa).
• Fusão Específica de Profundidade: Variantes adaptadas para estimativa de profundidade com correção residual.
  Estas são apresentadas como comparações exploratórias em vez do método principal proposto.

3. Principais Contribuições

1. Definição do Fenômeno: O artigo define formalmente a instabilidade de fase da grade de patches como uma variável de incômodo mensurável para a predição densa de ViTs, separando-a do aliasing de deslocamento genérico em CNNs.
2. Proposta de Método: Introduz a Marginalização de Fase Uniforme, um procedimento pós-hoc, livre de treinamento, que agrega predições sobre fases estruturadas da grade de patches.
3. Evidência Empírica: O método demonstra melhorias consistentes sobre a linha de base canônica $K=1$ em tarefas de segmentação, profundidade e correspondência local.
4. Comparações Controladas: Fornece comparações com orçamento computacional equivalente contra TTA baseado em deslocamento genérico e um estudo de escala ($K=4, 8, 16$) para estabelecer $K=4$ como um equilíbrio prático entre custo e precisão.

4. Resultados Experimentais

O método foi avaliado em segmentação semântica (GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K), estimativa de profundidade (NYU Depth v2) e correspondência de características locais (HPatches).

• Ganhos de Desempenho: A Marginalização de Fase Uniforme ($K=4$) melhorou sobre a linha de base $K=1$ em todos os cenários medidos.
  • Segmentação: As melhorias variaram de +0,76 a +1,39 mIoU em ADE20K e configurações de domínio cruzado (ex: +0,82 mIoU em GTA5→Cityscapes).
  • Profundidade: Reduziu o RMSE de 0,6506 para 0,6277 no NYU Depth v2.
  • Correspondência: Melhorou a precisão no HPatches (ex: +3,75% para DINOv2).
• Comparação com TTA: Em um experimento controlado de Cityscapes com um orçamento de quatro passagens diretas, a Marginalização de Fase Uniforme proporcionou uma vantagem modesta (+0,31 mIoU) sobre o TTA de deslocamento baseado em linhas genérico, sugerindo que amostrar a fase da grade de patches especificamente é mais eficaz do que o deslocamento genérico da imagem.
• Estudo de Escala: Aumentar $K$ além de 4 resultou em retornos decrescentes. $K=8$ mostrou essencialmente nenhuma mudança, e $K=16$ adicionou pouca precisão com latência significativamente maior, validando $K=4$ como o padrão prático.

5. Significância e Alegações

O artigo posiciona a fase da grade de patches como uma fonte mensurável de instabilidade em ViTs que pode ser mitigada sem redesenho arquitetural ou retreinamento.

• Utilidade Diagnóstica: O método serve como uma ferramenta de diagnóstico simples; uma alta variância de fase indica que as predições de um modelo são sensíveis ao alinhamento arbitrário da grade.
• Linha de Base Prática: Oferece um "diagnóstico simples e uma linha de base de marginalização pós-hoc" para a predição densa de ViTs.
• Implantação: Ao contrário de soluções arquiteturais (ex: Swin, PVT ou tokens sobrepostos) que exigem redesenho do modelo ou novos regimes de treinamento, a Marginalização de Fase é um invólucro de inferência leve compatível com backbones congelados (como modelos do tipo DINO).

Os autores mantêm um tom modesto, enquadrando o método não como um substituto para inovações arquiteturais, mas como uma correção necessária para um artefato de quantização específico, melhorando a robustez e a generalização em pipelines de predição densa existentes.