Resumo Técnico: Indução de Localidade Espacial em Vision Transformers através do Protocolo de Treinamento

Declaração do Problema

Vision Transformers (ViTs) alcançaram desempenho competitivo em classificação de imagens, mas diferem fundamentalmente das Redes Neurais Convolucionais (CNNs) em seus vieses indutivos. Enquanto as CNNs incorporam explicitamente a localidade espacial por meio de convoluções e campos receptivos limitados, os ViTs utilizam auto-atenção global, permitindo que cada token atenda a todos os outros tokens sem restrição espacial. Embora essa flexibilidade permita a captura de dependências de longo alcance, ela exige que o modelo aprenda a atender localmente se tal comportamento for benéfico para a tarefa.

Trabalhos anteriores de Raghu et al. [12] demonstraram que a localidade nas camadas iniciais dos ViTs emerge principalmente por meio de pré-treinamento em grande escala (por exemplo, no JFT-300M) ou quando a capacidade do modelo é baixa em relação ao tamanho dos dados. No entanto, permanece incerto se o próprio protocolo de treinamento — especificamente as técnicas de aumento e regularização aplicadas durante o treinamento do zero — pode induzir localidade espacial em conjuntos de dados de escala moderada (50.000–100.000 imagens) sem a necessidade de pré-treinamento massivo.

Metodologia

Os autores projetaram um experimento controlado para isolar os efeitos dos protocolos de treinamento na estrutura interna de atenção dos ViTs.

Configuração Experimental

• Arquitetura: Um ViT compacto (Profundidade $L=8$, Embedding $D=192$, 8 cabeças, $\approx$2,4M de parâmetros) treinado do zero. O dropout interno foi definido como 0,0 para garantir que quaisquer efeitos observados fossem atribuídos exclusivamente ao protocolo de treinamento, e não à regularização estocástica dentro da rede.
• Conjuntos de Dados: Três conjuntos de dados de complexidade crescente foram utilizados: CIFAR-10, CIFAR-100 e Tiny-ImageNet. Para garantir a comparabilidade das métricas espaciais, todas as imagens foram processadas em $N_p=64$ patches (uma grade de $8 \times 8$).
• Protocolos:
  • Linha de Base: Aumento mínimo (Recorte Aleatório, Reflexão Horizontal Aleatória) e perda padrão CrossEntropy.
  • Moderno: Incorpora três componentes padrão no treinamento eficiente de Transformers: AutoAugment (ou ColorJitter para Tiny-ImageNet), CutMix e Suavização de Rótulos (Label Smoothing).
• Métricas: O estudo caracteriza padrões de atenção usando duas métricas por cabeça:
  1. Distância Média de Atenção (MAD): Quantifica a distância espacial média dos tokens atendidos. Valores mais baixos indicam atenção local.
  2. Entropia de Atenção Normalizada: Mede a concentração da distribuição de atenção. Valores mais baixos indicam atenção concentrada em poucos tokens.

Estudo de Ablação

Para identificar o motor específico da localidade, um estudo de ablação sistemático foi conduzido no CIFAR-100. Isso envolveu:

1. Remover componentes individuais do protocolo Moderno.
2. Adicionar componentes individuais ao protocolo de Linha de Base.
   Este desenho cobriu todas as oito combinações possíveis dos três componentes (AutoAugment, CutMix, Suavização de Rótulos).

Resultados Principais

1. Comparação de Protocolos

Em todos os três conjuntos de dados, o protocolo Moderno produziu consistentemente atenção mais local e concentrada nas camadas iniciais em comparação com a Linha de Base.

• CIFAR-100: O efeito foi mais pronunciado. A MAD mínima caiu de 0,316 (Linha de Base) para 0,008 (Moderno).
• Espaço Comportamental: No espaço MAD-Entropia, o protocolo de Linha de Base mostrou uma distribuição uniforme de cabeças na região de alta distância e alta entropia (atenção global e difusa). O protocolo Moderno induziu uma trajetória onde as camadas iniciais se deslocaram em direção à região de baixa distância e baixa entropia (local e concentrada), imitando a estrutura hierárquica das CNNs antes de convergir para atenção global em camadas mais profundas.

2. Achados da Ablação

O estudo de ablação identificou o CutMix como o único fator determinante para o surgimento da localidade espacial.

• Separação Binária: Todas as condições contendo CutMix (Moderno, $-$AutoAugment, $-$Suavização de Rótulos, $+$CutMix) exibiram uma MAD mínima $\le 0,024$. Por outro lado, todas as condições sem CutMix (Linha de Base, $-$CutMix, $+$AutoAugment, $+$Suavização de Rótulos) permaneceram com MAD $\ge 0,210$.
• Independência de Outros Componentes: AutoAugment e Suavização de Rótulos não mostraram efeito independente na localidade. Adicionar apenas AutoAugment ou Suavização de Rótulos à Linha de Base resultou em valores de MAD quase idênticos à Linha de Base.
• Precisão vs. Localidade: Tanto CutMix quanto AutoAugment melhoraram a precisão de teste em margens comparáveis sobre a Linha de Base ($\approx$6–7 pontos percentuais). No entanto, apenas o CutMix alterou a geometria da atenção para induzir localidade.

Significado e Alegações

O artigo alega demonstrar que protocolos de treinamento podem induzir localidade espacial em Vision Transformers treinados do zero em conjuntos de dados de escala moderada, desafiando a noção de que tal comportamento requer pré-treinamento em grande escala ou restrições arquitetônicas específicas.

• Mecanismo: Os autores postulam que o CutMix induz localidade ao forçar o modelo a classificar corretamente usando apenas regiões parciais da imagem. Essa pressão incentiva as camadas iniciais a extrair informações discriminativas de vizinhanças locais, criando efetivamente um viés indutivo semelhante ao das CNNs.
• Distinção em Relação a Trabalhos Anteriores: Enquanto Raghu et al. [12] estabeleceram a escala de dados como um fator crítico para a localidade, este trabalho identifica a pressão para classificar a partir de regiões parciais (via CutMix) como um fator alternativo e suficiente.
• Insight Estrutural: O estudo destaca que melhorias na precisão de classificação não necessariamente se correlacionam com mudanças na estrutura interna de atenção. Técnicas como AutoAugment e CutMix podem produzir ganhos de precisão semelhantes, mas operam através de mecanismos internos fundamentalmente diferentes (aumento da diversidade de entrada vs. indução de extração de características locais).

Limitações

Os autores reconhecem várias limitações:

• Os experimentos foram conduzidos em uma única arquitetura compacta; a generalização para modelos maiores (por exemplo, ViT-B, ViT-L) requer validação.
• O estudo utilizou uma única semente de inicialização.
• O estudo de ablação foi realizado exclusivamente no CIFAR-100.
• A dinâmica temporal de quando a localidade emerge durante o treinamento não foi analisada.

Trabalhos futuros propostos incluem validação com múltiplas sementes, replicação em outros conjuntos de dados, extensão para arquiteturas maiores e análise temporal do surgimento da localidade.