Resumo Técnico: Aprendizado de Representação Robusta em Autoencoders Mascarados

Declaração do Problema

Embora os Autoencoders Mascarados (MAEs) tenham demonstrado um desempenho de estado da arte em tarefas de classificação de imagens por meio de pré-treinamento autossupervisionado, os mecanismos internos que impulsionam esse sucesso permanecem pouco compreendidos. Especificamente, não está claro como o espaço latente de um MAE pré-treinado é organizado em relação à estrutura de classe ao longo da profundidade da rede, particularmente dada a ausência de rótulos durante o pré-treinamento. Além disso, embora os MAEs superem os Vision Transformers (ViTs) padrão, a robustez das representações aprendidas contra perturbações de entrada (como desfoque e oclusão) e as propriedades geométricas específicas que permitem essa robustez não foram sistematicamente caracterizadas. A literatura existente tem focado amplamente em variantes arquiteturais ou refinamentos de treinamento, em vez de analisar a evolução e o comportamento das próprias representações aprendidas.

Metodologia

Os autores propõem um pipeline de análise abrangente para investigar as representações internas dos MAEs durante o pré-treinamento e o ajuste fino (fine-tuning). O estudo utiliza a arquitetura MAE ViT-Base treinada no ImageNet-1K.

1. Análise Estrutural por Camada (Pré-treinamento):

• Evolução do Embedding de Tokens: Os autores extraem embeddings de três fontes em cada uma das 12 camadas do codificador: o token CLS, tokens de patches brutos e tokens de média de patches (agregados entre os patches visíveis). Estes são visualizados usando t-SNE para observar a emergência de clusters de classes.
• Geometria de Subespaço: Para quantificar a estrutura geométrica, os autores aplicam Decomposição de Valor Singular (SVD) aos embeddings de patches de cada classe em cada camada. Isso gera um subespaço de baixa dimensão para cada classe. A separação entre classes é medida usando ângulos principais entre esses subespaços. Adicionalmente, a evolução dos valores singulares é rastreada para avaliar a informatividade das direções de base.
• Mecanismo de Atenção: O estudo computa distâncias médias de atenção para determinar se o codificador MAE depende de contexto local ou global, comparando seu comportamento com os ViTs padrão.

2. Avaliação de Robustez (Ajuste Fino):

• Tipos de Perturbação: O modelo ajustado é avaliado sob dois tipos específicos de degradação:
  • Desfoque Gaussiano (Gaussian Blur): Aplicado com variados tamanhos de kernel e desvios padrão.
  • Oclusão Guiada por Atenção: Em vez de mascaramento aleatório, os patches mais atendidos (identificados via atenção de rollout) são sistematicamente mascarados para visar as regiões críticas do modelo.
• Indicadores de Robustez: Dois métricas são introduzidas para quantificar a robustez da representação:
  • Alinhamento Direcional: Medido via similaridade de cosseno entre os embeddings de média de patch limpos e aqueles derivados de entradas perturbadas.
  • Retenção de Características por Cabeça (Head-wise): Os autores identificam "características ativas" (dimensões de alta magnitude) dentro de cabeças de atenção individuais para entradas limpas. Eles então calculam a retenção dessas características específicas em entradas perturbadas, quantificando a queda de características ativas comuns ($\Delta C$).

Principais Contribuições

O artigo apresenta cinco contribuições primárias:

1. Emergência de Estrutura Separável por Classe: Demonstra que os MAEs pré-treinados desenvolvem progressivamente estruturas separáveis por classe ao longo da profundidade da rede. Clusters de classes distintos emergem não apenas nos tokens CLS, mas também nas representações de tokens de média de patch e tokens de patches brutos, mesmo sem supervisão explícita.
2. Caracterização Geométrica: Através da análise de subespaço, os autores mostram que os subespaços específicos de classe divergem gradualmente e tornam-se cada vez mais separáveis conforme a profundidade da rede aumenta. Isso é evidenciado pelo aumento dos ângulos principais e o crescimento dos valores singulares mínimos.
3. Mecanismo de Atenção Global: Diferente dos ViTs padrão, que transitam de atenção local para global, os MAEs exibem atenção global persistente (altas distâncias de atenção média) em todas as camadas e cabeças desde o início, oferecendo uma explicação mecanística para sua rápida organização estrutural.
4. Quantificação de Robustez: O estudo avalia MAEs ajustados sob desfoque gaussiano e oclusão guiada por atenção, demonstrando que o desempenho de classificação permanece estável através de uma ampla gama de níveis de perturbação.
5. Indicadores de Sensibilidade: O artigo introduz dois indicadores complementares — invariância direcional e retenção de características ativas por cabeça — para quantificar como as representações latentes respondem a perturbações, vinculando a estabilidade da representação diretamente ao desempenho da tarefa downstream.

Resultados

• Evolução Estrutural: Nas camadas iniciais do codificador, os embeddings de diferentes classes sobrepõem-se significativamente. No entanto, por volta das camadas 9–10, clusters de classes distintos emergem, tornando-se altamente separáveis nas camadas mais profundas. Essa tendência se mantém para CLS, média de patch e tokens de patches brutos.
• Divergência de Subespaço: A análise de ângulo principal confirma que os subespaços específicos de classe rotacionam para longe uns dos outros conforme a profundidade aumenta. O valor singular mínimo também aumenta com a profundidade, sugerindo que o codificador seleciona direções de base cada vez mais significativas.
• Robustez a Perturbações:
  • Desfoque: Apesar de quedas significativas na qualidade da imagem (PSNR caindo de 28.12 dB para 20.06 dB), a acurácia top-1 permanece acima de 80% mesmo sob o desfoque mais forte.
  • Oclusão: O modelo mantém alta acurácia mesmo quando 50% dos patches mais atendidos são mascarados. A acurácia só cai drasticamente após 60% de oclusão, mantendo-se em 60.8% mesmo quando 90% dos patches atendidos são removidos.
  • ImageNet-C: O modelo mostra forte robustez a variações climáticas, desfoque e artefatos digitais, embora tenha dificuldades com grandes mudanças de distribuição (ex: interpretações artísticas no ImageNet-R).
• Estabilidade de Representação:
  • Alinhamento Direcional: A similaridade de cosseno entre embeddings limpos e perturbados permanece alta (>0.85) sob perturbações moderadas. Um declínio acentuado na similaridade correlaciona-se com erro de classificação.
  • Retenção de Características: Sob perturbações moderadas, o conjunto de características ativas dentro das cabeças de atenção permanece amplamente consistente com as entradas limpas. Um colapso rápido na retenção de características ocorre apenas em níveis extremos de perturbação, espelhando a queda na acurácia de classificação.

Significância e Alegações

O artigo afirma que o forte desempenho de classificação dos MAEs está fundamentalmente ligado à estrutura e ao comportamento das representações latentes formadas durante o pré-treinamento. Especificamente, os autores argumentam que:

• A emergência progressiva de estrutura discriminativa de classe na ausência de rótulos fornece uma inicialização robusta para o ajuste fino.
• O mecanismo de atenção global inerente ao MAE permite que o modelo infira a estrutura global a partir de um contexto limitado, facilitando a rápida separação dos subespaços de classe.
• A robustez é intrínseca: A estabilidade do desempenho de classificação sob degradação não é meramente um resultado de aumento de dados ou cronogramas de treinamento, mas está enraizada na invariância direcional e na retenção de características das representações latentes aprendidas.
• Os indicadores de sensibilidade propostos fornecem um framework quantitativo para entender por que os MAEs falham ou têm sucesso sob tipos específicos de degradação de entrada, vinculando a estabilidade da representação diretamente ao desempenho da tarefa downstream.