Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification

1. Problema e Motivação

O artigo aborda as limitações atuais dos Transformers de Visão (ViT) e das Redes de Convolução em Grafos (GCN) quando aplicados isoladamente à classificação de imagens. Os autores identificam três desafios principais:

• Seleção de Tamanho de Patch (Patch Size): No ViT, o tamanho do patch é crítico. Patches muito pequenos capturam apenas características locais, perdendo o contexto global e aumentando o custo computacional. Patches muito grandes podem suavizar características locais e reduzir a sensibilidade a texturas. A questão central é como combinar eficazmente patches pequenos e grandes.
• Limitações das Posições 1D: O ViT utiliza embeddings de posição 1D aprendíveis. Embora funcionem para sequências, falham em capturar a estrutura espacial 2D intrínseca das imagens, tratando os patches apenas como uma sequência linear e ignorando a vizinhança espacial real.
• Falta de Escala Global vs. Local: As GCNs são excelentes para capturar relações de conectividade local entre nós, mas carecem da capacidade de modelar informações estruturais globais do grafo. Inversamente, o mecanismo de self-attention do ViT captura relações globais, mas não modela bem a estrutura local da imagem.

2. Metodologia: GCN-HViT

Os autores propõem o GCN-HViT, um modelo híbrido que integra as vantagens hierárquicas do ViT com a extração de características locais das GCNs. A arquitetura segue um processo de duas etapas principais:

A. Vision Transformer Hierárquico (Hierarchical ViT)

O modelo introduz uma estrutura hierárquica que simula o fluxo de informação de elementos fundamentais (pequenos patches) para padrões de alto nível (grandes patches):

1. Nível 1 (Patches Pequenos): A imagem de entrada é dividida em 16 patches pequenos. Cada patch é processado por uma CNN para gerar embeddings.
2. Nível 2 (Patches Grandes): Os feature maps do Nível 1 são remodelados e agrupados para formar 4 patches maiores. Isso cria uma representação hierárquica que conecta patches pequenos a grandes.
3. Processamento: Em cada nível, os patches passam por codificadores Transformer (com Multi-Head Self-Attention e MLPs) para modelar interações globais dentro de cada nível e relações hierárquicas entre os níveis.

B. Rede de Convolução em Grafos (GCN) como Embedding de Posição 2D

Para substituir as posições 1D tradicionais e capturar a estrutura espacial:

• Grafo Espacial: Os patches de imagem no espaço 2D são tratados como nós de um grafo, onde a adjacência espacial define as arestas.
• Função da GCN: A GCN atua como um extrator de características locais. Ela recebe os embeddings dos patches e as matrizes de adjacência (que representam a vizinhança espacial).
• Resultado: A GCN gera uma representação local de cada patch, que serve como um 2D Position Embedding. Este embedding é adicionado aos embeddings dos patches antes de entrarem no Transformer, enriquecendo o modelo com informações de estrutura espacial local.

3. Contribuições Principais

• Análise de Estrutura Hierárquica: Proposição de uma arquitetura ViT hierárquica que modela interações de patches em escala global dentro de cada nível e relações entre patches pequenos e grandes através de múltiplos níveis.
• Novo Método de Position Embedding: Desenvolvimento de uma abordagem baseada em GCN para capturar a estrutura espacial 2D. A GCN substitui as posições 1D, atuando como um extrator de características locais que fornece representações espaciais mais ricas.
• Modelo Integrado e Elegante: Criação de um modelo conciso que combina a capacidade global do ViT com a capacidade local da GCN, demonstrando princípios claros e eficazes.

4. Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados do mundo real: MNIST, FashionMNIST e Quick Draw.

• Comparação com Baselines: O GCN-HViT superou consistentemente o ViT padrão (tanto com 4 quanto com 16 patches) e o ViT Hierárquico (HViT) sem GCN.
• Ablação de Adjacência: Os autores testaram duas versões de matriz de adjacência:
  • GCN-HViT-1: Matriz de adjacência unidirecional (apenas direita e abaixo).
  • GCN-HViT-2: Matriz de adjacência bidirecional.
  • Resultado Surpreendente: O GCN-HViT-1 obteve o melhor desempenho em todos os datasets (ex: 98.80% no MNIST, 90.26% no FashionMNIST, 86.55% no Quick Draw). Os autores sugerem que a matriz bidirecional pode conter menos informação eficaz ou introduzir ruído para esta tarefa específica.
• Desempenho SOTA: O modelo alcançou o estado da arte (SOTA) nos datasets testados, mesmo sem pré-treinamento e com apenas 30 épocas de treinamento.

5. Significado e Conclusão

O trabalho demonstra que a integração de GCNs e Transformers Hierárquicos resolve efetivamente o dilema entre a modelagem de contexto global e a preservação de detalhes locais e estruturais em visão computacional.

• Inovação Chave: A substituição das posições 1D por embeddings derivados de GCN (2D) permite que o modelo "entenda" melhor a topologia espacial da imagem.
• Eficiência: A abordagem hierárquica permite capturar padrões em diferentes escalas sem o custo computacional excessivo de processar apenas patches minúsculos em alta resolução.
• Futuro: Os autores planejam expandir o framework para imagens de alta resolução, aumentar o número de níveis hierárquicos e aplicar a metodologia a outras tarefas como segmentação semântica e geração de imagens.

Em resumo, o GCN-HViT representa um avanço significativo na arquitetura de modelos de visão, provando que a combinação de atenção global e convolução gráfica local supera as abordagens tradicionais de Transformers puros para classificação de imagens.