Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification

1. Planteamiento del Problema

El artículo identifica limitaciones críticas en los modelos actuales de Vision Transformer (ViT) y Redes de Convolución Gráfica (GCN) que obstaculizan su desarrollo en tareas de clasificación de imágenes:

• Selección del tamaño de parche (Patch Size) en ViT:
  • Los parches pequeños capturan características locales pero pierden información global y aumentan el costo computacional.
  • Los parches grandes contienen demasiada información y suavizan las características locales, reduciendo la sensibilidad a texturas.
  • Pregunta clave: ¿Cómo combinar óptimamente parches pequeños y grandes?
• Deficiencia de las Posiciones 1D: Los ViT estándar utilizan embeddings de posición aprendibles en 1D. Esto ignora la estructura espacial 2D inherente a las imágenes, ya que solo modela el orden secuencial y no la relación espacial real entre parches.
• Limitaciones de la GCN: Aunque las GCN capturan bien las relaciones de conectividad local entre nodos, carecen de la capacidad para modelar información estructural global. Por el contrario, el mecanismo de self-attention de ViT captura relaciones globales pero falla al modelar la estructura local.

2. Metodología Propuesta: GCN-HViT

El autor propone GCN-HViT, un modelo híbrido que integra las ventajas de ViT y GCN mediante un proceso de dos pasos para superar las limitaciones mencionadas.

A. Vision Transformer Jerárquico (Hierarchical ViT)

El modelo diseña una arquitectura que reconoce dos niveles jerárquicos de parches en el espacio 2D:

1. Nivel 1 (Parches Pequeños): La imagen se divide en 16 parches pequeños. Se extraen características mediante una CNN y se generan embeddings de parches pequeños.
2. Nivel 2 (Parches Grandes): Los parches pequeños se agregan para formar 4 parches grandes. Se aplica una segunda CNN para obtener embeddings de parches grandes.
3. Interacción:
   • Escala Global: Dentro de cada nivel, se utiliza el mecanismo de Self-Attention (MHSA) para modelar interacciones globales entre parches.
   • Relación Jerárquica: Se modelan las relaciones entre los parches pequeños (Nivel 1) y los grandes (Nivel 2), permitiendo que la información fluya desde elementos fundamentales hasta patrones de alto nivel.

B. Red de Convolución Gráfica (GCN) como Extractor de Características Locales y Posición 2D

Para resolver el problema de la posición y la estructura local:

• Tratamiento como Grafo: Los parches de imagen en el espacio 2D se tratan como nodos en un grafo, donde las celdas de la cuadrícula tienen relaciones de adyacencia.
• Extracción Local: La GCN actúa como un extractor de características locales. Toma los embeddings de los parches y las matrices de adyacencia (que definen la conectividad espacial) para generar una nueva representación.
• Embedding de Posición 2D: La salida de la GCN se utiliza como un embedding de posición 2D (en lugar del tradicional 1D). Este embedding captura la estructura espacial de los parches vecinos y se suma a los embeddings de los parches antes de entrar al codificador Transformer.
• Variaciones: Se prueban dos tipos de matrices de adyacencia:
  • GCN-HViT-1: Matriz de adyacencia unidireccional (derecha y abajo).
  • GCN-HViT-2: Matriz de adyacencia bidireccional.

3. Contribuciones Clave

1. Arquitectura Jerárquica: Diseño de un ViT que modela interacciones de parches a escala global dentro de cada nivel y relaciones jerárquicas entre niveles (pequeño-grande), superando la rigidez del tamaño fijo de parche.
2. Nuevo Método de Posición 2D: Desarrollo de un método de embedding de posición basado en GCN que captura la estructura espacial de los parches, demostrando superioridad sobre los enfoques 1D simples.
3. Modelo Integrado y Elegante: Creación de un modelo que combina la capacidad global de ViT y la capacidad local de GCN, manteniendo principios explicables y una estructura concisa.

4. Resultados Experimentales

El modelo se evaluó en tres conjuntos de datos reales: MNIST, FashionMNIST y Quick Draw.

• Comparativa: Se comparó GCN-HViT contra ViT estándar (con 4 y 16 parches) y contra un Hierarchical ViT sin GCN.
• Rendimiento:
  • GCN-HViT-1 (matriz unidireccional) obtuvo el mejor rendimiento en todos los conjuntos de datos, alcanzando el estado del arte (SOTA).
  • Resultados destacados (Precisión %):
    • MNIST: 98.80% (vs 98.61% de ViT-16).
    • FashionMNIST: 90.26% (vs 89.46% de ViT-16).
    • Quick Draw: 86.55% (vs 84.87% de ViT-16).
• Hallazgo Importante: Contrario a la intuición, GCN-HViT-2 (bidireccional) tuvo un rendimiento inferior a GCN-HViT-1. Esto sugiere que la matriz de adyacencia unidireccional proporciona embeddings de posición más efectivos y menos información redundante o ruidosa para esta tarea específica.
• Eficiencia: Los modelos se entrenaron solo durante 30 épocas sin pre-entrenamiento, demostrando una convergencia rápida.

5. Significado e Impacto

El trabajo GCN-HViT es significativo porque:

• Resuelve la dicotomía Local-Global: Logra integrar exitosamente la modelación de relaciones globales (típica de Transformers) con la captura de estructura local y espacial (típica de GCN), algo que los modelos anteriores no hacían simultáneamente de manera efectiva.
• Replantea la Posición Espacial: Demuestra que los embeddings de posición no necesitan ser simples vectores aprendibles en 1D, sino que pueden derivarse de la estructura de grafos de la imagen para capturar mejor la topología 2D.
• Escalabilidad: La arquitectura jerárquica propuesta ofrece una vía para manejar imágenes de alta resolución y extenderse a tareas más complejas como segmentación semántica o generación de imágenes en trabajos futuros.

En resumen, GCN-HViT representa un avance en la clasificación de imágenes al demostrar que una estructura jerárquica combinada con una representación de posición basada en grafos supera a las arquitecturas Transformer estándar y sus variantes jerárquicas simples.