Resumen Técnico: STEAM (Módulo de Atención Mejorado por Compresión y Transformación)

Declaración del Problema

Las Redes Neuronales Convolucionales (CNN) han avanzado en la visión por computadora, pero enfrentan limitaciones para capturar campos receptivos grandes debido a las operaciones de convolución local, lo que genera desafíos computacionales y de optimización. Si bien se han introducido mecanismos de atención como la Atención de Canal (p. ej., SE, ECA, GCT) y la Atención Espacial (p. ej., CBAM, NLNets) para abordar estas dependencias, a menudo sufren de compensaciones:

• Alto Costo Computacional: Métodos como SE y CBAM utilizan reducción de dimensionalidad mediante capas totalmente conectadas o kernels grandes, aumentando significativamente los parámetros y los GFLOPs.
• Modelado Incompleto: Muchos enfoques eficientes se centran únicamente en la atención de canal (p. ej., ECA, GCT) o no logran modelar el contexto espacial de manera efectiva sin redundancia.
• Ineficiencia: Los enfoques basados en grafos existentes o los métodos no locales a menudo introducen parámetros excesivos o sobrecarga computacional, lo que los hace inadecuados para arquitecturas ligeras.

Los autores identifican una brecha para un módulo que modele de manera integral tanto la atención de canal como la espacial con parámetros mínimos y computación reducida, aprovechando principios de modelado relacional sin la sobrecarga de conexiones de grafos densos.

Metodología: STEAM

El propuesto STEAM (Módulo de Atención Mejorado por Compresión y Transformación) es un módulo de parámetros constantes que integra la Atención de Interacción de Canal (CIA) y la Atención de Interacción Espacial (SIA) utilizando modelado relacional de grafos inspirado en transformadores de grafos de múltiples cabezas.

1. Atención de Interacción de Canal (CIA)

En lugar de utilizar reducción de dimensionalidad (como en SE) o matrices de correlación densas (que son computacionalmente costosas), los autores modelan los canales como nodos en un grafo cíclico.

• Construcción del Grafo: Cada canal se trata como un nodo con su mapa espacial como vector de características. El grafo se construye conectando cada nodo de canal con sus vecinos inmediatos de 1 salto de manera cíclica (el primer canal se conecta con el último).
• Mecanismo: El módulo emplea atención de producto punto escalada de múltiples cabezas (similar a las Redes de Atención de Grafos) para modelar las relaciones entre canales vecinos.
• Eficiencia: Este enfoque evita los problemas de "sobresuavizado" de las GNN profundas y el costo computacional de los grafos densos al limitar el tamaño del vecindario a un grado fijo y pequeño (específicamente, se encontró que el grado 2 era óptimo en ablaciones).

2. Atención de Interacción Espacial (SIA) y Agrupamiento Guiado por Salida (OGP)

Para modelar dependencias espaciales de manera eficiente, los autores introducen el Agrupamiento Guiado por Salida (OGP) y un grafo espacial refinado.

• OGP: La atención espacial tradicional a menudo opera sobre mapas de características de alta resolución ($H \times W$), lo cual es computacionalmente costoso en las primeras capas. OGP transforma el mapa de características intermedio en un mapa espacial de tamaño fijo (p. ej., $7 \times 7$) utilizando Agrupamiento Promedio Global (GAP) a lo largo de la dimensión del canal. Esto asegura consistencia entre capas, capturando detalles píxel a píxel en capas más profundas e información adaptativa de alto nivel en capas anteriores.
• Construcción del Grafo: El mapa de tamaño fijo forma un grafo de cuadrícula donde cada nodo (píxel) se conecta con sus vecinos adyacentes.
• Eliminación de Aristas: Para prevenir el sobresuavizado en la submatriz central (donde los nodos tienen un grado uniforme de 4), los autores introducen una técnica de eliminación aleatoria de aristas durante el entrenamiento, lo que empíricamente mejora el rendimiento.
• Mecanismo: Similar a CIA, se aplica atención de grafos de múltiples cabezas a los nodos espaciales para generar puntuaciones espaciales, que luego se aumentan en muestreo para coincidir con las dimensiones originales del mapa de características.

3. Integración y Arquitectura

• Disposición Secuencial: Los estudios de ablación indican que una disposición secuencial de CIA seguida de SIA ("ca-sa") produce resultados ligeramente mejores que órdenes paralelos o invertidos.
• Colocación Adaptativa: Las unidades STEAM se integran en redes base (p. ej., ResNet, ShuffleNet-V2) utilizando una estrategia adaptativa basada en el número de bloques por etapa ($\lceil N_{bs}/4 \rceil$). Las unidades se colocan al final de las etapas o se distribuyen uniformemente si se requieren múltiples unidades.
• Independencia de Parámetros: El número de parámetros en STEAM es independiente del recuento de canales ($C$) o las dimensiones espaciales ($H, W$) de la red base, dependiendo únicamente de una dimensión oculta fija $d$.

Contribuciones Clave

1. Atención Dual Basada en Grafos: El artículo propone el primer enfoque basado en grafos para modelar simultáneamente la atención de canal y la espacial, utilizando conceptos de transformadores de grafos de múltiples cabezas.
2. Eficiencia de Parámetros Constantes: STEAM introduce un módulo con un número constante de parámetros independientemente de la dimensionalidad de los canales de la red base, logrando un equilibrio entre rendimiento y eficiencia computacional.
3. Agrupamiento Guiado por Salida (OGP): Se introduce una estrategia de agrupamiento novedosa para capturar eficientemente el contexto espacial, permitiendo un modelado efectivo de la atención espacial sin la carga computacional de procesar mapas de resolución completa en las primeras capas.
4. Evaluación Exhaustiva: El método se valida en tareas de clasificación de imágenes a gran escala (ImageNet), detección de objetos y segmentación de instancias (MS COCO).

Resultados Experimentales

Los autores evaluaron STEAM frente a módulos de última generación (SOTA) que incluyen SE, CBAM, ECA, GCT y MCA en benchmarks estándar.

• Clasificación de Imágenes (ImageNet-1K):

  • ResNet-50: STEAM logró un aumento del 2% en la precisión Top-1 sobre el ResNet-50 estándar. Superó a módulos líderes como MCA y GCT añadiendo solo 320 parámetros y 3.57e-3 GFLOPs.
  • Eficiencia: En comparación con ECA y GCT, STEAM logró mayor precisión con una reducción de tres veces en GFLOPs.
  • Modelos Ligeros: En ShuffleNet-V2, STEAM superó a todos sus contrapartes, logrando una ganancia del 0.27% sobre el segundo mejor módulo (GCT) con una sobrecarga computacional mínima.

• Detección de Objetos y Segmentación de Instancias (MS COCO):

  • Utilizando Faster R-CNN, Mask R-CNN y RetinaNet con redes base ResNet-50 y ResNet-101, STEAM superó consistentemente a los módulos SOTA.
  • Por ejemplo, con Faster R-CNN y ResNet-50, STEAM mejoró la AP en un 1.9% sobre la línea base y en un 0.3% sobre GCT.
  • En segmentación de instancias (Mask R-CNN), STEAM superó a la línea base y a otros módulos de atención, demostrando fuertes capacidades de generalización.

Significado y Afirmaciones

El artículo afirma que STEAM representa un paso significativo hacia adelante en el modelado eficiente de atención. Al aprovechar el modelado relacional de grafos, captura con éxito tanto las dependencias de canal como las espaciales sin la explosión de parámetros asociada con métodos tradicionales como SE o CBAM.

Los autores enfatizan que STEAM es:

• Computacionalmente Eficiente: Logra una precisión superior con aumentos insignificantes en GFLOPs y parámetros.
• Versátil: Se integra perfectamente con diversas arquitecturas, desde ResNets pesadas hasta ShuffleNets ligeros.
• Innovador: Es el primero en proponer un enfoque basado en grafos para la atención conjunta de canal y espacial, superando las limitaciones de la reducción de dimensionalidad y la convolución local en los mecanismos de atención.

El trabajo concluye que STEAM ofrece una solución robusta y eficiente en parámetros para mejorar las CNN profundas, estableciendo un nuevo estándar para los módulos de atención en términos de la compensación entre precisión y costo computacional. El trabajo futuro sugerido por los autores incluye la integración de codificación posicional en la atención espacial y el mejora del aprendizaje de grafos de correlación mediante el modelado de aristas.