Resumen Técnico: ReGLA – Modelado de Campo Receptivo Eficiente con Red de Atención Lineal con Compuerta

1. Planteamiento del Problema

El despliegue de Vision Transformers (ViTs) en plataformas con recursos limitados (por ejemplo, dispositivos móviles, sistemas embebidos) se ve obstaculizado por la complejidad computacional cuadrática de los mecanismos estándar de autoatención basados en softmax. Aunque las redes neuronales convolucionales (CNN) ligeras ofrecen eficiencia, a menudo tienen dificultades para capturar dependencias de largo alcance de manera efectiva debido a campos receptivos limitados. Por el contrario, las arquitecturas híbridas CNN-Transformer heredan frecuentemente las ineficiencias de la atención convencional o sacrifican la fidelidad del modelado al intentar linealizar la atención. El desafío central abordado en este trabajo es equilibrar la alta precisión en imágenes de alta resolución con una baja latencia y una complejidad computacional lineal, sin comprometer la estabilidad del entrenamiento ni la expresividad del modelo.

2. Metodología

Los autores proponen ReGLA, una arquitectura híbrida ligera de CNN-Transformer diseñada para optimizar el compromiso entre la extracción de características locales y el modelado global. La arquitectura consta de un bloque de tallo (stem block) seguido de cuatro etapas jerárquicas, que escalan en profundidad de canales y resolución espacial. El diseño se basa en tres principios fundamentales: complejidad computacional lineal, grandes campos receptivos con enfoque local mejorado y estabilidad numérica.

Componentes Arquitectónicos Clave

1. Atención Modulada con Compuerta ReLU (RGMA)
Para reemplazar la costosa atención de softmax, ReGLA introduce RGMA, un mecanismo de atención eficiente en memoria que logra una complejidad lineal $O(Nd^2)$.

• Mecanismo: Reemplaza el kernel de softmax con un kernel lineal basado en ReLU e incorpora una unidad de compuerta (gating) ligera.
• Operación: Dado un mapa de características $x$, la salida $X_o$ se calcula como $X_o = G(x) \odot C(x)$, donde:
  • $G(x)$ es un mecanismo de compuerta convolucional (que utiliza una convolución y una activación sigmoide) que genera pesos de características locales.
  • $C(x)$ es el componente de atención lineal ReLU que extrae el contexto global.
  • $\odot$ denota la multiplicación elemento a elemento.
• Beneficio: Este diseño desacopla las interacciones de los tokens para reducir la complejidad, mientras que el mecanismo de compuerta se enfoca selectivamente en patrones locales, asegurando gradientes estables durante el entrenamiento y la inferencia.

2. Campo Receptivo Grande Eficiente (ELRF)
Diseñado para las etapas tempranas de la red, donde las entradas de alta resolución requieren una cobertura espacial expansiva, ELRF tiene como objetivo capturar información local manteniendo un campo receptivo grande sin el costo de los kernels grandes.

• Diseño: En lugar de utilizar un único kernel grande (por ejemplo, $7 \times 7$), ELRF descompone la operación en convoluciones de profundidad (depthwise convolutions) en cascada ($3 \times 3$ y $5 \times 5$) intercaladas con capas de Red de Alimentación hacia Adelante (FFN).
• Beneficio: Este enfoque por etapas logra un campo receptivo equivalente a $7 \times 7$ pero optimiza la eficiencia computacional y minimiza los cuellos de botella de acceso a la memoria aprovechando las convoluciones de profundidad.

3. Destilación de Conocimiento de Multi-Maestro
Para mejorar la generalización en diversas tareas de seguimiento, los autores emplean una estrategia de destilación de múltiples maestros aprovechando siete modelos pre-entrenados diversos (incluyendo SAM2, DeiT-III, DINOv2, iBOT, ViTamin y AIMv2).

• Adaptaciones: A diferencia de los marcos de destilación estándar (por ejemplo, UNIC) centrados en la clasificación, esta estrategia está optimizada para tareas heterogéneas de seguimiento. Introduce un pooling promedio adaptativo para construir un token CLS global a partir de los tokens de parches para una mejor coherencia espacial en tareas de predicción densa.
• Entrenamiento: La estrategia implica una fase de destilación de 30 épocas en ImageNet-21K seguida de un ajuste fino (fine-tuning) en ImageNet-1K, utilizando normalización por lotes sincronizada y pérdida de similitud de coseno para asegurar una transferencia de conocimiento estable.

3. Contribuciones Clave

• Arquitectura ReGLA: La introducción de una arquitectura CNN-Transformer altamente eficiente adaptada para el despliegue en móviles y el borde (edge), que presenta el módulo ELRF para la representación local y RGMA (una atención lineal con compuerta libre de softmax) para el modelado global.
• Estrategia de Destilación: Un nuevo marco de destilación de múltiples maestros que aborda los desafíos en la selección de modelos, la resolución de conflictos y la heterogeneidad arquitectónica entre los maestros ViT simples y las redes estudiantiles piramidales.
• Validación Empírica: Evaluación exhaustiva a través de clasificación ImageNet-1K, detección de objetos COCO y segmentación semántica ADE20K, demostrando un rendimiento de vanguardia con reducción de latencia y conteos de parámetros.

la 4. Resultados Experimentales

Los autores evaluaron las variantes de ReGLA (T, S, M, L, X) frente a modelos ligeros recientes (por ejemplo, MobileNetV4, iFormer, EfficientFormer) en múltiples evaluaciones de referencia (benchmarks).

• Clasificación ImageNet-1K:

  • ReGLA-M logra un 80.85% de precisión Top-1 a 224px de resolución con solo 4.98 ms de latencia en un iPhone 16 Pro (entrada de 512px).
  • En la categoría de 10M de parámetros, ReGLA-M supera a iFormer-M por 0.45% (sin destilación) y por 0.8% (con destilación).
  • ReGLA-L (19.9M params) alcanza un 82.9% de precisión, superando a EfficientViT-B2 (24.3M params) por un 0.7% utilizando 4.4M de parámetros menos.
  • Con la destilación de múltiples maestros, ReGLA-X alcanza un 85.2% de precisión Top-1, superando a FastViT-MA36 por un 0.5% con 3M de parámetros menos.

• Tareas de Seguimiento (COCO y ADE20K):

  • Detección de Objetos (COCO): ReGLA-M (destilado) logra un 43.9% APbox, superando a iFormer-M-destilado por 3.1% AP. Notablemente, ReGLA-M-destilado supera al más grande iFormer-L-destilado por 1.7% APbox.
  • Segmentación Semántica (ADE20K): ReGLA-M-destilado logra una ganancia de 3.6% mIoU sobre iFormer-M-destilado. ReGLA-L-destilado muestra una mejora de 3.9% mIoU sobre iFormer-L-destilado.
  • Latencia: Los modelos ReGLA demuestran consistentemente una latencia significativamente menor en CPUs móviles comparado con modelos iFormer de escala similar (por ejemplo, ReGLA-M con 4.98ms frente a iFormer-M con 19.24ms en iPhone 16 Pro).

5. Significado y Reivindicaciones

El artículo posiciona a ReGLA como una solución práctica y escalable para la "visión computacional sostenible", abordando los costos ambientales y económicos de la IA a gran escala. Los autores afirman que ReGLA encarna un cambio hacia "menos pero mejor", demostrando que la inteligencia visual sofisticada no requiere un compromiso con la eficiencia o la accesibilidad.

Específicamente, el trabajo sostiene que:

1. La atención global puede ser eficiente: RGMA supera a los métodos basados en softmax tanto en velocidad como en precisión bajo restricciones de recursos.
2. El codiseño es crítico: La integración de operadores locales (ELRF) y mecanismos de atención (RGMA) es esencial para la eficiencia de alta resolución.
3. Eficacia de la destilación: La estrategia de múltiples maestros propuesta mejora con éxito la generalización, permitiendo que modelos más pequeños superen a sus contrapartes más grandes no destilados en tareas de predicción densa.

Los autores concluyen que ReGLA establece un nuevo estado del arte para aplicaciones visuales de alta resolución, particularmente donde la latencia y la eficiencia de parámetros son primordiales.