Riepilogo Tecnico: ReGLA – Modellazione Efficiente del Campo Recettivo con Rete di Attenzione Lineare Gated

1. Definizione del Problema

L'implementazione dei Vision Transformer (ViT) su piattaforme con risorse limitate (ad es. dispositivi mobili, sistemi embedded) è ostacolata dalla complessità computazionale quadratica dei meccanismi di auto-attenzione basati su softmax standard. Sebbene le reti neurali convoluzionali (CNN) leggere offrano efficienza, esse spesso faticano a catturare efficacemente le dipendenze a lungo raggio a causa dei campi recettivi limitati. Al contrario, le architetture ibride CNN-Transformer ereditano frequentemente le inefficienze dell'attenzione convenzionale o sacrificano la fedeltà di modellazione quando tentano di linearizzare l'attenzione. La sfida centrale affrontata da questo lavoro è bilanciare l'alta accuratezza su immagini ad alta risoluzione con la bassa latenza e la complessità computazionale lineare, senza compromettere la stabilità dell'addestramento o l'espressività del modello.

2. Metodologia

Gli autori propongono ReGLA, un'architettura ibrida CNN-Transformer leggera progettata per ottimizzare il compromesso tra estrazione di caratteristiche locali e modellazione globale. L'architettura consiste in un blocco stem seguito da quattro stadi gerarchici, che scalano in profondità dei canali e risoluzione spaziale. Il design si basa su tre principi fondamentali: complessità computazionale lineare, ampi campi recettivi con focus locale potenziato e stabilità numerica.

Componenti Architetturali Chiave

1. ReLU Gated Modulated Attention (RGMA)
Per sostituire l'costosa attenzione softmax, ReGLA introduce RGMA, un meccanismo di attenzione efficiente in termini di memoria che raggiunge una complessità lineare $O(Nd^2)$.

• Meccanismo: Sostituisce il kernel softmax con un kernel lineare basato su ReLU e incorpora un'unità di gating leggera.
• Operazione: Dato una mappa di caratteristiche $x$, l'output $X_o$ è calcolato come $X_o = G(x) \odot C(x)$, dove:
  • $G(x)$ è un meccanismo di gating convolutivo (utilizzando una convoluzione e un'attivazione sigmoid) che genera pesi delle caratteristiche locali.
  • $C(x)$ è la componente di attenzione lineare ReLU che estrae il contesto globale.
  • $\odot$ denota la moltiplicazione elemento per elemento.
• Vantaggio: Questo design decouple le interazioni tra i token per ridurre la complessità, mentre il meccanismo di gating si concentra selettivamente sui pattern locali, garantendo gradienti stabili durante l'addestramento e l'inferenza.

2. Efficient Large Receptive Field (ELRF)
Progettato per le prime fasi della rete dove gli input ad alta risoluzione richiedono una copertura spaziale estesa, ELRF mira a catturare informazioni locali mantenendo al contempo un ampio campo recettivo senza il costo di grandi kernel.

• Design: Invece di utilizzare un singolo kernel grande (ad es. $7 \times 7$), ELRF decompone l'operazione in convoluzioni depthwise cascate ($3 \times 3$ e $5 \times 5$) intervallate da strati Feed-Forward Network (FFN).
• Vantaggio: Questo approccio a stadi ottiene un campo recettivo equivalente a $7 \times 7$ ma ottimizza l'efficienza computazionale e minimizza i colli di bottiglia dell'accesso alla memoria sfruttando le convoluzioni depthwise.

3. Multi-Teacher Knowledge Distillation
Per migliorare la generalizzazione su vari task downstream, gli autori impiegano una strategia di distillazione multi-teacher sfruttando sette modelli pre-addestrati diversificati (inclusi SAM2, DeiT-III, DINOv2, iBOT, ViTamin e AIMv2).

• Adattamenti: A differenza dei framework di distillazione standard (ad es. UNIC) focalizzati sulla classificazione, questa strategia è ottimizzata per task downstream eterogenei. Introduce un pooling medio adattivo per costruire un token CLS globale dai token di patch per una migliore coerenza spaziale nei task di predizione densa.
• Addestramento: La strategia prevede una fase di distillazione di 30 epoche su ImageNet-21K seguita dal fine-tuning su ImageNet-1K, utilizzando la batch normalization sincronizzata e la perdita di similarità del coseno per garantire un trasferimento di conoscenza stabile.

3. Contributi Chiave

• Architettura ReGLA: L'introduzione di un'architettura CNN-Transformer altamente efficiente adattata per il deployment su mobile ed edge, caratterizzata dal modulo ELRF per la rappresentazione locale e RGMA (un'attenzione lineare gated, priva di softmax) per la modellazione globale.
• Strategia di Distillazione: Un nuovo framework di distillazione multi-teacher che affronta le sfide nella selezione del modello, la risoluzione dei conflitti e l'eterogeneità architettonica tra i teacher ViT plain e le reti student piramidali.
• Validazione Empirica: Valutazione completa attraverso classificazione ImageNet-1K, rilevamento oggetti COCO e segmentazione semantica ADE20K, dimostrando prestazioni allo stato dell'arte con latenza e conteggi di parametri ridotti.

4. Risultati Sperimentali

Gli autori hanno valutato le varianti di ReGLA (T, S, M, L, X) contro modelli leggeri recenti (ad es. MobileNetV4, iFormer, EfficientFormer) su molteplici benchmark.

• Classificazione ImageNet-1K:

  • ReGLA-M raggiunge l'80.85% di accuratezza Top-1 a risoluzione 224px con soli 4.98 ms di latenza su un iPhone 16 Pro (input 512px).
  • Nella categoria dei 10M di parametri, ReGLA-M supera iFormer-M dello 0.45% (senza distillazione) e dello 0.8% (con distillazione).
  • ReGLA-L (19.9M params) raggiunge l'82.9% di accuratezza, superando EfficientViT-B2 (24.3M params) dello 0.7% pur utilizzando 4.4M di parametri in meno.
  • Con la distillazione multi-teacher, ReGLA-X raggiunge l'85.2% di accuratezza Top-1, superando FastViT-MA36 dello 0.5% con 3M di parametri in meno.

• Task Downstream (COCO & ADE20K):

  • Rilevamento Oggetti (COCO): ReGLA-M (distillato) raggiunge il 43.9% APbox, superando iFormer-M-distillato del 3.1% AP. Notevolmente, ReGLA-M-distillato supera il più grande iFormer-L-distillato del 1.7% APbox.
  • Segmentazione Semantica (ADE20K): ReGLA-M-distillato ottiene un guadagno di 3.6 mIoU rispetto a iFormer-M-distillato. ReGLA-L-distillato mostra un miglioramento di 3.9 mIoU rispetto a iFormer-L-distillato.
  • Latenza: I modelli ReGLA dimostrano costantemente latenze significativamente inferiori su CPU mobile rispetto ai modelli iFormer di scala simile (ad es. ReGLA-M a 4.98ms rispetto a iFormer-M a 19.24ms su iPhone 16 Pro).

5. Significato e Claim

Il paper posiziona ReGLA come una soluzione pratica e scalabile per la "computer vision sostenibile", affrontando i costi ambientali ed economici della grande scala dell'IA. Gli autori affermano che ReGLA incarna un passaggio verso il "meno ma meglio", dimostrando che l'intelligenza visiva sofisticata non richiede un compromesso con l'efficienza o l'accessibilità.

Nello specifico, il lavoro asserisce che:

1. L'attenzione globale può essere efficiente: RGMA supera i metodi basati su softmax sia in velocità che in accuratezza sotto vincoli di risorse.
2. Il co-design è critico: L'integrazione di operatori locali (ELRF) e meccanismi di attenzione (RGMA) è essenziale per l'efficienza ad alta risoluzione.
3. Efficacia della distillazione: La proposta strategia multi-teacher migliora con successo la generalizzazione, permettendo a modelli più piccoli di superare controparti più grandi e non distillati nei task di predizione densa.

Gli autori concludono che ReGLA stabilisce un nuovo stato dell'arte per le applicazioni visive ad alta risoluzione, particolarmente dove la latenza e l'efficienza dei parametri sono fondamentali.