Technische Samenvatting: STEAM (Squeeze and Transform Enhanced Attention Module)

Probleemstelling

Convolutionele Neurale Netwerken (CNN's) hebben de computervisie vooruitgebracht, maar ondervinden beperkingen in het vastleggen van grote receptieve velden door lokale convolutie-operaties, wat leidt tot uitdagingen op het gebied van computation en optimalisatie. Hoewel aandachtmechanismen zoals Kanaalaandacht (bijv. SE, ECA, GCT) en Ruimtelijke Aandacht (bijv. CBAM, NLNets) zijn geïntroduceerd om deze afhankelijkheden aan te pakken, lijden ze vaak onder afwegingen:

• Hoge Computationele Kosten: Methoden zoals SE en CBAM maken gebruik van dimensionaliteitsreductie via volledig verbonden lagen of grote kernels, wat de parameters en GFLOPs aanzienlijk verhoogt.
• Onvolledige Modellering: Veel efficiënte benaderingen richten zich uitsluitend op kanaalaandacht (bijv. ECA, GCT) of slagen er niet in om de ruimtelijke context effectief te modelleren zonder redundantie.
• Inefficiëntie: Bestaande graf-gebaseerde benaderingen of niet-lokale methoden introduceren vaak excessieve parameters of computationele overhead, waardoor ze ongeschikt zijn voor lichtgewicht architecturen.

De auteurs identificeren een gat voor een module die zowel kanaal- als ruimtelijke aandacht grondig modelleert met minimale parameters en verminderde berekening, gebruikmakend van principes voor relationele modellering zonder de overhead van dichte grafverbindingen.

Methodologie: STEAM

De voorgestelde STEAM (Squeeze and Transform Enhanced Attention Module) is een module met constante parameters die Kanaal Interactie Aandacht (CIA) en Ruimtelijke Interactie Aandacht (SIA) integreert met behulp van graf-relationele modellering, geïnspireerd door multi-head graftransformers.

1. Kanaal Interactie Aandacht (CIA)

In plaats van dimensionaliteitsreductie (zoals bij SE) of dichte correlatiematrixen (die computationeel duur zijn) te gebruiken, modelleren de auteurs kanalen als knopen in een cyclische graf.

• Grafconstructie: Elk kanaal wordt behandeld als een knoop met zijn ruimtelijke kaart als een featurevector. De graf wordt geconstrueerd door elke kanaalknoop te verbinden met zijn directe 1-hop buren op een cyclische manier (het eerste kanaal verbindt met het laatste).
• Mechanisme: De module maakt gebruik van multi-head geschaalde dot-product aandacht (vergelijkbaar met Graph Attention Networks) om relaties tussen naburige kanalen te modelleren.
• Efficiëntie: Deze benadering vermijdt de "oversmoothing"-problemen van diepe GNN's en de computationele kosten van dichte graven door de omvang van de buurt te beperken tot een vaste, kleine graad (specifiek bleek graad 2 optimaal in ablaties).

2. Ruimtelijke Interactie Aandacht (SIA) en Output Guided Pooling (OGP)

Om ruimtelijke afhankelijkheden efficiënt te modelleren, introduceren de auteurs Output Guided Pooling (OGP) en een verfijnde ruimtelijke graf.

• OGP: Traditionele ruimtelijke aandacht werkt vaak op featurekaarten met hoge resolutie ($H \times W$), wat computationeel duur is in vroege lagen. OGP transformeert de intermediate featurekaart naar een kaart met vaste grootte (bijv. $7 \times 7$) met behulp van Global Average Pooling (GAP) langs de kanaaldimensie. Dit zorgt voor consistentie over lagen, waarbij pixel-voor-pixel details in diepere lagen en hoogwaardige adaptieve informatie in eerdere lagen worden vastgelegd.
• Grafconstructie: De kaart met vaste grootte vormt een roostergraf waarbij elke knoop (pixel) verbonden is met zijn aangrenzende buren.
• Edge Drop: Om over-smoothing in de centrale submatrix te voorkomen (waar knopen een uniforme graad van 4 hebben), introduceren de auteurs een techniek voor willekeurige edge drop tijdens training, wat empirisch de prestaties verbetert.
• Mechanisme: Net als bij CIA wordt multi-head graf-aandacht toegepast op de ruimtelijke knopen om ruimtelijke scores te genereren, die vervolgens worden opgeschaald om overeen te komen met de afmetingen van de oorspronkelijke featurekaart.

3. Integratie en Architectuur

• Sequentiële Rangschikking: Ablatiestudies geven aan dat een sequentiële rangschikking van CIA gevolgd door SIA ("ca-sa") iets betere resultaten oplevert dan parallelle of omgekeerde volgorde.
• Adaptieve Plaatsing: STEAM-eenheden worden geïntegreerd in backbone-netwerken (bijv. ResNet, ShuffleNet-V2) met behulp van een adaptieve strategie gebaseerd op het aantal blokken per fase ($\lceil N_{bs}/4 \rceil$). Eenheden worden geplaatst aan het einde van fasen of gelijkmatig verdeeld als meerdere eenheden vereist zijn.
• Parameteronafhankelijkheid: Het aantal parameters in STEAM is onafhankelijk van het kanaalaantal ($C$) of de ruimtelijke afmetingen ($H, W$) van de backbone, en vertrouwt uitsluitend op een vaste verborgen dimensie $d$.

Belangrijkste Bijdragen

1. Graf-gebaseerde Dual Aandacht: Het artikel stelt de eerste graf-gebaseerde benadering voor om zowel kanaal- als ruimtelijke aandacht gelijktijdig te modelleren, gebruikmakend van concepten uit multi-head graftransformers.
2. Efficiëntie met Constante Parameters: STEAM introduceert een module met een constant aantal parameters, ongeacht de kanaaldimensionaliteit van de backbone, en creëert zo een balans tussen prestaties en computationele efficiëntie.
3. Output Guided Pooling (OGP): Er wordt een nieuwe poolstrategie geïntroduceerd om ruimtelijke context efficiënt vast te leggen, waardoor effectieve ruimtelijke aandachtsmodellering mogelijk is zonder de computationele last van het verwerken van kaarten met volledige resolutie in vroege lagen.
4. Grondbillende Evaluatie: De methode is gevalideerd op grote schaal voor beeldclassificatie (ImageNet), objectdetectie en instantiesegmentatie (MS COCO).

Experimentele Resultaten

De auteurs hebben STEAM geëvalueerd tegen state-of-the-art (SOTA) modules, waaronder SE, CBAM, ECA, GCT en MCA, op standaard benchmarks.

• Beeldclassificatie (ImageNet-1K):

  • ResNet-50: STEAM behaalde een 2% stijging in Top-1 nauwkeurigheid ten opzichte van de standaard ResNet-50. Het presteerde beter dan toonaangevende modules zoals MCA en GCT, terwijl het slechts 320 parameters en 3.57e-3 GFLOPs toevoegde.
  • Efficiëntie: In vergelijking met ECA en GCT behaalde STEAM een hogere nauwkeurigheid met een drie keer zo grote reductie in GFLOPs.
  • Lichtgewicht Modellen: Op ShuffleNet-V2 presteerde STEAM beter dan alle tegenhangers, met een winst van 0,27% ten opzichte van de tweede beste module (GCT) met minimale computationele overhead.

• Objectdetectie en Instantiesegmentatie (MS COCO):

  • Met Faster R-CNN, Mask R-CNN en RetinaNet in combinatie met ResNet-50 en ResNet-101 backbones, presteerde STEAM consequent beter dan SOTA-modules.
  • Bijvoorbeeld, met Faster R-CNN en ResNet-50 verbeterde STEAM de AP met 1,9% ten opzichte van de baseline en 0,3% ten opzichte van GCT.
  • Bij instantiesegmentatie (Mask R-CNN) overtrof STEAM de baseline en andere aandachtsmodules, wat sterke generalisatiecapaciteiten aantoont.

Betekenis en Claims

Het artikel beweert dat STEAM een significante stap voorwaarts is in efficiënte aandachtsmodellering. Door gebruik te maken van graf-relationele modellering, slaagt het erin zowel kanaal- als ruimtelijke afhankelijkheden vast te leggen zonder de parameterexplosie die geassocieerd wordt met traditionele methoden zoals SE of CBAM.

De auteurs benadrukken dat STEAM:

• Computationeel Efficiënt is: Het bereikt superieure nauwkeurigheid met verwaarloosbare toenames in GFLOPs en parameters.
• Veelzijdig is: Het integreert naadloos met verschillende architecturen, van zware ResNets tot lichtgewicht ShuffleNets.
• Innovatief is: Het is de eerste die een graf-gebaseerde benadering voor gezamenlijke kanaal- en ruimtelijke aandacht voorstelt, en zo voorbij de beperkingen van dimensionaliteitsreductie en lokale convolutie in aandachtsmechanismen gaat.

Het werk concludeert dat STEAM een robuuste, parameter-efficiënte oplossing biedt voor het verbeteren van diepe CNN's, en een nieuwe standaard zet voor aandachtsmodules wat betreft de afweging tussen nauwkeurigheid en computationele kosten. Toekomstig werk dat door de auteurs wordt voorgesteld, omvat het integreren van positionele encoding in ruimtelijke aandacht en het verbeteren van correlatiegraf-lering via edge-modellering.