Technische Samenvatting: Activeringsvrije Ruggegraten voor Beeldherkenning

Probleemstelling

Moderne visuele architecturen, waaronder MetaFormer-stijl ruggegraten, vertrouwen sterk op puntsgewijze activeringsfuncties (zoals ReLU, GELU, SiLU) en exponentiële bewerkingen binnen softmax-attention om nonlineariteit in te brengen. Hoewel deze componenten neurale netwerken in staat stellen complexe functies te benaderen, zijn ze niet de enige bron van nonlineariteit. Het artikel stelt dat deze activeringen niet strikt noodzakelijk zijn voor concurrerende prestaties. Bovendien creëert de afhankelijkheid van niet-polynomiale bewerkingen (zoals exponentiële functies en puntsgewijze activeringen) aanzienlijke overhead voor Fully Homomorphic Encryption (FHE), een privacybehoudend rekenparadigma waarbij standaard netwerken aanzienlijke kosten ondervinden vanwege hun niet-polynomiale aard. Bestaande polynomiale netwerken (zoals MONet, DTTN) hebben potentieel aangetoond, maar vereisen vaak aangepaste, nauw gekoppelde architecturen die hun praktische bruikbaarheid beperken en falen om de prestaties van activeringsgebaseerde tegenhangers te evenaren bij vergelijkbare rekenkosten.

Methodologie

De auteurs stellen een raamwerk voor om standaard nonlineariteiten te vervangen door polynomiale alternatieven, terwijl de input-output interfaces van bestaande modulaire visuele ruggegraten behouden blijven. Deze aanpak maakt de integratie van polynomiale modules in gevestigde frameworks zoals MetaFormer mogelijk zonder de hele architectuur opnieuw te ontwerpen.

Kernprimitieven

Het artikel introduceert drie activeringsvrije modules die standaard nonlineariteiten vervangen door Hadamard-producten (elementsgewijze vermenigvuldiging) van geleerde lineaire projecties:

1. PolyMLP (Kanaalmixing): Vervangt de puntsgewijze activatie in feedforward-netwerken door het Hadamard-product van twee parallelle lineaire projecties: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$. Dit resulteert in een polynoom van de tweede graad in de invoerfeatures.
2. PolyConv (Ruimtelijke mixing): Vervangt de activatie in scheidbare convoluties door het samenvoegen van parallelle convolutievertakkingen met verschillende receptieve velden via elementsgewijze vermenigvuldiging. Specifiek combineert het een "grof" vertakking (gedilateerde dieptewijze convolutie) en een "fijn" vertakking (standaard dieptewijze convolutie), waarbij een kanaal-flip op één vertakking wordt toegepast voordat ze worden samengevoegd om correlaties tussen features te doorbreken.
3. PolyAttn (Globale ruimtelijke mixing): Vervangt de exponentiële functie in softmax-attention door een polynomiale kernel: $A = (s \cdot QK^\top + 1)^p$, gevolgd door $\ell_1$-normalisatie. Dit creëert een activeringsvrij attentiemechanisme dat compatibel blijft met structurele varianten zoals venster-attention.

Stabilisatietechnieken

De auteurs identificeren dat Hadamard-producten grote waarden kunnen versterken, wat leidt tot trainingsinstabiliteit in diepe netwerken. Om stabiele training van netwerken tot ongeveer 200 lagen mogelijk te maken, introduceren ze:

• Sigmoid-Scale: Een leerbare scalair begrensd door een sigmoidfunctie ($\sigma(\lambda)$) die residuele bijdragen schaalt ($y = x + \sigma(\lambda)f(x)$), waardoor onbegrensde groei wordt voorkomen.
• Multi-Input Skip Connections: Geïnspireerd door NASNet ontvangt elke cel input van de twee voorafgaande cellen ($x_{t-1}$ en $x_{t-2}$), wat de gradiëntstroom verbetert.
• Diepte-voor-Breedte Ontwerp: De auteurs pleiten voor het stapelen van smallere lagen dieper in plaats van het gebruik van bredere, ondiepere configuraties. Dit ontwerp maakt gebruik van het feit dat de polynomiale graad exponentieel groeit met de diepte ($2^L$ voor diepte $L$), waardoor de representatiecapaciteit wordt gemaximaliseerd zonder een lineaire toename van parameters.

Architectuur: PolyNeXt

Deze modules worden geïmplementeerd binnen een vierstaps hiërarchische architectuur in MetaFormer-stijl. Er worden twee varianten voorgesteld:

• CPolyNeXt: Gebruikt PolyConv voor ruimtelijke mixing in alle stadia.
• APolyNeXt: Een hybride ontwerp dat PolyConv gebruikt in stadia met hoge resolutie en PolyAttn in stadia met lage resolutie.

Belangrijkste Resultaten

De modellen zijn geëvalueerd op ImageNet-1K-classificatie, out-of-distribution (OOD) robuustheid en semantische segmentatie op ADE20K.

• ImageNet-1K Classificatie: PolyNeXt-modellen halen of overtreffen activeringsgebaseerde MetaFormer-implementaties (ConvFormer, CAFormer) over alle modelgroottes (Tiny tot Large). Bijvoorbeeld, CPolyNeXt-S (26M parameters) bereikt 83,9% Top-1 nauwkeurigheid, wat significant beter is dan ConvFormer-S18 (83,0%) en eerdere polynomiale netwerken zoals DTTN-S (79,4%) met een verschil van 2–3 procentpunten en lagere rekenkosten.
• Robuustheid: De polynomiale ruggegraten tonen superieure robuustheid op ImageNet-C (corrupties), ImageNet-A (adversariaal), ImageNet-R (renditions) en ImageNet-Sketch. CPolyNeXt-B (40M parameters) overtreft ConvFormer-B36 (100M parameters) op verschillende OOD-benchmarks.
• Dense Prediction: Op ADE20K semantische segmentatie overtreft CPolyNeXt-S zowel ConvFormer-S18 als CAFormer-S18 met respectievelijk +2,0 en +1,7 mIoU bij gelijkblijvende parameteraantallen.
• Volledig Polynomiale Variant: Door LayerNorm te vervangen door een polynoom-compatibele BatchNorm (met gebruik van lopende statistieken om deling te vermijden), creëerden de auteurs volledig polynomiale modellen. CPolyNeXt-S (BN) bereikt 82,7% op ImageNet, een verbetering van 5,0 punten ten opzichte van het beste eerdere volledig polynomiale model (MONet-T BN) en beter dan het activeringsgebaseerde ConvNeXt-T (82,1%).

Ablatie-inzichten

• Activeringen zijn Schadelijk: Het opnieuw introduceren van activeringen (zoals GELU) in de polynomiale modules verslechtert de prestaties consequent. De auteurs schrijven dit toe aan de verstoring van "mutuele gradiëntkoppeling" die inherent is aan het Hadamard-product, waarbij de gradiënt van elke tak wordt geschaald door de output van de andere.
• Stabilisatie is Cruciaal: Het verwijderen van Sigmoid-Scale of multi-input skip connections leidt tot aanzienlijke prestatiedalingen of instorting van de training.
• Receptgevoeligheid: De prestatiewinst wordt toegeschreven aan het moduleontwerp en de stabilisatietechnieken in plaats van een uniek trainingsrecept, aangezien de modules goed overdraagbaar zijn wanneer ze worden omgewisseld in andere architecturen.

Betekenis en Claims

Het artikel stelt dat activeringsfuncties geen representatieve noodzaak zijn voor moderne visuele ruggegraten, maar eerder een oplossing voor optimalisatieproblemen. Door trainingsstabiliteit aan te pakken via specifieke mechanismen (Sigmoid-Scale, diepte-voor-breedte) kunnen polynomiale interacties dienen als effectieve bronnen van nonlineariteit.

De belangrijkste bijdragen zijn:

1. Polynomiale Alternatieven: De introductie van PolyMLP, PolyConv en PolyAttn, die standaard nonlineariteiten vervangen door Hadamard-producten terwijl ze compatibiliteit behouden met architecturale verbeteringen.
2. Empirisch Bewijs: Aantonen dat activeringsvrije ruggegraten (PolyNeXt) activeringsgebaseerde tegenhangers kunnen evenaren of overtreffen in nauwkeurigheid en robuustheid over verschillende schalen.
3. Stabilisatie-recept: Een lichtgewicht set technieken die de training van diepe (tot 200 lagen) polynomiale netwerken mogelijk maakt.
4. Vooruitgang in FHE: Een stap richting Fully Homomorphic Encryption-compatibele inferentie door niet-polynomiale bewerkingen te verwijderen, inclusief een volledig polynomiale variant die eerdere volledig polynomiale netwerken overtreft en activeringsgebaseerde baselines benadert.

De auteurs concluderen dat hoewel hun werk geen directe veiligheids- of eerlijkheidsvoordelen impliceert, het een weg opent naar privacybehoudende inferentie en suggereert dat het vakgebied de noodzaak van traditionele activeringsfuncties in diepe visuele modellen opnieuw moet evalueren.