Forward-Only Convolutional Neural Networks with Learnable Channel-Class Assignment

Technische Samenvatting: Forward-Only Convolutionele Neurale Netwerken met Leerbare Kanaal–Klasse Toewijzing

Probleemstelling
Het Forward-Forward (FF) algoritme biedt een biologisch plausibel alternatief voor backpropagation door globale gradiënt-gebaseerde credit assignment te vervangen door lokale, forward-only doelstellingen. Hoewel recente aanpassingen FF naar Convolutionele Neurale Netwerken (CNN's) hebben uitgebreid, vertrouwen bestaande formuleringen (bijv. CwComp, DeeperForward) op statische kanaal–klasse partities. In deze methoden worden convolutionele kanalen permanent toegewezen aan specifieke klassen via vaste groeperingsmechanismen. De auteurs stellen dat deze rigiditeit het vermogen van het netwerk beperkt om de kanaalspecialisatie dynamisch aan te passen aan evoluerende feature-distributies tijdens de training, wat leidt tot inefficiënt gebruik van features, verminderde representationele flexibiliteit en een onvermogen om diepere architecturen volledig te benutten. Bovendien vertrougt standaard FF-inferentie vaak uitsluitend op de laatste laag of eenvoudige aggregatie, wat potentieel waardevolle intermediaire representaties negeert.

Methodologie
De voorgestelde methode introduceert een Leerbare Kanaal–Klasse Toewijzing mechanisme en een Loss-Aware Layer Contribution Strategie geïntegreerd in residuele CNN's.

1. Leerbare Kanaal–Klasse Toewijzing (CAW-Conv):

   • In plaats van kanalen statisch toe te wijzen aan klassen, introduceren de auteurs een leerbare parametermatrix $U \in \mathbb{R}^{C_{out} \times J}$ (waarbij $C_{out}$ het aantal outputkanalen is en $J$ het aantal klassen).
   • Een softmax-functie wordt toegepast op de rijen van $U$ om een weight-matrix $M$ te genereren, die de bijdragerate van elk kanaal aan elke klasse vertegenwoordigt. Dit stelt kanalen in staat om zich dynamisch te specialiseren op basis van de datastructuur.
   • De "goedheidsscore" voor elke klasse wordt berekend als een gepoolde representatie van de feature maps ($A_{pooled}$) vermenigvuldigd met de toewijzingsmatrix $M$.
   • Regularisatie: Om degeneratieve oplossingen te voorkomen en effectief leren te bevorderen, zijn twee regularisatietermen toegevoegd aan de loss-functie:
     • Entropie-regularisatie: Minimaliseert de entropie van de klasse-kanaal gewichten om sparsity te stimuleren, waardoor kanalen significant bijdragen aan slechts enkele klassen.
     • Orthogonaliteits-regularisatie: Dwingt orthogonaliteit af tussen de genormaliseerde klasse-kanaal gewichtsvectoren om diversiteit in feature-extractie over verschillende klassen te bevorderen.

2. Loss-Aware Layer Contribution Strategie:

   • In tegenstelling tot traditionele netwerken die beslissingen pas in de laatste laag nemen, aggregeert het voorgestelde framework voorspellingen van alle lagen.
   • De bijdrage van elke laag aan de uiteindelijke beslissing wordt adaptief gewogen op basis van de validatie loss. Lagen met lagere validatie losses (wat duidt op betere voorspellende betrouwbaarheid) krijgen hogere gewichten via een softmax-transformatie.
   • De uiteindelijke voorspelling is een gewogen som van de goedheidsscores van alle lagen.

3. Training en Inferentie:

   • Het netwerk wordt getraind met behulp van een forward-only, layer-wise contrastief proces. Elke laag wordt onafhankelijk geoptimaliseerd met behulp van een lokale cross-entropy loss gecombineerd met de regularisatietermen.
   • Instance normalisatie wordt tussen de lagen toegepast om de feature-schaal te ontkoppelen van de representationele richting.
   • Tijdens de inferentie wordt de gewogen aggregatie van de laagoutputs gebruikt om de uiteindelijke klassevoorspelling te bepalen.

Belangrijkste Bijdragen

• Dynamische Specialisatie: Het artikel stelt voor om statische kanaalgroepering te vervangen door een leerbaar toewijzingsmechanisme, wat adaptieve, datagestuurde specialisatie van convolutionele kanalen mogelijk maakt.
• Verhoogde Representationele Capaciteit: Door gebruik te maken van entropie- en orthogonaliteits-regularisatie, bevordert de methode een sparse en diverse kanaalbenutting, wat de feature-onderscheidbaarheid verbetert.
• Adaptieve Inferentie: De introductie van een loss-aware layer contribution strategie stelt het model in staat om intermediaire representaties effectiever te benutten dan methoden die enkel vertrouwen op de output van de laatste laag.
• Efficiëntie: De voorgestelde methode bereikt superieure prestaties met aanzienlijk minder kanalen vergeleken met statische groeperingsbenaderingen.

Experimentele Resultaten
De methode werd geëvalueerd op MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 en Tiny-ImageNet met drie architecturen: TinyCNN-4, VGG-14 en ResNet-17.

• Prestaties op CIFAR-10: De voorgestelde methode behaalde 89,37% accuratesse met een 17-laagse ResNet, waarmee de vorige state-of-the-art FF-gebaseerde methode (DeeperForward) met meer dan 3 procentpunten werd verslagen. Het overtrof DeeperForward ook met meer dan 5% met een ondiepe 4-laagse architectuur.
• Prestaties op Uitdagende Datasets: Op CIFAR-100 bereikte de voorgestelde methode 63,52% (vs. 53,09% voor DeeperForward). Op Tiny-ImageNet behaalde het 49,87% (vs. 41,36% voor DeeperForward).
• Kanaalefficiëntie: De voorgestelde methode presteerde consequent beter dan DeeperForward, zelfs wanneer de kanaalgrootte met 30–50% werd verminderd (bijv. het behalen van 86,52% op CIFAR-10 met ResNet-17 bij een 0,6x kanaalschaal, vergeleken met 86,22% voor DeeperForward bij volledige schaal).
• Vergelijking met Backpropagation: Hoewel het nog steeds achterloopt op volledige backpropagation (BP) in absolute accuratesse (bijv. 89,37% vs. 95,52% voor een 152-laagse BP-model op CIFAR-10), verkleint de voorgestelde FF-gebaseerde methode de prestatiekloof aanzienlijk vergeleken met eerdere FF-pogingen, met name op MNIST en Fashion-MNIST waar het sommige BP-gebaseerde baselines overtrof.

Significantie en Claims
Het artikel claimt dat de introductie van leerbare kanaalspecialisatie en layer contribution weighting de representationele capaciteit van forward-only leren in diepe CNN's aanzienlijk versterkt. De auteurs stellen dat hun aanpak een nieuwe state-of-the-art prestatie vestigt onder FF-gebaseerde modellen, en aantoont dat forward-only leren effectief kan worden geschaald naar diepere architecturen en complexe taken zonder de beperkingen van statische kanaaltoewijzingen. De resultaten suggereren dat het voorgestelde framework een levensvatbaar, biologisch geïnspireerd alternatief is dat kan concurreren met gradiënt-gebaseerde methoden, terwijl het een grotere schaalbaarheid en efficiëntie in kanaalgebruik biedt. De auteurs merken bescheiden op dat hoewel de leerbare matrix de prestaties verbetert, toekomstig werk zich kan richten op hulpmechanismen om het leren ervan verder te begeleiden en de invloed van de globale loss beter te reguleren.