Technische Samenvatting: HCL-FF

Probleemstelling

Diepe neurale netwerken die getraind worden via backpropagatie (BP) hebben state-of-the-art prestaties bereikt op visuele taken, maar lijden onder biologische onwaarschijnlijkheid, hoge rekenkundige eisen (vereisen opslag van gradiënten en terugwaartse propagatie) en ondoorzichtige interne representaties. Het Forward-Forward (FF) algoritme biedt een biologisch plausibel alternatief door elke laag onafhankelijk te trainen met een lokale 'goedheid'-doelstelling (de grootte van de activaties). Echter, standaard FF-benaderingen staan voor twee kritieke beperkingen:

1. Gebrek aan Hiërarchische Coördinatie: FF dwingt ondiepe lagen om fijnmazige klassen direct te discrimineren, wat leidt tot suboptimale representaties in vroege lagen. In tegenstelling tot BP, dat van nature een progressie leert van laag-niveau aanwijzingen naar hoog-niveau semantiek, mist FF een mechanisme om deze progressie over de lagen heen te coördineren.
2. Het Koppelingsdilemma: Om te voorkomen dat diepere lagen de goedheidssignaal van vorige lagen triviaal erven, ontkoppelt FF goedheid van de feature-representatie via normalisatie (het verwijderen van grootte-informatie). Hoewel dit overfitting op eerdere signalen voorkomt, laat het de resulterende features semantisch dubbelzinnig en onbeperkt, aangezien de optimalisatiedoelstelling alleen de grootte van de activaties targett, en niet de relatieve geometrische structuur van de features.

Methodologie

De auteurs stellen HCL-FF (Hierarchical and Contrastive Learning for Forward-Forward) voor, een raamwerk dat de onafhankelijkheid per laag van FF behoudt terwijl het bovenstaande beperkingen aanpakt via twee sleutelinnovaties.

1. Hiërarchisch Leren (Strategie van Grof naar Fijn)

Om het gebrek aan coördinatie op te lossen, introduceert HCL-FF een curriculum-leerstrategie waarbij supervisie is georganiseerd van grof naar fijn:

• Superklasse-Doelen: Ondiepe lagen worden gesuperviseerd met grove superklasse-doelen, terwijl diepere lagen progressief fijnmazigere labels toegewezen krijgen, wat culmineert in fijnmazige klassendiscriminatie in de laatste laag.
• Opbouw Hiërarchie: De klassenhiërarchie wordt opgebouwd via een datagedreven aanpak. Een model wordt eerst voorgetraind zonder hiërarchie, en een lineaire classifier wordt getraind op de features van de laatste laag. De classifier-weights dienen als klassenprototypen, die vervolgens worden geclusterd met hiërarchisch agglomeratief clustering om een semantische boom te vormen.
• Hierarchische Kanaal-Wijze Competitieve (HierCwC) Loss: De standaard FF-loss wordt aangepast om goedheid op superklasseniveau te berekenen voor ondiepe lagen. De superklasse-goedheid wordt afgeleid door de per-klasse-goedheid binnen elke superklasse-groep te middelen. Dit vermindert de complexiteit van doelstellingen in vroege lagen en moedigt representaties aan om te evolueren van brede semantische structuren naar fijnmazige discriminatie.

2. Contrastief Leren (Semantische Verankering)

Om het koppelingsdilemma op te lossen, past HCL-FF een gesuperviseerd contrastief doel toe direct op de goedheid-ontkoppelde features (de genormaliseerde featurevectoren $z^{(\ell)}$):

• Feature Projectie: In elke laag worden de goedheid-ontkoppelde features geglobaliseerd gemiddeld gepooled en geprojecteerd in een latente embeddingruimte.
• Gesuperviseerde Contrastieve Loss: Een standaard gesuperviseerde contrastieve loss wordt toegepast op deze embeddings, waarbij monsters van dezelfde klas worden aangemoedigd om samen te clusteren en verschillende klassen zich te scheiden.
• Betekenis: Door de relationele geometrie van de features te beperken na goedheidsontkoppeling, herstelt deze doelstelling de semantische betekenis die verloren ging toen grootte-informatie werd verwijderd. Het zorgt ervoor dat terwijl de schaal (goedheid) is ontkoppeld, de richting (semantische inhoud) discriminerend blijft.

3. Algemeen Raamwerk

De totale lossfunctie voor elke laag $\ell$ combineert de HierCwC-loss en de contrastieve loss:
$$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$$
waarbij $\lambda$ op 1 is ingesteld. Het raamwerk maakt gebruik van een residuale Forward-Forward architectie gebaseerd op Kanaal-Wijze Convolutie (CW-Conv) lagen, waarbij elke laag onafhankelijk werkt zonder gradiëntpropagatie over de lagen heen.

Belangrijkste Bijdragen

1. HCL-FF Raamwerk: Een nieuw FF-raamwerk dat hiërarchische supervisie en contrastief leren integreert om het gebrek aan coördinatie en het koppelingsdilemma aan te pakken.
2. Strategie van Grof naar Fijn: Een strategie die de complexiteit in vroege lagen vermindert door ondiepe lagen te superviseren met superklassen, waardoor een natuurlijke progressie van semantische abstractie mogelijk wordt.
3. Contrastieve Verankering: De eerste toepassing van contrastief leren specifiek op goedheid-ontkoppelde features in FF, wat effectief de semantische structuur behoudt zonder de beperking van onafhankelijkheid per laag te schenden.
4. State-of-the-Art Prestaties: De methode bereikt nieuwe state-of-the-art resultaten onder FF-gebaseerde methoden op meerdere benchmarks.

Experimentele Resultaten

Experimenten werden uitgevoerd op CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST en Tiny-ImageNet.

• Prestatiewinst: HCL-FF bereikt significante nauwkeurigheidsverbeteringen ten opzichte van de vorige beste FF-methode (DeeperForward):
  • +5,46% op CIFAR-10 (91,68% vs. 86,22%).
  • +17,00% op CIFAR-100 (70,09% vs. 53,09%).
  • +12,51% op Tiny-ImageNet (48,46% vs. 35,95%).
• Vergelijking met BP: Op CIFAR-10 overtreft HCL-FF standaard BP-getrainde ResNet-20 (91,68% vs. 91,25%) en verkleint de kloof met parameter-gelijkgestelde BP-varianten.
• Ablatiestudies:
  • Het alleen toevoegen van contrastief leerde de nauwkeurigheid op CIFAR-100 met +9,12%, wat zijn rol bevestigt in het stabiliseren van ontkoppelde features.
  • Het alleen toevoegen van hiërarchisch leerde de nauwkeurigheid op CIFAR-100 met +6,96%, wat zijn voordeel benadrukt voor grotere labelruimtes.
  • Sterke data-augmentatie was alleen effectief in combinatie met hiërarchische supervisie, aangezien dit de last op ondiepe lagen verminderde.
• Analyse:
  • Nauwkeurigheid per Laag: HCL-FF toont gestage nauwkeurigheidswinsten over de lagen heen, terwijl eerdere methoden vroeg plateauerden.
  • Ontkoppeling: Lineaire probe-evaluaties tonen aan dat HCL-FF hoge nauwkeurigheid behoudt zelfs na normalisatie, wat bewijst dat het semantische structuur behoudt in ontkoppelde features, in tegenstelling tot DeeperForward waar de nauwkeurigheid na normalisatie significant daalt.
  • Visualisatie: t-SNE-visualisaties bevestigen dat HCL-FF duidelijke klassenscheiding behoudt in zowel goedheidsresponsen als goedheid-ontkoppelde features.

Betekenis en Claims

Het artikel claimt dat HCL-FF een significante stap voorwaarts is naar schaalbare, effectieve en biologisch plausibele leerparadigma's. Door het fundamentele koppelingsdilemma op te lossen en hiërarchische coördinatie in te voeren, toont de methode aan dat onafhankelijke training per laag prestaties kan bereiken die vergelijkbaar zijn met, en in sommige gevallen zelfs beter zijn dan, op backpropagatie gebaseerde methoden.

De auteurs merken op dat hoewel HCL-FF een verbetering is op bestaande FF-methoden, het nog steeds bepaalde beperkingen erft, zoals langzamere convergentie in vergelijking met end-to-end BP en de vereiste dat het aantal kanalen moet meegroeien met het aantal klassen (hoewel dit in ondiepe lagen wordt verzacht). Het werk suggereert dat het combineren van hiërarchische supervisie met contrastieve verankering een levensvatbare weg is om langdurige uitdagingen in niet-backpropagatie leren te overwinnen.