🤖 machine learning

Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

Dit artikel presenteert en evalueert forward-forward autoencoder-architecturen voor energie-efficiënte draadloze communicatie, waarbij wordt aangetoond dat deze methode, die geen backpropagation vereist, concurrerend presteert ten opzichte van traditionele systemen terwijl het aanzienlijke besparingen in geheugen en verwerkingstijd oplevert.

Oorspronkelijke auteurs: Daniel Seifert, Onur Günlü, Rafael F. Schaefer

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Seifert, Onur Günlü, Rafael F. Schaefer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Terugwaartse" Leerkracht

Stel je voor dat je een heel slimme robot wilt bouwen die berichten kan versturen via een draadloze verbinding (zoals 5G of 6G). Om dit te leren, gebruiken we meestal een methode genaamd Backpropagation (BP).

In het dagelijks leven werkt BP als een zeer strenge, maar trage leraar:

De robot maakt een poging om een bericht te sturen.
De leraar kijkt naar het resultaat en zegt: "Fout! Je zat 10% naast."
Het probleem: De leraar moet nu terug lopen langs elke stap die de robot heeft genomen, om precies te berekenen waar de fout zat. Hij moet elke stap onthouden en controleren.
Pas als hij helemaal terug is bij het begin, kan hij de robot vertellen wat hij moet aanpassen.

Dit is energieverslindend en traag. Het vereist dat de hele route (inclusief de lucht of de kabel waar het signaal doorheen gaat) perfect meetbaar en "glad" is. In de echte wereld is dat vaak niet zo; de lucht is onvoorspelbaar en sommige stappen (zoals het omzetten van data naar een radio-signaal) zijn niet meetbaar voor deze leraar.

De Nieuwe Oplossing: De "Voorwaartse" Tweeling

De auteurs van dit paper (uit Dresden, Dortmund en Linköping) hebben een nieuwe methode bedacht: Forward-Forward (FF) learning.

Stel je in plaats van die ene strenge leraar, twee robots voor die naast elkaar werken:

Robot A (De Goede): Kijkt naar een echt, goed bericht.
Robot B (De Slechte): Kijkt naar een verdraaid, foutief bericht.

In plaats van terug te lopen, kijken deze robots alleen vooruit.

Ze zeggen tegen zichzelf: "Als ik naar de goede data kijk, moet ik me goed voelen (hoge activiteit). Als ik naar de slechte data kijk, moet ik me slecht voelen (lage activiteit)."
Ze passen hun instellingen direct aan op basis van dat gevoel, zonder ooit terug te hoeven lopen.

Waarom is dit geweldig voor draadloze communicatie?

Deze nieuwe methode lost drie grote problemen op:

1. Geen "gladde" weg nodig
Bij de oude methode (BP) moet je de hele route kunnen meten. Als je een radio-signaal verstuurt dat door een muur gaat, is dat lastig te meten.

Vergelijking: Het is alsof je een auto rijdt. Met BP moet je elke steen op de weg kunnen meten om te weten hoe je sturen moet. Met FF kijkt de bestuurder gewoon naar het einddoel: "Als ik de goede weg rijd, kom ik aan. Als ik de verkeerde weg rijd, niet." Het maakt niet uit of de weg hobbelig is; de robot leert gewoon van het resultaat.

2. Energie en geheugenbesparing
De oude methode moet alle tussenstappen onthouden om terug te kunnen rekenen. Dat kost veel batterij en geheugen.

Vergelijking: Stel je voor dat je een brief schrijft.
- BP: Je schrijft de hele brief, stopt hem in een envelop, en moet dan elke zin die je hebt geschreven onthouden om te zien welke woorden je had moeten aanpassen. Je moet een enorme notitieblok bijhouden.
- FF: Je schrijft de brief, en kijkt direct naar de zin die je net schreef. "Klinkt dit goed? Ja? Dan ga ik door. Klinkt dit slecht? Dan pas ik deze zin direct aan." Je hoeft niets te onthouden. Dit bespaart enorm veel energie, wat cruciaal is voor kleine apparaten zoals sensoren of smartphones.

3. Geen "wachtrij"
Bij BP moet de eerste laag van de robot wachten tot de laatste laag klaar is met rekenen voordat hij iets mag aanpassen. Dat is als een fabriek waar elke werknemer moet wachten tot de volgende werknemer klaar is.

FF: Elke laag van de robot werkt tegelijkertijd. Het is als een team waar iedereen direct aan zijn eigen taak werkt zonder te wachten. Dit maakt het proces veel sneller.

Wat hebben ze ontdekt?

De onderzoekers hebben getest of deze nieuwe robots net zo goed presteren als de oude, maar dan in twee situaties:

Normale omstandigheden: Ze werken bijna even goed als de oude methode.
Moeilijke omstandigheden: Als je de robot dwingt om een heel specifieke, "harde" keuze te maken (zoals een knop die alleen aan of uit kan), faalt de oude methode (BP) omdat hij niet kan meten hoe hij moet aanpassen. De nieuwe methode (FF) slaagt hier echter perfect in!

Conclusie

Dit onderzoek toont aan dat we draadloze communicatie kunnen verbeteren door de robot niet te laten "terugdenken", maar te laten "vooruitkijken".

Voordeel: Het is zuiniger (minder batterij), sneller en werkt zelfs als de verbinding niet perfect meetbaar is.
Toekomst: Dit opent de deur voor slimme, energiezuinige communicatiesystemen die zelf kunnen leren en aanpassen, zelfs in moeilijke omgevingen waar de huidige technologie vastloopt.

Kortom: In plaats van een leraar die alles terugrekent, hebben we nu een slimme leerling die direct leert van zijn eigen ervaringen, zonder de hele weg te hoeven onthouden.

Probleemstelling

De toepassing van deep learning in communicatiesystemen heeft de afgelopen jaren veel aandacht getrokken, voornamelijk om de suboptimaliteit van traditionele, handmatig ontworpen coderings- en modulatieprocedures te overwinnen. De standaard trainingsmethode voor neurale netwerken is Backpropagation (BP). Hoewel BP zeer succesvol is, kent het specifieke beperkingen die de implementatie in draadloze communicatiesystemen bemoeilijken:

Differentieerbaarheid: BP vereist een volledig differentieerbaar pad door het hele netwerk. In echte communicatiekanalen (zoals Rayleigh fading) is het kanaal vaak niet differentieerbaar of slechts als "black box" beschikbaar. Om BP te gebruiken, moeten vereenvoudigde kanalen worden aangenomen of complexe methoden zoals Reinforcement Learning (RL) met feedbacklinks worden ingezet.
Efficiëntie en Hardware: BP vereist het opslaan van partiële afgeleiden voor elke laag tijdens de terugwaartse pass (backward pass). Dit leidt tot een hoog geheugengebruik en energieverbruik, wat een hindernis vormt voor neuromorfe hardware en volledig analoge circuits (zoals memristoren).
Locking-mechanismen: In BP moeten alle lagen wachten tot de gradient van de volgende laag is berekend voordat ze kunnen updaten. Dit creëert een sequentieel proces dat de training vertraagt en parallelle verwerking beperkt.

Methodologie

De auteurs stellen een nieuw architectuurontwerp voor: Forward-Forward (FF) Autoencoders voor draadloze communicatie. In plaats van een terugwaartse pass te gebruiken, past het FF-algoritme de netwerkparameters aan op basis van twee voorwaartse passes:

Het FF-Algoritme:
- Positieve data: Het netwerk ontvangt een input die overeenkomt met de juiste boodschap (bijv. v = (1_m || 1_m)).
- Negatieve data: Het netwerk ontvangt een input met een verkeerde boodschap (bijv. v = (1_m || 1_¯m)).
- Goodness-metric: Elke laag $i$ heeft een eigen "goodness"-metriek $g_i = ||a_i||^2$ (de norm van de activatie). De trainingsdoelstelling is om deze activiteit te maximaliseren voor positieve data en te minimaliseren voor negatieve data, ten opzichte van een drempelwaarde $\tau_i$ .
- Geen backpropagation: Er worden geen afgeleiden teruggepropageerd. De labels (de boodschap) worden als input aan het netwerk gegeven.
Architectuur:
- Het systeem bestaat uit een Encoder en een Decoder, beide opgebouwd uit Fully Connected (FC) lagen met ReLU-activaties.
- De encoder bevat een normalisatie- of quantisatiestap om vermogensbeperkingen (zoals BPSK) te handhaven.
- De decoder bevat een extra classificatielaag (met Softmax) die de oorspronkelijke boodschap reconstrueert. Deze classifier wordt getraind met een "neutrale" input (waarbij de tweede helft van de input nul is).
- Het paper onderzoekt twee scenario's:
  1. Gecombineerde codering en modulatie: De encoder output is continu (niet-gequantiseerd).
  2. Gekwantiseerde output: De encoder output wordt geforceerd naar een vast modulatiesymbool (bijv. BPSK via sign()), wat voor BP niet-differentieerbaar is.

Belangrijkste Bijdragen

Ontwerp van FF Autoencoders: De eerste toepassing van het Forward-Forward algoritme op end-to-end geleerde communicatiesystemen, inclusief een specifieke aanpassing voor contrastieve inputdata.
Omzeilen van Differentieerbaarheid: Het bewijzen dat FF effectief kan trainen in scenario's waar het kanaal of de modulatie niet-differentieerbaar is, zonder de noodzaak van geschatte gradienten (zoals STE) of feedbacklinks.
Hardware-efficiëntieanalyse: Een kwantitatieve analyse van de voordelen van FF ten opzichte van BP in termen van geheugengebruik (geen opslag van gradienten) en verwerkingstijd (geen backward lock, waardoor lagen parallel kunnen werken).
Uitgebreide Evaluatie: Numerieke evaluatie van de prestaties (Block Error Rate - BLER) op zowel Additive White Gaussian Noise (AWGN) als Rayleigh Block Fading (RBF) kanalen.

Resultaten

De numerieke resultaten tonen de volgende inzichten:

Prestaties (BLER):
- In AWGN-kanalen presteert de FF-autoencoder dicht bij BP-systemen, maar vertoont bij hogere SNR-waarden een lichte degradatie (ongeveer 1 dB gap).
- In Rayleigh Fading-kanalen is de FF-autoencoder zeer competitief en kan hij zelfs de BP-systemen benaderen of overtreffen, vooral in scenario's met niet-differentieerbare operaties.
- Gekwantiseerde output: Bij het gebruik van BPSK-modulatie (niet-differentieerbaar) presteert FF aanzienlijk beter dan BP. BP-systemen die gebruikmaken van geschatte gradienten (STE) of RL hebben moeite om de prestaties van het niet-gequantiseerde systeem te behouden, terwijl FF dit probleem omzeilt en superieure resultaten levert.
Netwerkgrootte: FF-netwerken vereisen over het algemeen bredere lagen (meer neuronen) om vergelijkbare prestaties als BP te bereiken. De prestaties zijn echter gevoeliger voor de complexiteit van de encoder dan van de decoder.
Convergentie: FF convergeert even snel als BP en aanzienlijk sneller dan RL-gebaseerde methoden.
Efficiëntie:
- Geheugen: FF elimineert de noodzaak om gradienten op te slaan, wat een enorme besparing oplevert in het geheugengebruik (cruciaal voor analoge hardware).
- Tijd: Door het ontbreken van de "backward lock" kan de trainingstijd theoretisch worden gereduceerd van $2N$ tijdseenheden (bij BP) naar $N+1$ (bij FF), waarbij $N$ het aantal lagen is.

Betekenis en Conclusie

Dit paper demonstreert dat Forward-Forward learning een veelbelovend alternatief is voor Backpropagation in de context van draadloze communicatie. De belangrijkste implicaties zijn:

Energie-efficiëntie: FF maakt de implementatie van deep learning op energiezuinige, analoge hardware (zoals memristoren) mogelijk, omdat het geen complexe terugwaartse berekeningen vereist.
Robuustheid: Het systeem is bij uitstek geschikt voor real-world scenario's met niet-differentieerbare kanalen of beperkingen in de modulatie, waar traditionele BP-methoden falen of complexe omwegen nodig hebben.
Toekomstperspectief: Hoewel FF momenteel iets meer parameters vereist om dezelfde nauwkeurigheid te bereiken, zijn de voordelen in verwerkingssnelheid, geheugengebruik en de mogelijkheid tot "in-situ" training op edge devices doorslaggevend voor de volgende generatie communicatiesystemen.

Samenvattend biedt dit werk een solide basis voor het ontwerpen van energie-efficiënte, robuuste en hardware-vriendelijke communicatiesystemen die niet afhankelijk zijn van de beperkingen van backpropagation.