FPGA-Enabled Machine Learning Applications in Earth Observation: A Systematic Review

Deze systematische review analyseert 68 experimenten waarbij FPGA's worden gebruikt voor machine learning-toepassingen in aardobservatie, en introduceert twee taxonomieën voor efficiënte modelarchitecturen en implementatiestrategieën om de uitdagingen van bandbreedte en onboard-ontscheidingsvorming in de NewSpace-ère aan te pakken.

De kern

🛰️ De Slimme Satelliet: Waarom FPGAs de Helden zijn van Ruimtevaart

Stel je voor dat je een camera hebt die de hele aarde fotografeert. Dit is een satelliet of een drone. Vroeger maakten deze camera's foto's, stuurden ze terug naar de aarde, en keken mensen (of zware computers) ernaar om te zien: "Is dat een bos? Is dat een schip? Is er een brand?"

Maar er is een groot probleem: De postbode is traag.
De satelliet maakt zoveel foto's dat de verbinding naar de aarde (de "downlink") vol zit. Het is alsof je probeert een hele bibliotheek te sturen via een postkaartje. Veel waardevolle informatie gaat verloren omdat het te laat is of omdat de verbinding te traag is.

De oplossing? Laat de satelliet zelf nadenken.
In plaats van alle ruwe foto's te sturen, laat je de satelliet de foto's direct in de ruimte analyseren. Alleen de belangrijke resultaten (bijvoorbeeld: "Hier is een schip!" of "Hier is een wolk!") worden teruggestuurd. Dit noemen we Edge AI (kunstmatige intelligentie aan de rand van het netwerk).

Maar hoe maak je een computer slim die ook nog eens klein, licht en zuinig is? En die kan overleven in de straling van de ruimte?

Hier komen FPGAs in het spel.

---

🧩 Wat is een FPGA? De "Lego van de Computers"

Om dit te begrijpen, moeten we kijken naar de drie hoofdpersonages in dit verhaal:

1. De CPU (De Alleskunner): Dit is de processor in je laptop. Hij kan van alles, maar hij doet het één voor één. Hij is als een chef-kok die alles zelf doet: snijden, bakken, serveren. Hij is flexibel, maar niet supersnel als je 100 borden tegelijk moet klaarmaken.
2. De GPU (De Massaproductie): Dit is een videokaart. Hij heeft duizenden kleine helpers die allemaal hetzelfde doen. Hij is als een fabriek die duizenden identieke auto's tegelijk bouwt. Zeer snel, maar als je iets anders wilt bouwen (bijv. een boot), moet je de hele fabriek herbouwen.
3. De FPGA (De Slimme Lego): Dit is een chip die je zelf kunt vormgeven. Je kunt de "draadjes" binnenin de chip herschakelen om precies die machine te bouwen die je op dat moment nodig hebt.
   • De analogie: Stel je voor dat je een doos met Lego-blokjes hebt. Je kunt er een auto van bouwen voor je ritje naar school. Als je morgen een boot nodig hebt, haal je de auto uit elkaar en bouw je een boot. Je gebruikt dezelfde blokjes, maar je bouwt een heel ander apparaat.

Waarom kiezen ze voor FPGAs in de ruimte?

• Flexibiliteit: Als er een nieuwe missie komt, kun je de chip "herprogrammeren" zonder een nieuwe chip te hoeven bestellen (wat jaren duurt).
• Efficiëntie: Omdat je de chip precies bouwt voor de taak (bijv. het herkennen van wolken), verbruikt hij veel minder stroom dan een zware GPU.
• Sterk: Ze kunnen beter tegen de straling in de ruimte dan gewone chips.

---

🔍 Wat hebben de onderzoekers ontdekt?

De auteurs van dit artikel (Cédric, Dirk en Martin) hebben 68 verschillende experimenten onderzocht waarin mensen ML-modellen (slimme algoritmen) op FPGAs hebben gezet voor aardobservatie. Ze hebben dit gedaan als een detective die alle bewijs verzamelt.

Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse termen:

1. Wat doen ze precies? (De Taken)

De meeste projecten proberen drie dingen:

• Zoeken en Vinden: "Zie je dat schip in de zee?" of "Is dat een vliegtuig?" (Dit is de populairste taak).
• In kaart brengen: "Is dit gebied bebost of is het een stad?"
• Wolken checken: "Is deze foto bedekt met wolken?" Als ja, stuur de foto niet terug, want hij is waardeloos. Dit bespaart enorm veel tijd en bandbreedte.

2. Welke "hersenen" gebruiken ze? (De Modellen)

Ze gebruiken vooral CNN's (Convolutional Neural Networks).

• Vergelijking: Stel je voor dat je een foto bekijkt. Een mens kijkt naar het hele plaatje. Een CNN kijkt naar kleine stukjes (zoals een oog, een neus, een wiel) en bouwt daar het hele plaatje van op.
• De meeste onderzoekers gebruiken lichtgewicht modellen. Ze nemen geen zware, dure "Super-Hersenen" (zoals een ResNet-50), maar bouwen een "Slimme Muis" (zoals MobileNet of YOLO). Deze zijn klein genoeg om in de ruimtechip te passen en snel genoeg om in real-time te werken.

3. Hoe maken ze ze kleiner? (De Optimalisatie)

Om deze slimme modellen in een kleine chip te krijgen, gebruiken ze trucjes:

• Kwantiseren (Afronden): In plaats van met precieze getallen te rekenen (zoals 3.1415926), ronden ze af naar hele getallen (3). Het is alsof je in plaats van een dure diamant (fp32) een goedkope glazen knoop (int8) gebruikt. Het resultaat is bijna hetzelfde, maar het kost veel minder ruimte en energie.
• Snoeien (Pruning): Ze verwijderen de "dode takken" in het model. Als een deel van de hersenen nooit wordt gebruikt, knippen ze het eraf.
• Pipelining: In plaats van dat de chip wacht tot de ene taak klaar is voordat hij de volgende begint, laten ze alles tegelijk stromen, zoals een assemblagelijn in een fabriek.

---

🚀 De Grote Uitdagingen en Toekomst

Het artikel zegt ook wat er nog ontbreekt:

• Te weinig variatie: De meeste projecten kijken alleen naar foto's (optisch) of radar (SAR). Er wordt nog te weinig gekeken naar andere sensoren of complexe taken zoals het voorspellen van natuurrampen in real-time.
• Vertrouwen: Als een AI zegt "Hier is een schip", hoe zeker is die AI dan? Soms maken ze fouten. De onderzoekers pleiten voor systemen die kunnen zeggen: "Ik ben 90% zeker, maar ik ben niet 100% zeker, check dit nog eens."
• Herhaalbaarheid: Veel onderzoekers zeggen: "Kijk, mijn chip werkt!" maar ze delen niet precies hoe ze het hebben gebouwd. Dit maakt het moeilijk voor anderen om het na te bouwen. De auteurs roepen op om meer code en data openbaar te maken.

💡 Conclusie in één zin

Dit artikel vertelt ons dat FPGAs de perfecte "Lego-blokjes" zijn om slimme, energiezuinige computers te bouwen voor satellieten en drones, zodat ze zelf kunnen beslissen wat belangrijk is en niet alles naar de aarde hoeven te sturen. Dit maakt onze wereldwijde monitoring van klimaat, veiligheid en natuur veel sneller en efficiënter.

Kortom: We bouwen nu niet meer alleen "slimme camera's", maar "slimme satellieten" die zelf nadenken. En FPGAs zijn de bouwstenen die dit mogelijk maken. 🌍✨

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "FPGA-Enabled Machine Learning Applications in Earth Observation: A Systematic Review" in het Nederlands.

Probleemstelling

De aardeobservatie (Earth Observation - EO) wordt getransformeerd door de opkomst van "NewSpace" en nieuwe UAV-technologieën. Dit leidt tot een explosie in het aantal kleine satellieten (SmallSats) en drones die enorme hoeveelheden data genereren. Er ontstaat echter een kritieke knelpunt: de bandbreedte voor het downloaden van deze data (downlink) blijft stagneren, terwijl de opnamesnelheid en resolutie toenemen.

• De uitdaging: Het is onmogelijk om alle ruwe data naar de grond te sturen. Missies moeten vaak data opvragen op basis van vooraf ingestelde voorwaarden, waardoor relevante informatie verloren gaat.
• De oplossing: "Edge Computing" of onboard verwerking. Door Machine Learning (ML) modellen direct op het platform (satelliet of drone) uit te voeren, kan alleen de verwerkte, gecomprimeerde of relevante informatie worden doorgestuurd.
• De hardware-beperking: Traditionele CPUs en GPUs zijn vaak te energievretend, te groot of niet bestand tegen straling voor ruimtevaarttoepassingen. ASICs zijn te star en duur voor snelle missie-aanpassingen.
• De rol van FPGA's: Field-Programmable Gate Arrays (FPGA's) bieden een unieke balans tussen prestaties, energie-efficiëntie en herconfigureerbaarheid, wat ze ideaal maakt voor specifieke, missie-afhankelijke ML-taken in ruimte- en luchtvaart.

Methodologie

De auteurs hebben een systematische literatuuroverzicht (Systematic Review) uitgevoerd volgens de PRISMA 2020-richtlijnen om de staat van de techniek te analyseren.

• Zoekprocedure: Er werd gezocht in Web of Science met zoekopdrachten die Machine Learning, Aardeobservatie (Remote Sensing) en FPGA's combineerden.
• Selectiecriteria: Uit 119 gevonden artikelen werden na screening 48 studies geselecteerd die 68 experimenten omvatten.
  • Uitsluitingscriteria: Geen experimenten, geen ML-modellen, geen Remote Sensing-data, of geen FPGA-implementatie.
• Tijdsbestek: 2014–2024 (met een focus op recente ontwikkelingen).
• Data-analyse: De auteurs hebben twee nieuwe taxonomieën ontwikkeld om de studies te structureren: één voor ML-toepassingen en één voor FPGA-implementatiestrategieën. Alle data en code zijn openbaar beschikbaar gesteld.

Belangrijkste Bijdragen

1. Systematische Analyse: Een transparante en reproduceerbare review van 68 experimenten die ML-modellen op FPGA's draaien voor Remote Sensing.
2. Twee Taxonomieën:
   • ML-toepassingen: Classificatie van problemen op basis van taak (classificatie, detectie, segmentatie), data-modaliteit (RGB, Hyperspectraal, SAR) en toepassing (bijv. wolken detectie, schipidentificatie).
   • FPGA-implementatie: Classificatie op basis van frameworks (Handmatig vs. Automatisch), ontwerppatronen (Specifiek vs. Flexibel) en optimalisatietechnieken.
3. Acht Onderzoeksvragen (RQ's): De studie beantwoordt vragen over de geschiktheid van algoritmen, hardware-keuzes, optimalisatiestrategieën en de impact op toekomstige missies.
4. Identificatie van Gaten: Een analyse van wat er nog ontbreekt in het huidige onderzoeksveld en aanbevelingen voor toekomstig werk.

Resultaten en Kernbevindingen

1. Toepassingen en Modellen (RQ1 & RQ2)

• Dominante Taken: "Target Surveillance" (44% van de studies), zoals het detecteren van schepen, vliegtuigen of militaire doelen, is het meest voorkomend. Dit wordt gevolgd door landschaps- en milieumonitoring (40%).
• Data-modaliteit: Optische data (RGB) domineert (65%). Hyperspectrale data (HSI) en SAR (Radar) worden minder vaak gebruikt, hoewel SAR cruciaal is voor bewolking en nachtelijke operaties.
• Modelarchitecturen: Convolutional Neural Networks (CNN's) zijn veruit het meest gebruikt (74%).
  • Aanpassingen: Veel studies gebruiken aangepaste CNN's of "lightweight" backbones (zoals MobileNet, GhostNet) om de complexiteit te verlagen.
  • Detectie: Enkele-shot detectoren (YOLO, SSD) zijn de norm voor objectdetectie vanwege hun snelheid.
  • Minder voorkomend: Vision Transformers (ViT) en recurrente netwerken (RNN) zijn nog zeldzaam in FPGA-implementaties voor EO.

2. Hardware en Platformkeuze (RQ3)

• Dominante Hardware: AMD (voorheen Xilinx) FPGA's domineren (96% van de studies). De Zynq-familie (SoC met CPU en FPGA) is het meest gebruikt (57%).
• Vergelijking: FPGA's worden verkozen boven CPU's, GPU's en ASIC's vanwege hun energie-efficiëntie (GOP/s/W) en stralingsbestendigheid (cruciaal voor ruimtevaart).
  • Tegenover GPU's: FPGA's zijn vaak minder krachtig in piekprestaties maar veel zuiniger en beter bestand tegen straling.
  • Tegenover ASIC's: FPGA's bieden herprogrammeerbaarheid ("deploy and program"), wat essentieel is voor missies die na lancering moeten worden aangepast.

3. Optimalisatiestrategieën (RQ4, RQ5 & RQ6)
Om ML-modellen op FPGA's te laten werken, zijn zware optimalisaties nodig:

• Quantization: 89% van de diepe leerexperimenten gebruikt kwantisatie (vaak naar int8 of binair) om rekenkracht en geheugen te besparen. Mixed-precision (verschillende bit-breedtes per laag) is een veelbelovende techniek.
• Pruning: Het verwijderen van onnodige gewichten of kanalen wordt vaak gecombineerd met kwantisatie.
• Architectuur: Gebruik van lichtgewicht backbones (bijv. MobileNet) en het vervangen van convoluties door diepte-wijs gescheiden convoluties.
• Implementatie:
  • Manueel (HDL/HLS): Biedt maximale controle en efficiëntie, maar is arbeidsintensief.
  • Automatisch (Vitis AI, FINN): Versnelt de ontwikkeling, maar kan minder geoptimaliseerd zijn. Vitis AI gebruikt een DPU (Deep Learning Processor Unit) die flexibel is, terwijl FINN specifieke acceleratoren genereert.
• Parallelisme: Gebruik van pipelining, systolische arrays en data-hergebruik om de beperkte frequentie van FPGA's te compenseren.

4. Synergieën en Toekomst (RQ7 & RQ8)

• Schalbaarheid: Kleinere FPGA's (Tiny/Small) kunnen alleen zeer eenvoudige modellen of traditionele ML (SVM, Decision Trees) uitvoeren. Grotere FPGA's (Mid-range/High-end) kunnen complexe CNN's draaien met hoge doorvoer.
• Real-world voorbeelden: De studie belicht succesvolle missies zoals PhiSat-1 (wolken detectie) en OPS-SAT, die aantonen dat AI aan boord haalbaar is en downlink-data aanzienlijk reduceert.
• UAV-toepassingen: UAV's profiteren van real-time obstakeldetectie en autonome navigatie met lage stroomverbruik.

Significantie en Aanbevelingen

De studie concludeert dat FPGA's de standaard worden voor ML-inferentie in ruimte- en luchtvaarttoepassingen vanwege hun unieke combinatie van energie-efficiëntie en aanpasbaarheid.

Gesignaleerde Gaten en Aanbevelingen:

1. Beperkte Diversiteit: Er is te weinig onderzoek naar complexe taken zoals data-compressie, rampenmonitoring en regressieproblemen.
2. Moderne Architecturen: Vision Transformers (ViT) en RNN's worden onderbelicht; er is meer onderzoek nodig naar hun implementatie op FPGA's.
3. Vertrouwen en Interpretatie: Er is een gebrek aan methoden voor Uncertainty Quantification (UQ) en Explainable AI (xAI) aan boord, wat essentieel is voor betrouwbare autonome besluitvorming.
4. Reproduceerbaarheid: Veel studies rapporteren onvolledige prestatie-metrics (bijv. geen geheugenbandbreedte-analyse of inconsistente bit-breedtes). De auteurs dringen aan op open data, code en gestandaardiseerde benchmarks.
5. Hardware-Aware NAS: Er is potentie in het gebruik van Neural Architecture Search (NAS) die specifiek is ontworpen voor FPGA-beperkingen.

Kortom, dit overzicht biedt een cruciale blauwdruk voor onderzoekers en ingenieurs die willen werken aan de volgende generatie autonome, intelligente aardeobservatiesystemen.