⚡ electrical engineering

A Case Study on Energy-Efficient Edge AI Crack Segmentation

Dit artikel presenteert een energie-efficiënte oplossing voor krassegmentatie op randapparatuur, waarbij kennisdistillatie, kwantisatie en een aangepaste FPGA-architectuur worden gebruikt om de nauwkeurigheid en energie-efficiëntie aanzienlijk te verbeteren ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Matthias Tschope, Mohamed Moursi, Vladimir Rybalkin, Bo Zhou, Norbert Wehn, Paul Lukowicz

Gepubliceerd 2026-04-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matthias Tschope, Mohamed Moursi, Vladimir Rybalkin, Bo Zhou, Norbert Wehn, Paul Lukowicz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een inspecteur bent die bruggen, tunnels en gebouwen controleert op barsten. Vroeger moest een menselijke expert met een ladder of een touw naar gevaarlijke plekken klimmen om met een loepje te kijken. Dat is duur, riskant en tijdrovend.

De oplossing in dit onderzoek? Vliegende robots (drones) die zelf kunnen kijken. Maar hier zit een addertje onder het gras: deze drones hebben geen zware supercomputers aan boord. Ze moeten dus slimme beslissingen nemen met een kleine, batterijgedreven computer.

Dit artikel vertelt het verhaal van hoe de onderzoekers een "slimme drone-oog" hebben gebouwd dat barsten in beton kan zien, zonder dat de drone onder zijn gewicht bezwijkt of zijn batterij in vijf minuten leeg is.

Hier is hoe ze dat gedaan hebben, vertaald in alledaagse termen:

1. Het Probleem: De "Zware" Brein vs. De "Lichte" Raket

In de wereld van kunstmatige intelligentie (AI) zijn er twee soorten modellen:

De "Zware Breinen" (Transformers): Dit zijn als een professor met een enorme bibliotheek. Ze zijn super slim en zien elke barst perfect, maar ze zijn zwaar, traag en verbruiken veel energie. Je kunt ze niet in een drone stoppen.
De "Lichte Raketten" (U-Net): Dit zijn als een snelle, wendbare motorfiets. Ze zijn klein en snel, maar soms missen ze details die de professor wel zag.

De onderzoekers wilden de snelheid van de motorfiets met de slimheid van de professor.

2. De Oplossing: De "Meester-Leraren" Methode (Knowledge Distillation)

Om de kleine motorfiets zo slim te maken als de professor, gebruikten ze een truc die ze Knowledge Distillation noemen.

De Analogie: Stel je voor dat je een jonge, talentvolle student (het kleine model) wilt trainen. In plaats van alleen de juiste antwoorden te geven, laat je de student kijken hoe een meester (het grote, zware model) denkt.
De meester zegt niet alleen: "Dit is een barst." Hij zegt ook: "Kijk, hier is een schaduw die op een barst lijkt, maar hier is het echt."
Door deze "zachte lessen" te volgen, leert het kleine model veel meer dan alleen het juiste antwoord. Het resultaat? De kleine drone-computer wordt bijna net zo slim als de zware professor, maar blijft licht en snel.

3. Het "Inpakken" van de Software (Quantization)

Zelfs een slimme student kan te veel ruimte innemen. De onderzoekers hebben de software verder "ingepakt" door Post-Training Quantization toe te passen.

De Analogie: Stel je voor dat je een receptboek hebt geschreven met heel precieze maten: "1/3e van een theelepel zout, 0,004 gram peper." Dat is nauwkeurig, maar lastig om te onthouden en te gebruiken.
Ze hebben het receptboek herschreven naar makkelijkere maten: "Een snufje zout, een snufje peper."
In de computerwereld betekent dit dat ze de getallen van de AI van "zware" (dubbele precisie) naar "lichte" (hele getallen) hebben omgezet. Het boek wordt kleiner, past in je broekzak, en je kunt het veel sneller lezen, zonder dat het gerecht (de barstdetectie) veel minder lekker wordt.

4. De Speciale Motor: De FPGA

Voor de allerbeste energie-efficiëntie bouwden ze geen standaard computer, maar een FPGA.

De Analogie: Een standaard computer (zoals in je laptop) is als een multifunctioneel keukenapparaat. Het kan alles: blikken openen, brood snijden, soep koken. Maar omdat het alles moet kunnen, is het niet optimaal voor één taak.
Een FPGA is als een speciaal ontworpen mes dat je zelf kunt vormen. De onderzoekers hebben de chip fysiek "omgebogen" zodat hij er precies uitziet als de taak die hij moet doen (barsten zoeken).
Omdat de chip precies past bij de taak, is hij razendsnel en verbruikt hij een fractie van de energie van een standaard computer. Het is alsof je van een grote vrachtwagen overstapt op een racefiets die perfect is afgesteld voor de weg.

De Resultaten: Wat hebben ze bereikt?

De onderzoekers hebben hun systeem getest op verschillende platforms, van een simpele Raspberry Pi tot hun eigen speciale FPGA-chip.

Snelheid: Hun beste versie (op de FPGA) kon 398 beelden per seconde verwerken. Dat is alsof je in één seconde een heel filmpje van een brug scant en direct weet waar de barsten zitten.
Energie: Ze waren extreem zuinig. Ze haalden 205 beelden per Joule energie. Dat is alsof je met één batterij van een zaklamp een heel uur lang kunt blijven kijken.
Nauwkeurigheid: Ondanks dat het systeem klein en snel was, zag het 8,8% meer barsten dan eerdere beste methoden.

Conclusie

Dit onderzoek laat zien dat je niet hoeft te kiezen tussen slim en snel/zuinig. Door een grote leraar te gebruiken om een kleine student te trainen, de software slim in te pakken, en de hardware speciaal voor die taak te bouwen, kunnen drones in de toekomst veilig, goedkoop en onafhankelijk onze infrastructuur controleren.

In plaats van dat een mens in gevaarlijke situaties moet klimmen, kunnen deze slimme, zuinige drones het werk doen, waardoor bruggen en tunnels veiliger blijven voor iedereen.

Probleemstelling

De inspectie en onderhoud van civiele infrastructuur (zoals bruggen, tunnels en gebouwen) is cruciaal voor de veiligheid. Traditionele methoden zijn vaak handmatig en vereisen dat menselijke experts zich in gevaarlijke omgevingen begeven. Het gebruik van onbemande luchtvaartuigen (UAV's) met aan boord geïnstalleerde computervisie biedt een veiliger en efficiënter alternatief.

De kernuitdaging ligt echter bij de implementatie van crack-segmentatie (het detecteren van scheuren) op randapparatuur (edge devices). Deze apparaten hebben beperkte rekenkracht, geheugen en stroomvoorziening. Hoewel Transformer-modellen (zoals SegFormer) de hoogste nauwkeurigheid bieden, zijn ze te zwaar voor real-time verwerking op deze apparaten. Lichtere modellen zoals U-Net zijn geschikter, maar vereisen nog steeds optimalisatie om een balans te vinden tussen nauwkeurigheid en energie-efficiëntie. Bovendien vormen beperkingen in bandbreedte en beveiliging de reden om data lokaal te verwerken in plaats van naar de cloud te streamen.

Methodologie

De auteurs hanteren een holistische aanpak die modelontwerp, trainingsstrategieën en hardware-implementatie combineert:

Modelarchitectuur en Schaling:
- Gebaseerd op de originele U-Net architectuur.
- Er zijn vier kleinere varianten gegenereerd door het aantal feature-kanaals ( $c$ ) te reduceren (variërend van $c=2$ tot $c=32$ ). Dit creëert een familie van modellen met een parametergrootte die drie ordes van grootte verschilt.
- De architectuur behoudt de encoder-decoder structuur met skip-connections, maar zonder bias-termen (omdat ze direct gevolgd worden door Batch Normalization).
Kennisdistillatie (Knowledge Distillation - KD):
- Om de prestaties van de kleine "student"-modellen (U-Net varianten) te verbeteren, wordt kennisdistillatie toegepast.
- Een groot, krachtig SegFormer-B5 model fungeert als "leraar" (teacher) en wordt gefinetuned op het CrackVision12K dataset.
- De student-modellen worden getraind om de zachte class-verdelingen van de leraar na te bootsen, naast het gebruik van harde labels (ground truth). Dit compenseert voor het verlies aan capaciteit bij het verkleinen van het model.
Post-Training Quantization (PTQ):
- Om de modellen verder te comprimeren voor edge-deploy, wordt PTQ toegepast.
- De auteurs testen precisies van int8 en int4 voor gewichten en activaties.
- Resultaten tonen aan dat int8 quantization de nauwkeurigheid behoudt of zelfs verbetert (door regularisatie-effecten), terwijl int4 leidt tot een significante daling in prestaties.
Hardware Implementatie:
- Edge Platforms: Vergelijking tussen CPU (Raspberry Pi 5), GPU/NPU (NVIDIA Jetson Orin Nano) en een AI-accelerator (Coral Edge TPU).
- FPGA: Ontwikkeling van een aangepaste hardware-architectuur op een FPGA (AMD Zynq UltraScale+).
  - Een cruciale innovatie is het uitbesteden van skip-connections naar extern geheugen. Omdat skip-connections in U-Net veel on-chip geheugen vereisen, blokkeren ze vaak de implementatie van grotere modellen. Door deze naar extern geheugen te verplaatsen (via AXI interfaces), kunnen grotere modellen worden gedeployd zonder de on-chip resource limieten te overschrijden, terwijl de toegangspatroon (sequentieel) de energie-overhead beperkt houdt.

Belangrijkste Bijdragen

Uitgebreide Design Space Exploration: Een systematische analyse van modelgrootte, nauwkeurigheid, latentie en energie-efficiëntie over meerdere hardware-platforms.
Pareto-optimale Modellen: Het identificeren van U-Net varianten die de beste balans bieden. Het beste model is 63,63× kleiner dan de best geteste Hybrid-Segmentor (Goo et al.), maar presteert 6,32 percentagepunten (pps) beter in mean IoU.
Aangepaste FPGA Architectuur: Een ontwerp dat de beperkingen van on-chip geheugen voorbij gaat door skip-connections uit te besteden, waardoor grotere U-Net varianten efficiënt kunnen draaien.
Kennisdistillatie Effectiviteit: Het aantonen dat KD niet alleen de nauwkeurigheid verbetert, maar ook de modellen robuuster maakt tegen het verkleinen van het aantal parameters.

Resultaten

De resultaten worden gepresenteerd op basis van het CrackVision12K dataset:

Nauwkeurigheid:
- De beste U-Net variant (Base 32) met KD bereikt een mean IoU van 71,92%, wat 8,82 pps hoger is dan eerdere resultaten op dit dataset.
- Zelfs de zeer kleine varianten (bijv. Base 8) behouden een hoge nauwkeurigheid dankzij KD.
Prestaties op Edge Platforms:
- Raspberry Pi 5: Bereikt geen real-time prestaties voor de grotere modellen.
- Jetson Orin Nano: Bereikt real-time prestaties, maar met hogere energieverbruik.
- Coral Edge TPU: Werkt goed voor kleine modellen, maar modellen met transposed convoluties vereisen hertraining met nearest upsampling om nauwkeurigheid te behouden.
FPGA Prestaties (De beste oplossing):
- De FPGA-implementatie (met Base 4 model, int8 quantization en KD) bereikt een throughput van 398 FPS.
- De energie-efficiëntie bedraagt 204,99 Frames/Joule, wat aanzienlijk hoger is dan alle andere geteste platforms.
- Deze configuratie behoudt een mean IoU van 69,42% (voor Base 4) of 71,11% (voor Base 16, afhankelijk van de configuratie), wat een verbetering is van 2,79 pps ten opzichte van de baseline U-Net zonder KD.

Betekenis en Conclusie

Dit onderzoek demonstreert dat het combineren van model-schaling, kennisdistillatie, quantization en hardware-specifieke optimalisatie een krachtige strategie is voor het uitvoeren van complexe AI-taken op energie-beperkte randapparatuur.

De studie bewijst dat het niet nodig is om te vertrouwen op zware Transformer-modellen of cloud-computing voor kritieke infrastructuurinspectie. Door slimme architecturale keuzes (zoals het uitbesteden van geheugen op de FPGA) en trainingsmethodes (KD), kunnen compacte modellen worden ontwikkeld die zowel extreem energie-efficiënt zijn als een hoge detectienauwkeurigheid behouden. Dit maakt autonome, veilige en continue inspectie van infrastructuur met UAV's technisch haalbaar en economisch rendabel.

Toekomstig werk richt zich op Quantization-Aware Training (QAT) om de prestaties van gequantiseerde modellen verder te verbeteren, en het verzamelen van eigen datasets vanuit UAV-vluchten voor realistischere evaluaties.