Distilled Edge Intelligence for Bolt Defect Detection in Communication Towers

Technische Samenvatting: Gedestilleerde Edge Intelligence voor het Detecteren van Boutdefecten in Communicatietorens

Probleemstelling
Het artikel behandelt de uitdaging van het implementeren van hoogwaardige deep learning-modellen voor de detectie van boutdefecten (specifiek loszittende en gecorrodeerde bouten) op hulpbronnenbeperkte edge-apparaten op locaties van communicatietorens. Er bestaat een fundamentele afruil tussen nauwkeurigheid en efficiëntie: cloud-modellen bieden betrouwbare detectie, maar brengen prohibitieve transmissielatentie en bandbreedtekosten met zich mee, terwijl lichtgewicht edge-modellen het verbruik van hulpbronnen verminderen maar vaak kampen met een lage recall op minderheidsklassen (losse en gecorrodeerde bouten), wat kritiek is voor de veiligheid. Bovendien vertonen in het veld verzamelde datasets een extreme klassenimbalans (gedomineerd door normale monsters) en vertonen defecten visueel heterogene patronen (geometrische deformatie voor loszitten versus textuurveranderingen voor corrosie) die moeilijk te vangen zijn met een enkele beeldvormingsmodaliteit.

Methodologie
De auteurs stellen een Distilled Edge Intelligence Framework voor dat cloud-zijde hoogwaardige perceptie integreert met edge-zijde lichtgewicht inferentie via drie kerncomponenten:

1. Heterogene Dual-Stream Teacher Model:

   • Een cloud-gebaseerd teacher-model ($M_t$) maakt gebruik van een dual-stream architectuur die RGB-textuur en monoculaire dieptegeometrie fuseert. De dieptekaarten worden gegenereerd uit enkelvoudige RGB-afbeeldingen met behulp van een vooraf getraind foundation model (Depth Anything), waardoor de noodzaak voor specifieke dieptesensoren wordt vermeden.
   • Om de extreme klassenimbalans aan te pakken, wordt de teacher getraind met een defect-bewuste focal loss die het gewicht van de "Loose" klasse versterkt en klasse-specifieke beslissingsdrempels hanteert.

2. Tweefasige Trainingsstrategie voor het Student Model:

   • Fase 0 (Architectuurselectie): Een lichtgewicht student-architectuur ($M_s$) wordt geselecteerd uit een kandidaatfamilie (bijv. MobileNetV2-varianten) op basis van strikte budgetten voor hulpbronnen (parameters, FLOPs en opslag) vóór de training begint. In de experimenten werd MobileNetV2-0.5× geselecteerd om te passen op een CPU-only edge-node.
   • Fase 1 (Knowledge Distillation): De student wordt getraind met behulp van logit-gebaseerde kennisdistillatie (response-level) in plaats van feature-level distillatie. De auteurs stelden empirisch vast dat feature-level distillatie de recall van minderheidsklassen verslechterde omdat de tussenliggende features van de teacher werden gedomineerd door de meerderheidsklasse "Normal", wat de bias versterkte. In plaats daarvan leert de student van de verwekte logit-voorspellingen van de teacher ($T^2$ geschaald) gecombineerd met een focal loss, waardoor het effectief het vermogen van de teacher om defecten te herkennen herstelt tegen een fractie van de computationele kosten.

3. Confidence-Aware Edge-Cloud Collaborative Inference:

   • Het systeem maakt gebruik van een asymmetrisch offloading-beleid. Het edge-model fungeert als een "conservatieve filter voor normale monsters".
   • Lokale Verwerking: Als het edge-model een "Normal" voorspelt met een hoge mate van vertrouwen (boven een drempel $\tau$), wordt het monster lokaal afgehandeld.
   • Cloud Offloading: Als de voorspelling "Loose" of "Corroded" is, of als het vertrouwen voor "Normal" laag is, wordt het monster naar de cloud geoffload voor verificatie door het teacher-model.
   • Dit mechanisme wordt beheerd door een risico-gecontroleerd drempelselectieproces dat de latentie optimaliseert terwijl het een harde beperking oplegt aan de minimale defect-recall ($R_{min}$).

Belangrijkste Bijdragen

1. Framework Integratie: Een verenigd framework dat cloud-zijde hoogwaardige perceptie combineert met edge-zijde lichtgewicht inferentie, specifiek voor de inspectie van bouten bij communicatietorens.
2. Tweefasige Training: Een strategie die de structurele hulpbronbeperking (architectuurselectie) ontkoppelt van de prestatieoptimalisatie (kennisdistillatie), waarbij gebruik wordt gemaakt van logit-gebaseerde distillatie om de recall van minderheidsklassen te verbeteren zonder feature-level alignment.
3. Risicosensitieve Collaboratie: Een vertrouwen-bewust inferentiemechanisme dat het edge-model behandelt als een filter voor normale monsters, waarbij alleen onzekere of potentieel defecte monsters naar de cloud worden geoffload om het bandbreedtegebruik te balanceren met de betrouwbaarheid van veiligheidskritische detectie.

Experimentele Resultaten
Experimenten werden uitgevoerd op een in het veld verzamelde dataset van 3.886 afbeeldingen (75% Normal, 9,5% Loose, 13,5% Corroded).

• Teacher Prestaties: De dual-stream teacher bereikte een gebalanceerde nauwkeurigheid van 0,9308 en een corrosie-recall van 0,988, waarmee de klassenimbalans effectief werd aangepakt.
• Effectiviteit van Distillatie: Logit-gebaseerde distillatie verbeterde de student-modellen aanzienlijk. De "Loose" recall steeg van 0,365 (ongedistilleerde student) naar 0,692 (+32,7 procentpunten) en de gebalanceerde nauwkeurigheid steeg van 0,618 naar 0,735.
• Edge Efficiëntie: Het gedestilleerde student-model (MobileNetV2-0.5×) bereikte 56,8 FPS op een CPU-only edge-node (inclusclusief diepte-estimatie), wat voldoet aan de real-time vereisten.
• Collaboratieve Prestaties:
  • Bij een gebalanceerd werkpunt ($\tau=0,75$) bereikte het systeem een gebalanceerde nauwkeurigheid van 0,923 (slechts 0,8 pp onder cloud-only) terwijl de cloud-uploadratio werd verminderd naar 80,8% en de latentie naar 48,48 ms.
  • Bij een op veiligheid geprioriteerd punt ($\tau=0,90$) bereikte het systeem nul lokale defect-lekken (geen false negatives afgehandeld op de edge) met een uploadratio van 98,7%, wat bijna overeenkomt met de cloud-only prestaties.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework effectief de afruil tussen nauwkeurigheid, latentie en bandbreedte navigeert die inherent is aan edge-gebaseerde inspectie van torens. Door een lichtgewicht gedestilleerd model als een conservatieve filter te gebruiken, bereikt het systeem een detectienauwkeurigheid die bijna gelijk is aan die van de cloud, terwijl het onnodige datatransmissie aanzienlijk vermindert. De auteurs benadrukken dat deze aanpak bijzonder geschikt is voor veiligheidskritische taken waarbij false negatives onacceptabel zijn, en tonen aan dat het combineren van kennisdistillatie met vertrouwen-bewuste edge-cloud samenwerking een levensvatbare oplossing is voor het implementeren van hoogprecisie visuele inspectie op hulpbronnenbeperkte edge-apparaten. De studie claimt niet alle edge computing-uitdagingen op te lossen, maar richt zich specifiek op de nauwkeurigheid-efficiëntie kloof binnen structurele gezondheidsmonitoring onder extreme klassenimbalans.