Towards automatic smoke detector inspection: Recognition of the smoke detectors in industrial facilities and preparation for future drone integration

Probleemstelling

Brandveiligheid is een kritisch aspect van industriële faciliteiten, waarbij rookmelders een essentiële rol spelen. De regelmatige inspectie en test van deze sensoren is echter vaak moeilijk, duur en gevaarlijk, vooral in omgevingen met hoge plafonds of moeilijk bereikbare locaties. Menselijke inspecteurs moeten vaak werken op hoogte, wat risico's met zich meebrengt. Het doel van dit onderzoek is het ontwikkelen van een robuust, automatisch detectiesysteem dat geïntegreerd kan worden in een drone-platform. Dit systeem moet in staat zijn rookmelders te herkennen voor periodieke controles, waardoor inspecties veiliger, sneller en goedkoper worden.

De belangrijkste uitdagingen zijn:

1. Beperkte dataset: Het verzamelen van voldoende real-world beelden van rookmelders is moeilijk vanwege toegangsbeperkingen en de hoogte.
2. Edge-computing: Het model moet draaien op een drone met beperkte rekenkracht, batterijcapaciteit en gewicht (embedded devices zoals Raspberry Pi).
3. Variabele omstandigheden: Detectie moet robuust zijn tegen bewegingsonduidelijkheid (motion blur), lage resolutie en onvolledige objecten tijdens de vlucht.

Methodologie

1. Dataverzameling en Augmentatie
Omdat een grote dataset van echte industriële beelden moeilijk te verkrijgen was, gebruikten de auteurs een hybride aanpak:

• Real Data: 1672 geselecteerde foto's uit diverse omgevingen (scholen, garages, hallen).
• Semi-synthetische Data: Een combinatie van echte achtergronden met geredende rookmelders of foto's van sensoren in een laboratoriumomgeving. Er werden 3840 extra beelden gegenereerd door sensoren op de bovenste 40% van de achtergrond te plaatsen, met aanpassingen in helderheid en een lichte Gaussian blur voor realisme.
• Datasplits: De data werd opgesplitst in training, validatie en testsets. Er werden twee testsets gebruikt: Test-Normal (standaard kwaliteit) en Test-Difficult (met blur, onvolledige objecten, etc.).

2. Trainingsstrategieën
Vijf verschillende trainingsstrategieën werden vergeleken om de optimale balans tussen realiteit en synthetische data te vinden:

• R-R: Alleen echte data voor training en validatie.
• R-G: Echte training, gegenereerde validatie.
• G-G: Alleen gegenereerde data.
• G-R: Gegenereerde training, echte validatie.
• M-R: Gemengde training (echt + gegenereerd) met echte validatie.

3. Modelarchitecturen
Drie soorten objectdetectoren werden vergeleken, specifiek gericht op prestaties op edge-apparaten:

• YOLOv11: Single-stage detector (versies N, S, M, X). Bekend om lage inferentietijden.
• SSD (Single Shot MultiBox Detector): Vergelijking tussen VGG16 en MobileNetV3-L backbones.
• RT-DETRv2: Transformer-based detector (versies S, M, L), staat bekend om hoge nauwkeurigheid maar hogere rekenvereisten.

4. Evaluatie en Hardware

• Metingen: Prestaties werden gemeten aan de hand van mAP@0.5 (mean Average Precision) op de twee testsets.
• Augmentatie: Er werd getest met standaard augmentaties versus aangepaste augmentaties (via het Albumentations-framework) die vluchtcondities simuleren (bewegingsonduidelijkheid, defocus, chromatische aberratie).
• Hardware: De inferentie werd getest op Raspberry Pi 4B en Raspberry Pi 5 om de haalbaarheid op drones te beoordelen. Een ROS-2 (Robot Operating System) pipeline werd ontwikkeld voor de integratie.

Belangrijkste Bijdragen

1. Data-Efficiëntie: Het artikel demonstreert hoe men effectief kan trainen met een beperkte dataset door semi-synthetische data te combineren met echte data (M-strategie), wat cruciaal is voor industriële toepassingen waar data schaars is.
2. Vergelijking van Architecturen: Een uitgebreide vergelijking tussen traditionele CNN-architecturen (YOLO, SSD) en moderne transformer-architecturen (RT-DETR) in de context van rookmelder-detectie op edge-apparaten.
3. Praktische Implementatie: Ontwikkeling van een volledige ROS-2 pipeline en analyse van inferentietijden op Raspberry Pi-systemen, wat de weg vrijmaakt voor daadwerkelijke drone-integratie.
4. Open Source: De code, voorgeïnstalleerde modellen en de dataset zijn publiek beschikbaar gesteld.

Resultaten

• Beste Trainingsstrategie: De M-R strategie (gemengde training met echte validatie) bleek over het algemeen het meest effectief. Het gebruik van alleen gegenereerde data (G-G) leidde tot overfitting en slechte generalisatie op de testsets.
• Beste Model: YOLOv11n (de kleinste variant) presteerde het beste met een gemiddelde mAP@0.5 van 0,884. Het toonde de beste balans tussen nauwkeurigheid en generalisatievermogen op de "moeilijke" testset.
  • Opmerking: Kleinere YOLO-varianten (N en S) presteerden beter dan de grotere varianten (M en X), wat suggereert dat de grotere modellen overfitten op de beperkte dataset.
• SSD Prestaties: De SSD met de VGG16 backbone presteerde verrassend goed (gemiddelde mAP@0.5 van 0,876) en was het meest consistent tussen de normale en moeilijke testsets (kleinste verschil in scores), ondanks dat VGG16 ouder is dan MobileNet.
• RT-DETRv2: Hoewel de L-variant robuuster was op moeilijke data, waren de inferentietijden te hoog voor real-time gebruik op de geteste hardware. Transformer-modellen bleken meer data te nodig hebben om hun potentieel volledig te benutten.
• Augmentatie: Aangepaste augmentaties die vluchtcondities simuleren (blur, defocus) verbeterden de resultaten niet; ze leidden zelfs tot een lichte daling in prestaties, wat wijst op overfitting op de standaard-uitziende data.
• Inferentietijden (Edge):
  • Raspberry Pi 5: YOLOv11n bereikte ~6,4 FPS, wat voldoende is voor langzame drone-navigatie.
  • Raspberry Pi 4B: YOLOv11n bereikte ~1,6 FPS.
  • SSD en RT-DETR waren te traag (inferentietijden in seconden) voor real-time toepassing op deze hardware.

Significantie en Conclusie

Dit onderzoek biedt een praktische oplossing voor een reëel industriële veiligheidsprobleem. Het toont aan dat:

1. Automatisering haalbaar is: Een drone-gebaseerd inspectiesysteem voor rookmelders is technisch realiseerbaar met huidige edge-hardware.
2. Data-strategieën cruciaal zijn: Het combineren van synthetische en echte data (M-R) is superieur aan het gebruik van alleen synthetische data of alleen echte data bij beperkte datasets.
3. YOLOv11n de beste keuze is: Voor deze specifieke toepassing biedt de kleinste YOLO-variant de beste balans tussen snelheid, nauwkeurigheid en generalisatievermogen.
4. Beperkingen: Hoewel SSD met VGG16 goed presteerde, zijn de inferentietijden en licentieproblemen (AGPL vs. MIT/Apache) belangrijke factoren bij de keuze. Transformer-modellen zijn momenteel te zwaar voor de beschikbare embedded hardware zonder verdere optimalisatie.

De studie legt een fundament voor toekomstige ontwikkelingen, waaronder het integreren van LiDAR voor navigatie en het verzamelen van nog grotere datasets via de drone zelf om complexere modellen mogelijk te maken.