Person Detection and Tracking from an Overhead Crane LiDAR

Dit artikel presenteert een aangepast dataset en een evaluatie van 3D-detectie- en trackingmethodes voor het lokaliseren van personen vanuit een LiDAR-sensor op een kraan in een industriële omgeving, waarbij VoxelNeXt en SECOND de beste prestaties leveren binnen een straal van 5 meter.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen om de techniek begrijpelijk te maken.

De Missie: Een Veilige Dansvloer voor Robots en Mensen

Stel je een grote fabriekshal voor, vol met zware machines en hijskranen die over het hoofd van de werknemers zweven. Het is als een drukke dansvloer, maar dan met gevaarlijke apparatuur. Als een kraan per ongeluk te dicht bij een mens komt, kan dat ernstig letsel veroorzaken.

De onderzoekers van deze paper wilden een slimme, onzichtbare bewaker bouwen die bovenop zo'n kraan zit. Deze bewaker moet elke seconde weten: "Waar lopen de mensen? En wie is wie?" zodat de kraan op tijd kan stoppen.

Het Probleem: Een Verkeerde Hoek

Normaal gesproken kijken robot-auto's (zoals zelfrijdende auto's) naar voren, net als wij. Ze hebben speciale camera's en lasers (LiDAR) om voetgangers te zien. Maar hier kijken de sensoren van bovenaf, alsof je vanuit een helikopter naar beneden kijkt.

Dit is een groot probleem voor de software:

• De "Hoek" is anders: Een mens die je van voren ziet, lijkt op een lange staart. Van bovenaf zie je alleen het hoofd en de schouders, en dat ziet eruit als een klein, rond vlekje.
• Geen handleiding: Er zijn geen bestaande "leermiddelen" (datasets) voor deze specifieke bovenaanzicht. Het is alsof je iemand wilt leren fietsen, maar je hebt alleen instructieboeken voor het leren zwemmen.

De Oplossing: Een Nieuwe "Kijk" en een Eigen Fotoalbum

Om dit op te lossen, hebben de onderzoekers drie belangrijke dingen gedaan:

1. Het Eigen Fotoalbum (De Dataset)
Omdat er geen bestaande data was, hebben ze zelf een "fotoalbum" gemaakt. Ze hebben mensen in de fabriek laten lopen terwijl de sensor boven hen draaide. Ze hebben elke persoon in 3D omcirkeld (een denkbeeldige doos om hen heen getrokken) om de computer te leren wat een mens eruitziet vanuit die rare bovenaanzicht-hoek.

• Vergelijking: Het is alsof je een kind leert een hond te herkennen, maar je laat het kind alleen foto's van honden zien die van de lucht zijn gefotografeerd, in plaats van van de zijkant.

2. De Slimme Detectoren (De Oogjes)
Ze hebben verschillende bestaande "oogjes" (AI-modellen) geprobeerd die normaal voor auto's worden gebruikt, en ze getraind met hun eigen fotoalbum. Ze hebben gekeken welke model het beste kon zien in het donker, bij regen, en op verschillende afstanden.

• De winnaars: Twee modellen, genaamd VoxelNeXt en SECOND, bleken de beste te zijn.
  • VoxelNeXt is als een scherpe verrekijker: hij ziet mensen heel duidelijk als ze dichtbij zijn (binnen 3 meter).
  • SECOND is als een verrekijker met een lange zoom: hij blijft goed zien, zelfs als de mensen wat verder weg lopen, waar de beelden wat korreliger worden.

3. Het Volgen (De Naamplaatjes)
Het is niet genoeg om mensen alleen te zien; je moet weten wie wie is. Als twee mensen langs elkaar lopen, mag de computer niet denken dat ze van plaats zijn veranderd.
Ze hebben twee systemen gebruikt om de mensen te volgen, alsof je aan elke persoon een naamplaatje geeft dat blijft hangen, zelfs als ze even uit beeld gaan.

• Ze ontdekten dat het volgen vooral afhankelijk is van hoe goed het "oog" (de detector) werkt. Als de detector goed ziet, is het volgen makkelijk. Als de detector twijfelt, raakt het systeem de mensen kwijt.

De Resultaten: Hoe goed werkt het?

• Dichtbij is perfect: Binnen een straal van 1 meter ziet het systeem bijna 100% van de mensen.
• Iets verder weg: Op 5 meter afstand ziet het systeem nog steeds 84% van de mensen.
• Snelheid: Het systeem is zo snel dat het in echt werkt. Het duurt minder dan een seconde om een beeld te verwerken, wat betekent dat de kraan direct kan reageren als er iemand in de weg loopt.

Conclusie

De onderzoekers hebben bewezen dat je met een sensor bovenop een kraan heel veilig en betrouwbaar mensen kunt zien en volgen in een fabriek. Ze hebben laten zien dat je bestaande technologie kunt "herprogrammeren" voor een nieuwe hoek, mits je eerst een eigen voorbeeldalbum maakt.

De grote les: Als je een robot veilig wilt laten werken in een fabriek, moet je hem niet laten kijken zoals een auto, maar zoals een vogel die van bovenaf kijkt. En dan moet je hem eerst even leren wat hij ziet.

De onderzoekers hebben hun "fotoalbum" en de software openbaar gemaakt, zodat andere bedrijven en onderzoekers hierop kunnen bouwen voor nog veiligere fabrieken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Person Detection and Tracking from an Overhead Crane LiDAR", geschreven in het Nederlands.

Probleemstelling

In industriële omgevingen, zoals fabrieken en magazijnen, is de veiligheid van werknemers die in de buurt van geautomatiseerde systemen werken (zoals bovenloopkranen) van cruciaal belang. Bestaande methoden voor persoonsdetectie zijn vaak gebaseerd op camera's of LiDAR-sensoren die op voertuigen of robots zijn gemonteerd (frontaal perspectief). Dit paper adresseert de specifieke uitdagingen van het detecteren en volgen van mensen vanuit een overhead (bovenaanzicht) perspectief met een LiDAR-sensor gemonteerd op een kraan.

De belangrijkste problemen zijn:

1. Domeinverschuiving (Domain Shift): Bestaande 3D-detectiemodellen zijn getraind op datasets voor autonoom rijden (voertuigcentrisch). Het bovenaanzicht introduceert een fundamenteel andere puntendichtheid en geometrie, waardoor deze modellen slecht presteren zonder aanpassing.
2. Gebrek aan data: Er zijn geen openbare datasets beschikbaar voor overhead LiDAR-detectie van mensen, wat het trainen van modellen bemoeilijkt.
3. Schaal en dichtheid: Mensen zijn kleine doelen in een point cloud, en vanuit een hoog perspectief kan de puntendichtheid variëren en de zichtbaarheid van het menselijk lichaam beperkt zijn (gedeeltelijke oppervlaktebedekking).

Methodologie

1. Dataverzameling en Annotatie
De auteurs hebben een specifieke dataset verzameld in een industriële werkruimte met een RS-Bpearl LiDAR (32 kanalen) gemonteerd op 2,94 meter hoogte.

• Dataset: Een site-specifieke dataset met 3D-boundingbox-annotaties voor menselijke doelen.
• Splits: De dataset is verdeeld in training (29 frames), validatie (1 frame) en test (76 frames) sets. De testset bevat deelnemers die niet in de training zaten om generalisatie te testen.
• Annotatie: Handmatige annotatie met behulp van labelCloud.

2. Detectie Architectuur (Transfer Learning)
Omdat er geen specifieke overhead-modellen bestaan, hebben de auteurs bestaande state-of-the-art 3D LiDAR-detectoren aangepast via transfer learning (fine-tuning) op hun dataset. De geselecteerde modellen zijn:

• PointPillars: Pillar-gebaseerd, geschikt voor BEV (Bird's Eye View).
• SECOND: Voxel-gebaseerd met sparse convoluties.
• PV-RCNN: Twee-staps proces (voxel + point features) voor verfijning.
• VoxelNeXt: Volledig sparse pipeline zonder dense conversies.
• Voxel RCNN: Twee-staps proces met voxel-features.

Alle modellen zijn getraind met een ROI (Region of Interest) tot 4,5 meter en gebruikte vooraf getrainde weights van KITTI en nuScenes datasets.

3. Tracking (Multi-Object Tracking)
Om ID's over tijd te behouden, werden twee "tracking-by-detection" methoden geïmplementeerd:

• AB3DMOT: Gebruikt een Kalman-filter (CV-model) en associatie op basis van Mahalanobis-afstand en BEV-IoU.
• SimpleTrack: Gebruikt een Kalman-filter met associatie puur op basis van geometrische overlap (IoU) in het BEV-vlak.
  Beide trackers zijn lichtgewicht en vereisen geen extra trainingsdata voor de tracking zelf.

4. Evaluatie

• Detectie: Geëvalueerd op Precision, Recall, F1-score, Average Precision (AP) en mIoU. Een unieke aanpak is de afstands-gesliceerde evaluatie (van 1,0m tot 5,0m) om het operationele bereik te kwantificeren.
• Tracking: Geëvalueerd op MOTA (Multi-Object Tracking Accuracy), MOTP (Precision) en IDF1 (ID F1-score).
• Latentie: Gemeten op een CPU (Intel Xeon) en GPU om real-time haalbaarheid te bepalen.

Belangrijkste Resultaten

Detectieprestaties:

• Beste Modellen: VoxelNeXt en SECOND presteerden het beste.
  • VoxelNeXt is superieur op korte afstand (< 3m) met een AP van 0,97 op 1,0m.
  • SECOND toont meer robuustheid op grotere afstanden (> 3m) waar de puntendichtheid daalt, met een AP van 0,84 binnen een straal van 5,0m.
• Domeinverschil: Zonder fine-tuning (alleen gebruik van standaard checkpoints) presteerden de modellen slecht (lage recall en AP), wat het belang van transfer learning voor dit specifieke domein onderstreept.
• Latentie: De meeste detectoren (behalve PV-RCNN) zijn snel genoeg voor real-time toepassing (p50 latentie tussen 32-46 ms).

Trackingprestaties:

• De trackingkwaliteit wordt primair bepaald door de kwaliteit van de upstream detector.
• De combinatie van VoxelNeXt en AB3DMOT leverde de beste resultaten op (MOTA 0,70 bij IoU=0,3).
• AB3DMOT was aanzienlijk sneller (1,08 ms) dan SimpleTrack (6,30 ms), hoewel beide binnen real-time limieten vallen.
• Lokalisatie (MOTP) bleek lastiger dan detectie, waarschijnlijk door de moeilijkheid om nauwkeurige 3D-boundingboxes op mensen te plaatsen vanuit een overhead perspectief.

Bijdragen

1. Site-specifieke Dataset: De creatie en publicatie van een nieuw, handmatig geannoteerd dataset voor overhead LiDAR-persoonsdetectie in een industriële kraanomgeving.
2. Transfer Learning Evaluatie: Een uitgebreide vergelijking van vijf verschillende 3D-detectiemodellen die zijn aangepast voor een overhead perspectief, waarbij wordt aangetoond dat transfer learning essentieel is om de domeinverschuiving te overbruggen.
3. Operationeel Omvang: Een gedetailleerde analyse van de detectieprestaties als functie van de afstand, wat een duidelijk beeld geeft van het praktische werkgebied van de sensoropstelling.
4. Open Source: De publicatie van de dataset en de implementatiecode op GitHub om verder onderzoek te faciliteren.

Betekenis en Conclusie

Dit paper vult een belangrijke lacune in de literatuur door de kloof tussen standaard datasets voor autonoom rijden en de specifieke eisen van industriële veiligheidssystemen met overhead sensoren te dichten. Het bewijst dat het betrouwbaar detecteren en volgen van mensen in een industriële binnenruimte met een LiDAR op een kraan haalbaar is, mits de juiste modellen (zoals SECOND en VoxelNeXt) worden gekozen en aangepast.

De bevindingen zijn direct toepasbaar voor het ontwikkelen van veilige, geautomatiseerde systemen die menselijke werknemers kunnen detecteren en botsingen kunnen voorkomen. De studie benadrukt ook dat toekomstig werk gericht moet zijn op het uitbreiden van de dataset en het testen in nog dynamischere omgevingen.