Phys-3D: Physics-Constrained Real-Time Crowd Tracking and Counting on Railway Platforms

Het artikel introduceert Phys-3D, een real-time framework dat fysiek onderbouwde 3D-bewegingsmodellen en deep learning combineert om betrouwbare menigten op spoorwegperrons te tellen ondanks dynamische camera's en zware verduisteringen.

De kern

De Slimme Trein die de Menigte "Ziet": Een Simpele Uitleg van Phys-3D

Stel je voor dat je in een trein zit die langzaam een druk perron nadert. Voor de treinbestuurder en de stationbeheerders is het cruciaal om te weten: Hoeveel mensen wachten daar? Is het veilig om te stoppen?

Normaal gesproken kijken camera's vanaf het station naar beneden. Maar in dit onderzoek hebben de wetenschappers een slimme truc bedacht: ze kijken vanuit de trein naar het perron. Het probleem? Als de trein beweegt, lijkt het alsof de mensen op het perron zelf bewegen, terwijl ze eigenlijk stilstaan. En als het erg druk is, verbergen mensen elkaar.

Hier is hoe hun nieuwe systeem, Phys-3D, dit probleem oplost, vertaald in alledaagse taal:

1. De "Hoofd-Strategie" (In plaats van het hele lichaam)

Stel je voor dat je in een dichte menigte probeert iemand te vinden. Als je op hun benen of lichaam kijkt, zie je vaak alleen een brij van kleding en schaduwen. Maar hoofden springen eruit, zelfs als mensen dicht op elkaar staan.

• De oplossing: Het systeem negeert de lichamen en focust puur op de hoofden. Het is alsof je in een zwembad niet naar de zwemmers zelf kijkt, maar alleen naar de koppen die boven water uitsteken. Hierdoor kan het systeem mensen vinden, zelfs als ze half verborgen zijn.

2. De "Fysieke Regel" (Waarom de trein niet gek wordt)

Dit is het meest ingenieuze deel. Stel je voor dat je op een roterend carrousel zit en naar een standbeeld kijkt dat stilstaat. Voor jou lijkt het standbeeld te bewegen, maar dat is alleen omdat jij beweegt.

• Het probleem: Gewone camera's denken dat de mensen op het perron rennen of versnellen, alleen omdat de trein beweegt. Dit leidt tot gekke fouten: de computer telt iemand twee keer of denkt dat iemand verdwenen is.
• De oplossing (Phys-3D): Het systeem gebruikt een soort "fysieke wet" in zijn brein. Het weet: "Ik zit in een trein die remt. De mensen op het perron bewegen niet echt, het is mijn beweging die het beeld verandert."
  • Het rekent niet in pixels op het scherm, maar in 3D-ruimte. Het weet dat als de trein dichterbij komt, de hoofden groter lijken, maar dat hun echte grootte (in de wereld) hetzelfde blijft.
  • Het is alsof je een bril draagt die de beweging van de trein "wegfiltert", zodat je alleen de echte beweging van de mensen ziet.

3. De "Virtuele Teller" (Geen foutjes door trillen)

Stel je voor dat je mensen telt die door een smalle deuropening lopen. Als ze even trillen of als de camera schudt, kan het zijn dat je iemand twee keer telt of iemand mist.

• De oplossing: In plaats van een dunne lijn te trekken (waarbij één trilling al een fout maakt), hebben ze een virtueel tellend bandje (een soort zone) op het perron gedefinieerd.
  • Een persoon telt pas als hij/zij binnen dit bandje blijft voor een paar seconden.
  • Als iemand even wegvalt door een andere persoon die voorbij loopt, telt het systeem niet direct af. Het wacht even. Pas als de persoon het bandje volledig heeft verlaten, telt het als "aangekomen".
  • Dit is als een poortwachter die zegt: "Ik tel je pas als je echt binnen bent en niet meer wegloopt."

Waarom is dit belangrijk?

Vroeger waren deze systemen vaak onbetrouwbaar op drukke stations: ze telden te veel, te weinig, of verloren mensen uit het oog als de trein remde.

Met Phys-3D kunnen treinen nu:

1. Veiliger zijn: Ze weten precies hoeveel mensen er wachten en kunnen sneller beslissen of het veilig is om te stoppen.
2. Slimmer plannen: Als het erg druk is, kan het station extra treinen sturen of extra personeel inzetten.
3. Real-time werken: Het gebeurt terwijl de trein rijdt, zonder dat er dure, statische camera's op het perron nodig zijn.

Kortom: Het is alsof de trein een "super-zintuig" heeft gekregen dat de chaos van een druk perron kan doorzien, de beweging van de trein zelf corrigeert, en een perfect, betrouwbaar aantal mensen telt, zelfs als het eruitziet als een warboel.

Technische samenvatting

Probleemstelling

Het nauwkeurig en real-time tellen van passagiers op treinstations is cruciaal voor de veiligheid en capaciteitsbeheer. Bestaande systemen vertrouwen vaak op statische camera's, wat beperkingen oplevert qua dekking, perspectiefvervorming en overkapping (occlusie). De auteurs richten zich op een specifieke en uitdagende setting: het tellen van menigten vanuit een bewegende trein terwijl deze het perron nadert.

De belangrijkste uitdagingen bij deze aanpak zijn:

• Extreme perspectiefveranderingen: Hoofden van passagiers schalen snel op naarmate de trein dichterbij komt.
• Dichte overkapping (Occlusie): Passagiers verstoppen elkaar, wat volledige lichaamsdetectie onbetrouwbaar maakt.
• Ego-beweging: De beweging van de trein veroorzaakt schijnbare beweging in het beeld, wat klassieke trackers (die uitgaan van statische camera's) laat falen door identiteitswisselingen en onnauwkeurige trajecten.
• Fysieke inconsistentie: Bestaande trackers negeren vaak de fysica van de beweging, wat leidt tot onrealistische trajectvoorspellingen.

Methodologie

De auteurs stellen een end-to-end "detect-track-count" pijplijn voor, genaamd Phys-3D, die specifiek is ontworpen voor onboard-perceptie. Het systeem bestaat uit drie hoofdstadia:

1. Detectie: Hoofdbasede Benadering

In plaats van volledige lichamen te detecteren (wat gevoelig is voor afkapping en bewegingsonscherpte), focust het systeem op het detecteren van hoofden.

• Model: Gebruik van YOLOv11m als basisdetector.
• Training: Een twee-staps transfer learning strategie. Eerst vooraf getraind op het grote CrowdHuman-dataset, gevolgd door fijnafstemming (fine-tuning) op een nieuw, domeinspecifiek dataset genaamd RailwayPlatformCrowdHead.
• Reden: Hoofden blijven zichtbaarder en stabieler in dichte menigten dan volledige lichamen.

2. Tracking: Phys-3D (Physics-Constrained 3D Tracking)

Dit is de kerninnovatie van het artikel. In plaats van te vertrouwen op standaard 2D-bewegingsmodellen (zoals constante snelheid in het beeldvlak), introduceert het systeem een fysisch beperkt Kalman-filter in 3D-ruimte.

• Principe: Het model maakt gebruik van de pinhole-camera-geometrie. Het veronderstelt dat de beweging van passagiers op het perron voornamelijk statisch is in X en Y, terwijl de afstand (Z) verandert door de naderende trein.
• State Vector: De Kalman-filter schat de 3D-positie $(X, Y, Z)$, de snelheid en versnelling in de diepte-as, en een constante hoofdgrootte.
• Voordeel: Door de beweging te modelleren in 3D en de versnelling van de trein te integreren, kan het systeem onderscheid maken tussen echte passagiersbeweging en schijnbare beweging veroorzaakt door de camera (ego-motion). Dit voorkomt dat de tracker "dwaalt" en identiteitswisselingen minimaliseert.
• Re-Identification (Re-ID): Gebruik van EfficientNet-B0 om visuele kenmerken van de gedetecteerde hoofden te coderen (128-dimensionale embeddings), wat helpt bij het herkennen van personen na tijdelijke overkapping.

3. Telling: Virtuele Tellingband (Virtual Counting Band)

Om dubbele tellingen of gemiste tellingen door trillingen (jitter) of korte overkappingen te voorkomen, wordt geen gebruik gemaakt van een simpele lijn die wordt gekruist.

• Methode: Er wordt een virtuele zone (een "band") gedefinieerd op het perron (bijv. 5% tot 20% van de beeldbreedte).
• Persistency: Een passagier wordt alleen geteld als de track gedurende een ingesteld aantal opeenvolgende frames (bijv. $N=2$) binnen deze band blijft.
• Deduplicatie: Zodra een ID is geteld, wordt deze gemarkeerd om dubbel tellen te voorkomen, zelfs als de persoon even uit beeld verdwijnt en terugkomt.

Belangrijkste Bijdragen

1. Phys-3D Framework: Een nieuwe, real-time tracking-architectuur die fysica (pinhole-geometrie en treinversnelling) integreert in de Kalman-filter-state, wat leidt tot fysiek plausibele trajecten onder bewegende camera's.
2. Nieuwe Dataset: Introductie van de MOT-RailwayPlatformCrowdHead (MOT-RPCH) dataset, een domeinspecifiek dataset met gelabelde hoofden en trajecten van treinen die perrons naderen, inclusief diverse omstandigheden (licht, overkapping, menigtedichtheid).
3. Robuuste Telling: Een strategie die "virtuele tellingzones" combineert met tijdspersistentie, wat aanzienlijk beter presteert dan traditionele lijn-kruisingsmethoden in dynamische omgevingen.
4. End-to-End Pijplijn: Een volledig werkend systeem dat detectie, tracking en telling combineert voor real-time toepassing op treinen.

Resultaten

Het systeem is getest op de MOT-RPCH dataset en vergeleken met standaard methoden (Constant Velocity 8D en Constant Acceleration 12D Kalman filters).

• Telprecisie: De Phys-3D methode bereikte een Mean Absolute Percentage Error (MAPE) van slechts 2,97%.
  • Ter vergelijking: De standaard CV-8D model had een MAPE van 14,59% en CA-12D van 6,99%.
• Tracking Performance:
  • MOTA (Multiple Object Tracking Accuracy): 67,19%
  • IDF1 (Identity F1 Score): 76,32%
  • Identiteitswisselingen (IDSW): Gemiddeld slechts 24,5 per sequentie, wat aantoont dat de fysica-gedreven aanpak identiteiten veel stabieler houdt.
• Efficiëntie: Het systeem draait real-time op randhardware (NVIDIA T4 GPU), met een inferentie snelheid van ongeveer 69,5 FPS voor de Re-ID component bij een input van 128x128.

Betekenis en Toekomst

De studie demonstreert dat het integreren van eerste-principes geometrie en bewegingspriors (fysica) superieur is aan het simpelweg complexer maken van kinematische modellen of het gebruiken van pure datadrivende benaderingen voor specifieke scenario's.

• Praktische Toepassing: Dit systeem stelt spoorwegbeheerders in staat om real-time passagiersdichtheid te monitoren, wat essentieel is voor proactief veiligheidsbeheer, adaptief treinvervoer en capaciteitsplanning.
• Beperkingen en Richting: Huidige beperkingen zijn gebrek aan data voor extreme weersomstandigheden (nacht, regen). Toekomstig werk richt zich op multi-camera fusie, domeinadaptatie en het integreren van multimodale sensoren (zoals LiDAR of thermische camera's) voor al-weer betrouwbaarheid.

Kortom, Phys-3D biedt een robuuste, fysiek onderbouwde oplossing voor een van de moeilijkste problemen in de computervisie: het volgen en tellen van mensen in een dynamische, bewegende omgeving met zware overkapping.