💻 computer science

Online 3D Multi-Camera Perception through Robust 2D Tracking and Depth-based Late Aggregation

Dit artikel stelt een raamwerk voor dat bestaande online 2D multi-camera tracking-systemen uitbreidt naar de 3D-ruimte door gebruik te maken van dieptegedreven puntwolkreconstructie en een verbeterd data-associatiemechanisme, waarmee de derde plaats wordt behaald op de leaderboard van de 3D MTMC AI City Challenge 2025.

Oorspronkelijke auteurs: Vu-Minh Le, Thao-Anh Tran, Duc Huy Do, Xuan Canh Do, Huong Ninh, Hai Tran

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vu-Minh Le, Thao-Anh Tran, Duc Huy Do, Xuan Canh Do, Huong Ninh, Hai Tran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke menigte mensen probeert bij te houden die door een groot gebouw lopen, terwijl je een dozijn beveiligingscamera's hebt die vanuit verschillende hoeken meekijken. Je doel is om precies te weten waar iedereen zich in de 3D-ruimte bevindt (niet alleen op een plat scherm) en ervoor te zorgen dat je "Persoon A" niet uit het oog verliest, alleen omdat ze achter een zuil liepen of van het zichtveld van Camera 1 naar dat van Camera 2 wisselden.

Dit artikel presenteert een nieuwe "slimme assistent" voor beveiligingssystemen die dit probleem oplost zonder dat de bestaande software volledig opnieuw gebouwd hoeft te worden. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het Probleem: "Retrofitting" is Moeilijk

De meeste oude beveiligingssystemen zijn uitstekend in het bijhouden van dingen op een plat, 2D-scherm (zoals in een videospel). Maar om te weten waar iets zich in de echte 3D-wereld bevindt, moet je meestal het oude systeem weggooien en er een nieuw vanaf de grond op bouwen. Dat is duur en moeilijk.

De auteurs wilden een manier vinden om een werkend 2D-systeem te "upgraden" naar 3D zonder het af te breken.

2. De Oplossing: Een Twee-Staps Assemblagelijn

Stel hun systeem voor als een fabriek met twee hoofdstations:

Station 1: De 2D-Detective (Volgen)
Eerst gebruikt het systeem de bestaande camera's om mensen en objecten te vinden. Het tekent een kader om hen op het 2D-scherm en geeft ze een tijdelijke ID (zoals een naamplaatje).

De "Naamplaatje"-Truc: De auteurs bedachten een slimme manier om ervoor te zorgen dat de naamplaatjes consistent blijven. Als een persoon door Camera A, B en C wordt gezien, controleert het systeem of de "lokale" ID's van die camera's overeenkomen met wat er in de vorige seconde werd gezien.
Het "Split"-Mechanisme: Soms lijken twee mensen zo op elkaar of komen ze zo dicht bij elkaar dat het systeem per ongeluk denkt dat ze één persoon zijn. Het systeem van de auteurs fungeert als een detective die beseft: "Wacht, dat zijn eigenlijk twee verschillende mensen!" en de groep weer splitst in twee aparte sporen.

Station 2: De 3D-Sculpteur (Dieptebundeling)
Zodra het systeem weet wie wie is in 2D, gaat het naar het tweede stadium om uit te zoeken waar ze zich in 3D bevinden.

Klei Verzamelen: Het systeem neemt de 2D-kaders en combineert ze met "dieptekaarten" (die lijken op onzichtbare 3D-scanners die de camera vertellen hoe ver dingen verwijderd zijn). Hiermee bouwt het een ruwe "wolk van punten" (een point cloud) voor elke persoon, ze scult ze in feite uit digitaal stof.
Opschonen: Omdat de camera's niet perfect zijn, kan deze puntenwolk rommelig zijn of gaten hebben (zoals wanneer iemand gedeeltelijk verborgen is). Het systeem gebruikt een "ruisfilter" om de wolk glad te strijken en de losse punten te verwijderen.
De Doos Maken: Zodra de wolk schoon is, past het systeem een perfecte 3D-kartonnen doos om de wolk heen.
De "Fusie"-Stap: Soms maakt het systeem per ongeluk twee dozen voor dezelfde persoon aan door een storing. De methode van de auteurs fungeert als een lijmpistool en smelt die dubbele dozen samen tot één enkele, nauwkeurige 3D-doos.
De "Yaw"-Verfijning: Tot slot, om ervoor te zorgen dat de doos de juiste kant op wijst (bijvoorbeeld als een persoon zijwaarts loopt versus voorwaarts), kijkt het systeem waar de persoon 10 seconden geleden was en waar ze nu zijn. Het berekent de richting waarin ze bewegen en roteert de 3D-doos om die richting te matchen.

3. Het Resultaat: Een Wereldse Test

Het team testte deze "upgrade-kit" op een enorm dataset genaamd de 2025 AI City Challenge, die complexe omgevingen simuleert zoals magazijnen en ziekenhuizen met tot wel 50 camera's.

Het Resultaat: Hun methode werkte niet alleen; ze was zeer effectief. Ze namen een bestaand 2D-volgsysteem en, door hun "3D-Sculpteur" en "Naamplaatje"-upgrades toe te voegen, behaalden ze 3e plaats in de wereldwijde competitie.
Waarom dit belangrijk is: Ze bewezen dat je je oude 2D-beveiligingssoftware niet hoeft te schrappen om hoogwaardige 3D-tracking te krijgen. Je hoeft alleen deze specifieke "late aggregation"-laag erbovenop toe te voegen.

In het kort: Ze hebben uitgevonden hoe je een plat, 2D-videovolgsysteem "dieptezintuig" kunt geven door cameraviews te combineren, digitale data op te schonen en slim ID-plaatjes te beheren, allemaal zonder het hele systeem van de grond af opnieuw te hoeven bouwen.

Technische Samenvatting: Online 3D Multi-Camera Perceptie via Robuuste 2D Tracking en Op Diepte Gebaseerde Late Aggregatie

Probleemstelling

Multi-Target Multi-Camera Tracking (MTMC) is een kritieke computer vision-taak voor het automatiseren van grootschalige surveillance. Hoewel 2D MTMC opmerkelijke prestaties heeft bereikt, blijft het uitbreiden van deze mogelijkheden naar de 3D-ruimte een uitdaging. Bestaande 3D MTMC-benaderingen vereisen vaak het samenvoegen van multi-view data of detecties tot een uniforme 3D-ruimte voordat tracking plaatsvindt (bijvoorbeeld EarlyBird, BEV-SUSHI). Deze "early fusion"-benadering vereist doorgaans het volledig vervangen van alle 2D-trackingcomponenten, wat voor bestaande grootschalige surveillance-systemen vaak onpraktisch is vanwege de complexiteit en kosten van dergelijke ingrijpende wijzigingen. Bovendien moet 3D-tracking effectief omgaan met fusie van multi-view informatie, gedeeltelijke occlusies en schaalbare 3D-geometrische representatie op objectniveau.

Methodologie

De auteurs stellen een nieuw kader voor dat elk bestaand online 2D multi-camera tracking-systeem uitbreidt naar 3D-ruimte via Late 3D Bounding Box Aggregatie. De pijplijn werkt in twee hoofdfasen:

1. Verbeterde Online 2D Multi-Camera Tracking

De eerste fase richt zich op het verkrijgen van consistente 2D bounding boxes en globale identiteiten over verschillende weergaven.

Detectie & Kenmerkextractie: Het systeem gebruikt een op Transformer gebaseerde Co-DETR-detecteur. Voor kenmerkextractie maakt het gebruik van CLIP-ReID voor uiterlijke embeddings en RTMPose voor pose-schatting (14 sleutelpunten) om voetpunten te identificeren.
Ruimtelijke Data-associatie: Op elk tijdstip worden gedetecteerde 2D-doelen geklausterd op basis van ReID-uiterlijke kenmerken (cosinusafstand) en locatie van bovenaf (Euclidische afstand via homografie). Agglomeratieve clustering groepeert doelen tot unieke entiteiten.
Temporele Data-associatie (MOT ID-consistentie): Om globale ID's toe te wijzen, introduceren de auteurs een MOT ID-consistentie-mechanisme. Deze benadering maakt gebruik van de consistentie van lokale MOT-ID's over opeenvolgende frames.
- Consistentie-matching: Een cluster wordt gematcht met een bestaande track als de groep lokale ID's significant overlapt met de lokale ID's van de vorige track.
- Track-splitsing: Als een cluster "onverwachte" lokale ID's bevat (ID's die niet in de vorige track zijn gezien) die meer lijken op de verwachte track dan op de oude lokale ID, splitst het systeem de track. Dit voorkomt ID-wisselingen veroorzaakt door occlusies of ruisige kenmerken.
- State-beheer: Tracks worden beheerd in drie staten: Voorlopig, Bevestigd en Verloren, met specifieke regels voor reactivatie en het aanmaken van nieuwe tracks.

2. Late 3D Bounding Box Aggregatie

Zodra 2D-tracking en globale ID's zijn vastgesteld, reconstrueert het systeem 3D-representaties zonder de 2D-tracker aan te passen.

Diepte naar Puntwolk: Voor elk getrackt object segmenteert het systeem het object binnen zijn 2D bounding box met SAM2. Het extraheert dieptewaarden uit de verstrekte dieptekaarten voor pixels binnen het masker. Deze 2D-pixels worden geprojecteerd naar 3D-camera-coördinaten en vervolgens getransformeerd naar een globaal wereldcoördinatenstelsel met behulp van extrinsieke kalibratieparameters.
Puntwolk naar 3D Bounding Box: De resulterende puntwolken bevatten vaak ruis en fragmentatie door occlusie of projectiefouten.
- Clustering: DBSCAN wordt toegepast om ruis te verwijderen en de puntwolk van het object te isoleren.
- Box-schatting: Afmetingen worden geschat met behulp van percentielen van de puntcoördinaten. Om gevallen te hanteren waar de puntwolk te schaars of ruisig is, valideert het systeem het voorspelde volume tegen het gemiddelde volume van de klasse in de trainingsset, waarbij afmetingen worden begrensd als ze buiten een gedefinieerd bereik vallen ( $\alpha_{lower}$ tot $\alpha_{upper}$ ).
3D Bounding Box Fusie: Vanwege mogelijke fouten in 2D ruimtelijke associatie kan een enkel object meerdere 3D-boxen met verschillende ID's toegewezen krijgen. Het systeem voert een gewogen fusie uit van overlappende boxen (met behulp van 3D IoA) om ze te samenvoegen tot één nauwkeurige 3D bounding box.
Yaw-verfijning: Om de oriëntatie-accuraatheid te verbeteren, wordt de yaw-hoek verfijnd op basis van de bewegingstrajectorie van het doel. De hoek wordt berekend uit het verplaatsingsvector tussen frames $t-10$ en $t$ , en wordt alleen bijgewerkt als de beweging een specifieke drempel overschrijdt.

Belangrijkste Bijdragen

Flexibel Kader: Een methode om traditionele online 2D MTMC-systemen uit te breiden tot het uitvoeren van 3D-trackingresultaten via late aggregatie, waardoor de noodzaak om 2D-componenten opnieuw te bouwen wordt vermeden.
Verbeterde Associatiemethode: Een online associatiestrategie die gebruikmaakt van MOT ID-consistentie om globale ID's over frames te propageren door lokale ID-consistentie te benutten, waardoor de prestaties van cross-camera tracking worden verbeterd.
3D-reconstructiemethode: Een pijplijn die ID-toegewezen 2D bounding boxes uitbreidt naar 3D-ruimte met behulp van segmentatie, dieptekaart-extractie, puntwolk-clustering en geometrische verfijning om 3D bounding boxes te creëren.
Validatie: De methode is gevalideerd op de 2025 AI City Challenge 3D MTMC-dataset, waarbij de derde plaats werd behaald op de publieke leaderboard.

Resultaten

Het voorgestelde systeem is geëvalueerd op de AIC25 MTMC-dataset (23 synthetische scènes, tot 50 camera's).

2D-prestaties: Op de validatieset verbeterde de MOT ID-consistentie-matching de HOTA-score met 20,46% (van 48,63 naar 69,09), voornamelijk gedreven door een toename van 29,03% in Associatie-accuraatheid (AssA).
3D-prestaties: Op de publieke testset bereikte de volledige pijplijn een HOTA-score van 28,75%.
- De MOT ID-consistentiemodule droeg bij aan een stijging van ongeveer 5% in Detectie-accuraatheid (DetA) en een stijging van 7% in AssA.
- De Late 3D Aggregatiemodule bood de grootste impuls, met een toename van DetA met 13% en HOTA met 10%.
- Yaw-verfijning verbeterde verder de Lokalisatie-accuraatheid (LocA), waardoor de uiteindelijke HOTA naar 28,75% steeg.
Leaderboard-positie: Het systeem behaalde de 3e plaats in Track 1 van de 2025 AI City Challenge, presterend beter dan andere teams zoals UTE AI Lab (25,39 HOTA) en SKKU-AutoLab (63,13 HOTA in een andere context, hoewel het artikel TeamQDT vermeldt met 28,75 HOTA voor de specifieke 3D-track).

Betekenis en Claims

Het artikel stelt dat de primaire betekenis ligt in het bieden van een praktische en kosteneffectieve oplossing voor het upgraden van bestaande surveillance-infrastructuur. Door "late aggregation" te gebruiken, tonen de auteurs aan dat hoogwaardige 3D-perceptie kan worden bereikt zonder de prohibitieve kosten en complexiteit van het vervangen van gevestigde 2D-trackingcomponenten. Het kader overbrugt effectief de kloof tussen 2D-tracking en 3D-lokalisatie, waarbij dieptekennis en robuuste ID-consistentie worden benut om omgang met occlusies en multi-view-uitdagingen te faciliteren, zoals blijkt uit de concurrerende prestaties in een rigoureuze benchmark.