Technische Samenvatting: MVDGC – Gezamenlijke 3D en 2D Multi-view Voetgangersdetectie via Dubbele Geometrische Constraints

1. Probleemdefinitie

De kernuitdaging in Multi-View Pedestrian Detection (MVPD) is de effectieve aggregatie van visuele kenmerken uit verschillende gezichtspunten om redeneringen over occlusies in drukke scènes te kunnen uitvoeren. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën, die beide significante beperkingen kennen:

• Anchor-gebaseerde methoden: Deze voeren onafhankelijk 2D-detectie uit in elk gezichtspunt en associëren detecties vervolgens op basis van geometrische nabijheid en verschijning. Hoewel efficiënt, zijn ze kwetsbaar voor occlusie, gemiste detecties en zwakke cross-view associatie door een gebrek aan vroege feature-uitlijning.
• Centralisatie-gebaseerde methoden: Deze projecteren beeldkenmerken op een gedeelde Bird's Eye View (BEV) kaart om dichte bezettingsdetectie uit te voeren. De vereiste perspectivische transformatie voor deze projectie induceert echter ernstige geometrische vervorming, waarbij kenmerken niet-uniform worden uitgerekt. Dit leidt tot breuken in de ruimtelijke structuur, wazige kenmerken en kwantiseringsfouten door gediscretiseerde BEV-heatmaps, wat de lokalisatieprecisie verslechtert, met name in dichte menigten.

Bovendien falen huidige methoden er vaak in om het sterke wederzijdse verband tussen BEV-grondpunten en 2D-beeldbounding boxes te benutten, waarbij ze 2D-detecties slechts behandelen als hulpbronnen in plaats van ze gezamenlijk te optimaliseren met de primaire BEV-lokalisatietaak.

2. Methodologie: MVDGC

De auteurs stellen MVDGC voor, een verenigd, end-to-end query-gebaseerd framework dat gezamenlijk voetgangerslocaties op het BEV-vlak en 2D-bounding boxes in beeldweergaven schat zonder te vertrouwen op dichte BEV-feature maps. Het framework is gebouwd op een 3D cilindrische query representatie en bestaat uit de volgende kerncomponenten:

2.1 3D Cilindrische Query Formulering

In plaats van volledige 3D bounding boxes te regresseren (die onbeschikbare volledige 3D-annotaties vereisen) of enkel 2D-punten, representeert MVDGC elke voetganger als een leerbare 3drubust verticale cilinder.

• Representatie: Een query $Q_{3D}$ wordt gedefinieerd door een positiecomponent $P_{3D} = \{x, y, h, r\}$ (grondvlakcoördinaten, hoogte en straal) en een featurecomponent $F_{3D}$.
• Geometrische Brug: Het middelpunt van de cilinder ligt op het BEV-vlak, en de projectie ervan op beeldweergaven vormt van nature een rechthoekige bounding box. Dit verenigt BEV-lokalisatie en ImV-detectie tot één enkele taak: het verfijnen van de positie en vorm van de cilinder.
• Voordeel: In tegenstelling tot 3D-cuboids, die projecteren naar complexe polygonen, projecteren cilinders naar strakke rechthoekige boxen, wat direct BEV-lokalisatie ondersteunt en de 3D-vormparameters zwakker superviseert.

2.2 Netwerkarchitectuur

De decoderingsfase verwerkt deze queries via drie gespecialiseerde modules:

1. Multi-view Feature Sampling: 3D cilindrische queries worden geprojecteerd naar 2D referentiepunten in alle camerabeelden met behulp van camera-projectiematrices. In plaats van volledige feature maps naar BEV te vervormen, gebruikt het model deformable cross-attention om lokale kenmerken direct uit de ruwe beelddomeinen te samplen. Dit elimineert projectie-geïnduceerde vervorming en resolutieverlies.
2. Intra-Inter Query Interactie: Deze module faciliteert informatie-uitwisseling in twee stappen:
   • Intra-view: Maakt communicatie mogelijk tussen queries binnen hetzelfde cameragezicht om ruimtelijke coherentie te vestigen.
   • Inter-view: Versterkt de homogeniteit van verschijningskenmerken voor hetzelfde object in verschillende gezichtspunten.
3. Multi-view Adaptieve Fusie: Om occlusies en variërende zichtbaarheid te hanteren, leert het model instantie-specifieke aandachtgewichten voor elke objectquery in elk cameragezicht. Dit stelt het netwerk in staat om de meest informatieve gezichtspunten voor elke individuele voetganger prioriteit te geven, in plaats van uniforme view-gewichten toe te passen.

2.3 Trainingsdoelstellingen

MVDGC maakt gebruik van dubbele geometrische constraints om de verfijning van de 3D cilinders te superviseren:

• BEV Supervisie: Directe regressie van de grondvlakcoördinaten $(x, y)$ van de cilinder met behulp van een KL-gebaseerde regressieverlies om onzekerheid te modelleren en een focal-stijl classificatieverlies.
• ImV Supervisie: De geprojecteerde cilinder wordt gedwongen om uit te lijnen met 2D-bounding boxes in de beeldweergaven met behulp van Smooth L1 en Generalized IoU (GIoU) verliezen.
• Gezamenlijke Optimalisatie: De vorm van de cilinder ($r, h$) wordt zwakker gesuperviseerd door de ImV-bounding box constraints, wat geometrische consistentie over domeinen heen garandeert.
• Matching Strategie: Een Adaptive Hungarian Matching strategie wordt gebruikt, waardoor one-to-many assignment (tot $K=3$) mogelijk is om de recall in drukke scènes te verbeteren.

3. Belangrijkste Bijdragen

1. Nieuw Framework (MVDGC): Een query-gebaseerd framework dat direct BEV-coördinaten en 2D-bounding boxes regresseert, waardoor de kwantiseringsfouten en projectievervormingen die inherent zijn aan dichte BEV-feature maps worden vermeden.
2. 3D Cilindrische Representatie: Een verenigde geometrische representatie die BEV-grondpunten en ImV-bounding boxes overbrugt. Dit vestigt een gedeelde globale identiteit over ruimtelijke domeinen, wat gezamenlijke detectie en robuuste tracking mogelijk maakt, zelfs onder zware occlusie.
3. Dual-Space Consistentie: Het afdwingen van geometrische constraints in zowel BEV als beeldweergaven leidt tot state-of-the-art lokalisatieprecisie.
4. Generalisatie: Uitgebreide validatie op real-world (WildTrack) en synthetische (MultiViewX, GMVD) datasets demonstreert robuustheid tegen onbekende scèneconfiguraties en camera-lay-outs.

4. Experimentele Resultaten

De auteurs evalueerden MVDGC op WildTrack, MultiViewX en de gegeneraliseerde GMVD-dataset.

• MVPD Prestaties: MVDGC bereikte State-of-the-Art (SOTA) prestaties over meerdere metrieken. Op WildTrack behaalde het een MODP van 83.8 en een MODA van 94.2. Op MultiViewX behaalde het een MODP van 93.0 en een MODA van 95.7. Het presteerde beter dan centralisatie-gebaseerde methoden (bijv. MVDeTr, 3DROM, EarlyBird) en methoden die extra informatie gebruiken (bijv. temporele cues, visual hulls).
• Tracking Prestaties: Door globale ID's van het BEV-domein over te dragen naar beeldweergaven, presteerde MVDGC aanzienlijk beter dan single-view tracking baselines.
  • Op WildTrack behaalde het een ImV tracking HOTA van 65.4 en een MOTA van 72.9, waarmee het sterke CNN en Transformer-gebaseerde trackers (bijv. MeMOTR, StrongSORT) met grote marges versloeg.
  • Op MultiViewX behaalde het een ImV tracking HOTA van 48.4 en een MOTA van 40.0.
• Ablatie Studies:
  • Modules: De combinatie van Intra-Inter interactie en Adaptieve Fusie leverde de hoogste winsten op.
  • Losses: Gezamenlijke BEV-ImV supervisie presteerde significant beter dan BEV-alleen supervisie. De KL-loss voor puntregressie bleek superieur voor het afhandelen van annotatie-ambiguïteit.
  • Query Type: De 3D cilindrische query presteerde significant beter dan eenvoudige 3D referentiepunten, wat het belang van geometrische constraints valideert.
  • Generalisatie: Op de GMVD-dataset (afwijkende trainings/testscènes) behield MVDGC een hoge prestatie, wat een sterke cross-scene generalisatie aantoont.

5. Betekenis en Claims

Het artikel claimt dat MVDGC de fundamentele beperkingen van bestaande MVPD-methoden aanpakt door de noodzaak van perspectivische projectie naar een dichte BEV-grid te omzeilen. Door voetgangers als 3D cilinders te behandelen en dubbele constraints af te dwingen, lost de methode de volgende zaken op:

• Elimineert Vervorming: Sampleert kenmerken direct uit ruwe beelden, waardoor ruimtelijke relaties behouden blijven en de geometrische vervorming door perspectivische warping wordt vermeden.
• Maakt Robuuste Tracking Mogelijk: De unificerende 3D-representatie biedt een consistente globale identiteit die over views en tijd kan worden voortgeplant, wat de disconnect tussen BEV-lokalisatie en 2D-tracking oplost.
• Hanteert Occlusie: Het object-gecentreerde ontwerp stelt het model in staat om over occludeerde voetgangers te redeneren door gebruik te maken van kenmerken van zichtbare lichaamsdelen (torso, hoofd) in plaats van uitsluitend te vertrouwen op potentieel geoccludeerde voetpunten.

De auteurs merken een beperking op in de recall voor extreem dichte menigten waar zware occlusie zelfs met meerdere views aanhoudt, wat suggereert dat toekomstig werk dieptegeneratie-modellen zou kunnen integreren om point-cloud-achtige representaties te synthetiseren. Echter, het huidige werk vestigt een nieuwe benchmark voor multi-view voetgangersdetectie door 2D en 3D redeneren te verenigen via geometrische constraints.