OccTrack360: 4D Panoptic Occupancy Tracking from Surround-View Fisheye Cameras

Dit paper introduceert OccTrack360, een nieuw benchmark voor 4D panoptische bezettingsvolging vanuit surround-view vis-oogcamera's, en stelt een sterke baseline voor met het FoSOcc-framework om vervorming en lokale onnauwkeurigheid aan te pakken.

De kern

Stel je voor dat je een zelfrijdende auto bent. Je hebt ogen nodig om te zien waar je bent, waar andere auto's gaan, en of er een kind op de fiets naar je toe komt. Tot nu toe hadden deze auto's vaak "normale" camera's, alsof ze door een klein gaatje in een muur kijken. Dat werkt goed voor wat er direct voor je neus gebeurt, maar je mist het zicht aan de zijkanten en achter je.

Om echt veilig te zijn, hebben auto's visserooglenzen (fisheye cameras) nodig. Die zien alles: 360 graden om je heen. Maar hier zit een probleem: visserooglenzen vervormen het beeld enorm. Het lijkt alsof je door een gekke, bolle spiegel kijkt. Computers vinden het heel lastig om die vervormde plaatjes om te zetten in een duidelijk, 3D-kaart van de wereld.

Dit paper introduceert twee grote verbeteringen om dit probleem op te lossen: een nieuwe testomgeving en een slimmer brein voor de auto.

1. De Nieuwe Testomgeving: "OccTrack360"

Vroeger waren de tests voor deze technologie gebaseerd op korte video's met normale camera's. Het was alsof je een auto testte door alleen maar 10 seconden in een rechte rijbaan te rijden. Dat zegt niets over hoe hij zich gedraagt in een drukke, kromme stad.

De auteurs hebben OccTrack360 bedacht. Dit is een enorme, nieuwe testbaan met de volgende kenmerken:

• Lange ritjes: In plaats van korte stukjes, kijken ze naar video's van duizenden frames. Alsof je de auto een hele dag laat rijden in plaats van een paar minuten.
• De hele wereld: Het gebruikt visseroogbeelden, dus de auto ziet alles om zich heen.
• De "Onzichtbare" regels: Ze hebben een slimme manier bedacht om te weten wat de auto niet kan zien. Stel je voor dat je in een kamer staat met dozen. Je kunt de dozen aan de voorkant zien, maar wat zit er achter de dozen? OccTrack360 heeft een speciale "masker" gemaakt die precies aangeeft welke delen van de ruimte door de visserooglens zichtbaar zijn en welke niet. Dit helpt de computer om niet te raden over dingen die hij fysiek niet kan zien.

2. Het Slimme Brein: "FoSOcc"

Zelfs met de beste testbaan, heeft de computer een slimme manier nodig om die vervormde beelden te begrijpen. De auteurs hebben FoSOcc (Focus on Sphere Occ) bedacht. Dit werkt met twee trucjes:

Truc 1: De "Centrum-Scanner" (Center Focusing Module)
Stel je voor dat je een foto van een auto maakt door een visserooglens. De wielen aan de zijkant zijn enorm vervormd en rekken uit. Als de computer probeert de randen van de auto te volgen, raakt hij in de war.

• De oplossing: In plaats van te focussen op de randen (die vervormd zijn), leert de computer om zich te concentreren op het middelpunt van het object. Het is alsof je een bal vasthoudt: als je naar het midden kijkt, maakt het niet uit hoe de randen vervormen, je weet nog steeds waar de bal is. Dit maakt het veel makkelijker om te weten waar een auto of een fietser precies zit, zelfs als het beeld krom is.

Truc 2: De "Bol-Projectie" (Spherical Lift Module)
Normaal gesproken proberen computers een 2D-foto om te zetten in een 3D-ruimte alsof het een platte kaart is. Maar met een visserooglens is de wereld geen platte kaart, maar een bol.

• De oplossing: De computer stopt met proberen de wereld plat te maken. In plaats daarvan "lift" hij de beelden direct op een bolvormige manier. Het is alsof je een wereldbol hebt en je plakt de foto's direct op het oppervlak van de bol, in plaats van ze eerst te proberen uit te vouwen op een tafel. Dit zorgt voor een veel nauwkeurigere 3D-kaart.

Waarom is dit belangrijk?

Vroeger konden zelfrijdende auto's maar beperkt kijken. Met deze nieuwe methode kunnen ze:

1. Beter zien: Ze hebben een 360-graden zicht, net als een mens die om zich heen kijkt.
2. Beter onthouden: Ze kunnen objecten (zoals een specifieke vrachtwagen) langere tijd volgen, zelfs als ze even uit het zicht verdwijnen.
3. Veiliger zijn: Door de vervorming van de lenzen te begrijpen, maken ze minder fouten in het schatten van afstanden.

Kort samengevat:
De auteurs hebben een nieuwe, zware test (OccTrack360) gemaakt om te zien of auto's echt alles om hen heen kunnen zien, en ze hebben een nieuwe software (FoSOcc) bedacht die de "kromme" beelden van visserooglenzen omzet in een helder, 3D-blik op de wereld. Het is alsof je een bril opzet die de wereld niet meer vervormt, maar juist scherper en vollediger maakt.

Technische samenvatting

1. Het Probleem

Het begrijpen van dynamische 3D-omgevingen op een ruimtelijk continue en tijdsconsistent manier is essentieel voor robotica en autonoom rijden. Hoewel recente vooruitgang in "occupancy prediction" (het voorspellen van welke ruimtelijke voxels bezet zijn) een uniforme weergave van geometrie en semantiek biedt, stuit de ontwikkeling van 4D panoptische occupancy tracking (het volgen van objecten in de tijd met individuele ID's) op ernstige beperkingen:

• Gebrek aan geschikte benchmarks: Bestaande datasets (zoals Occ3D-Waymo of nuScenes) richten zich voornamelijk op pinhole-camera's met een beperkt gezichtsveld (FoV) en korte sequenties. Ze missen vaak:
  1. Waarnemingen met een breed gezichtsveld via fisheye-camera's.
  2. Tijdsconsistente annotaties op voxel-niveau voor individuele objecten.
  3. Principe-gedreven zichtbaarheidsbeperkingen specifiek voor occupancy tracking.
• Geometrische uitdagingen bij fisheye: Fisheye-camera's introduceren ernstige radiale vervorming en een sferische projectie. Standaard methoden voor het "liften" van 2D-beeldfeatures naar 3D-voxelruimte (ontworpen voor pinhole-camera's) falen hierbij, wat leidt tot onnauwkeurige lokalisatie en trackingfouten, vooral voor objecten in de periferie.

2. Methodologie

De auteurs introduceren twee hoofdcomponenten om deze problemen op te lossen: een nieuw benchmark-dataset en een nieuw model.

A. OccTrack360: De Benchmark

OccTrack360 is een nieuw dataset voor 4D panoptische occupancy tracking vanuit surround-view fisheye-camera's, gebaseerd op KITTI-360.

• Data: Bevat langere en diversere sequenties (174 tot 2234 frames) dan eerdere benchmarks.
• Annotaties: Biedt voxel-level ground truth voor 18 semantische klassen, inclusief instance-level tracking labels voor dynamische objecten en statische elementen (zoals gebouwen en palen).
• Zichtbaarheidsmaskers:
  • All-direction Occlusion Mask: In tegenstelling tot eerdere methoden die alleen stralen naar bezette voxels volgen, dekt dit masker alle richtingen in de voxelruimte af om te bepalen wat zichtbaar is.
  • MEI-based Fisheye FoV Mask: Gebaseerd op het Unified Projection Model (MEI), bepaalt dit masker expliciet of een voxel binnen het geldige gezichtsveld van de fisheye-camera valt, rekening houdend met de vervorming.

B. FoSOcc (Focus on Sphere Occ): Het Model

FoSOcc is een framework dat specifiek is ontworpen voor fisheye-imagery en bestaat uit twee kernmodules:

1. Center Focusing Module (CFM):
   • Probleem: Standaard offset-methode (gericht op objectgrenzen) is gevoelig voor dieptefouten door fisheye-vervorming en heeft problemen met schaalvariatie.
   • Oplossing: CFM verschuift de supervisie van onstabiele grenzen naar stabiele objectcentra. Het genereert een "focus feature" die een product is van offsets in alle zes richtingen. Dit creëert een Gauss-achtige verdeling die piekt in het centrum van een object. Dit maakt het model robuuster tegen ruimtelijke jitter en verbetert de lokalisatie van kleine objecten.
2. Spherical Lift Module (SLM) / Fisheye-based Enhanced Lifting (FEL):
   • Probleem: Standaard 2D-naar-3D lifting veronderstelt een lineaire pinhole-projectie.
   • Oplossing: SLM breidt de Lift-Stratified Sampling (LSS) uit door het Unified Projection Model (UCM) te gebruiken. Het modelleert expliciet de projectie op een verplaatste eenheidsbol met behulp van de spiegelparameter ($\xi$) en correcte straalbeperkingen. Dit zorgt voor een geometrisch consistente transformatie van 2D-features naar 3D-voxels onder extreme radiale vervorming.

3. Belangrijkste Bijdragen

1. OccTrack360 Benchmark: De eerste benchmark die lange, diverse sequenties, instance-level voxel-annotaties en strikte zichtbaarheidsbeperkingen (occlusie en FoV) combineert voor surround-view fisheye sensing.
2. Verbeterde Supervisie: Introductie van all-direction occlusion masks en MEI-based FoV masks voor betrouwbaardere training en evaluatie in dynamische rij-scènes.
3. FoSOcc Framework: Een nieuw model dat de uitdagingen van fisheye-geometrie aanpakt via een Center Focusing Module (voor betere lokalisatie) en een Spherical Lift Module (voor accurate 2D-3D lifting).
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat de methode presteert op zowel bestaande benchmarks (Occ3D-Waymo) als de nieuwe OccTrack360.

4. Resultaten

• Op Occ3D-Waymo: FoSOcc toont aanzienlijke verbeteringen ten opzichte van de baseline (TrackOcc). Er zijn relatieve winsten van 11,1% voor verkeersborden en 20,7% voor algemene objecten in de Occupancy Segmentation Quality (OccSQ). Ook de associatiekwaliteit (OccAQ) voor fietsers steeg met 26,1%.
• Op OccTrack360: Het model vestigt een sterke baseline voor surround-view fisheye tracking.
  • De Occupancy Segmentation Quality (OccSQ) steeg aanzienlijk voor klassen zoals "parking" (van 0 naar 6,47 bij alle FoV) en "fence" (van 0,85 naar 3,36).
  • Hoewel de trackingkwaliteit (OccSTQ) iets daalde ten opzichte van de baseline, wat aangeeft dat tijdsassociatie nog een uitdaging is, overtreft het model de baseline in geometrische nauwkeurigheid en semantische segmentatie.
• Ablatiestudies: De studie bevestigt dat zowel de instance-level normalisatie als de supervised focus feature (CFM) essentieel zijn voor het verbeteren van de prestaties, vooral voor kleine objecten en objecten met complexe geometrie.

5. Betekenis en Impact

Dit werk is van groot belang voor de evolutie van autonome rij-systemen:

• Realisme: Fisheye-camera's bieden een essentieel, breed gezichtsveld voor nabijgelegen omgevingen (near-field), wat cruciaal is voor veiligheid. OccTrack360 vult de kloof tussen theoretische modellen en deze realistische sensorconfiguraties.
• Holistisch Begrip: Door zowel dynamische agenten als statische omgevingselementen (gebouwen, palen) te tracken met instance-ID's, biedt het een completer beeld van de wereld dan eerdere semantische maskers.
• Toekomstgericht: Het paper legt de basis voor toekomstig onderzoek in 4D-omgevingsperceptie, waarbij de nadruk ligt op het combineren van robuuste dataset-ontwerp met geometrisch bewuste modellering. De broncode en dataset zijn openbaar beschikbaar gesteld om de gemeenschap verder te stimuleren.