Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

Stel je voor dat je een 3D-film van een drukke loods probeert te maken met alleen maar platte, 2D-foto's gemaakt door beveiligingscamera's. Dit is de wereld van multi-camera 3D-perceptie, een vakgebied waar computers proberen de echte, driedimensionale wereld te begrijpen door alleen naar platte afbeeldingen te kijken. Normaal gesproken gebruiken robots om dit perfect te doen speciale sensoren die direct afstand meten, zoals een vleermuis met sonar of een mens die diepte inschat met twee ogen. Maar in deze specifieke uitdaging zijn de robots "blind" voor afstand; ze hebben alleen standaard RGB-camera's (het soort dat op je telefoon zit) en een set regels over hoe de camera's gepositioneerd zijn. De grote vraag die wetenschappers stellen is: Als je afstand niet direct kunt meten, wat is dan de beste manier om het te raden? Moet je proberen een superintelligente AI te gebruiken om de diepte van elke pixel in de afbeelding te raden (zoals een helderziende die de afstand tot een boom raadt), of moet je vertrouwen op eenvoudige, harde geometrie — het gebruik van de bekende hoeken van de camera's om te trianguleren waar objecten zich op de vloer bevinden?

Dit artikel, geschreven door een team van LSU New Orleans en PinPark voor de AI City Challenge 2026, duikt direct in dat debat. Ze zetten een "touwtrekwedstrijd" op tussen twee totaal verschillende strategieën voor het volgen van mensen en robots in een magazijn. Eén team (de auteurs) wedden op geometrie: het gebruik van de bekende kaart van de vloer en de camerahoeken om 2D-vormen naar de 3D-ruimte te tillen. De andere strategie, die ze als baseline testten, wedde op geschatte diepte: het gebruik van een chique AI om de afstand van elke pixel te raden, waardoor de platte beelden worden omgezet in een 3D-puntenwolk (zoals een digitale puntenwolk-kaart) en vervolgens een 3D-detector wordt uitgevoerd. De resultaten waren schokkend en duidelijk. Het geometrie-team won met een overweldigende voorsprong, terwijl het "raad-de-diepte"-team volledig instortte. Het artikel suggereert dat in deze specifieische "Sim2Real"-setting (waarbij de robot is getraind op nepdata, maar getest wordt op echte data), een consistent, gedeeld begrip van de vloer over alle camera's heen veel belangrijker is dan een perfecte, pixel-voor-pixel gok van de diepte van een object.

De Grote Magazijnroof: Twee Manieren om in 3D te Zien

Het verhaal begint in een gigantisch, gesimuleerd magazijn dat heel echt gaat worden. De uitdaging is om bewegende objecten te volgen — zoals heftrucks, pallettrucks en zelfs humanoïden — met alleen videofeeds van meerdere camera's. Het addertje onder het gras? De camera's hebben geen dieptesensoren. Het zijn gewoon gewone ogen. De AI moet uitzoeken waar alles zich in de 3D-ruimte bevindt (hoog/laag, links/rechts, voor/achter) door alleen naar platte plaatjes te kijken.

De auteurs stelden twee verschillende "detectives" op om deze zaak op te lossen.

Detective A: Het Geometrie-Eerst Team
Dit team koos voor een zeer logische, "old-school" aanpak. Ze probeerden niet de diepte van elke pixel te raden. In plaats daarvan zeiden ze: "We weten dat de vloer vlak is, en we weten precies waar de camera's op gericht zijn."

1. Object Spotten: Eerst gebruikten ze een krachtige detector (genaamd YOLO11x) om 2D-boxen rond objecten in elk camerabeeld te vinden.
2. Naar de Wereld Tillen: Ze namen het midden onderaan die 2D-boxen en projecteerden deze op het bekende vloerplane via wiskunde (homografie). Het is alsof je met een zaklamp vanuit de camera door de onderkant van de box op de vloer schijnt om te zien waar deze landt.
3. Fuseren en Volgen: Omdat dezelfde heftruck door drie verschillende camera's gezien kan worden, voegden ze deze "getilde" punten samen tot één enkele 3D-locatie. Vervolgens volgden ze het object terwijl het over de magazijnvloer bewoog.
4. Het Geheime Ingrediënt: Ze voegden een laatste stap toe genaamd "offline stitching". Stel je een detective voor die beseft: "Wacht even, ik ben die verdachte vijf seconden kwijt, maar hij verschijnt hier weer op. Het is dezelfde persoon!" Ze verbonden de gebroken stukjes van het traject om de identiteit te herstellen.

Detective B: Het Pseudo-LiDAR Team
Dit team probeerde de "moderne" aanpak die in het verleden goed had gewerkt wanneer dieptegegevens wel beschikbaar waren. Ze probeerden het te simuleren.

1. Diepte Raden: Ze gebruikten een chique AI-model (zoals D4RT of Metric3D) om naar de platte afbeelding te kijken en de afstand naar elke pixel te raden. Dit verandert de 2D-afbeelding in een 3D-puntenwolk, wat een echte 3D-sensor (LiDAR) nabootst.
2. Detecteren in 3D: Ze voedden deze "nep" 3D-puntenwolk aan een 3D-detector (V-DETR) om de objecten te vinden.
3. De Hoop: Ze hoopten dat de AI, zelfs zonder echte diepte, de diepte goed genoeg zou kunnen raden om een perfecte 3D-kaart te bouwen.

De Schokkende Resultaten: Geometrie Wint, Raden Verliest

De resultaten waren niet alleen een overwinning; het was een overrompelende overwinning. Het Geometrie-Eerst team behaalde een score van 13.0 HOTA (een maatstaf voor hoe goed ze objecten volgden en lokaliseerden). Het Pseudo-LiDAR team, het "radende" team, stortte in met een score van 0.12. Dat is ongeveer honderd keer slechter.

Waarom faalde het radende team zo erg? Het artikel suggereert dat het niet kwam omdat hun AI slecht was in het raden van diepte op een enkele afbeelding. Het probleem was consistentie.
Stel je voor dat jij en drie vrienden een kaart van een kamer proberen te tekenen op basis van foto's die jullie elk apart hebben gemaakt.

• Het Geometrie-Team was het allemaal eens over waar de vloer was. Zelfs als ze niet perfect waren, waren ze het allemaal eens over het vloerplane. Toen ze hun kaarten combineerden, was de vloer vlak en stonden de heftrucks rechtop.
• Het Pseudo-LiDAR Team raadde de diepte elk onafhankelijk. Eén vriend dacht dat de vloer 1 meter hoog was, een ander dacht dat de vloer 2 meter hoog was, en een derde dacht dat de vloer in de lucht zweefde. Toen ze hun kaarten probeerden te combineren, werd de vloer een vervormde, grillige bende. De heftrucks eindigden zwevend in de lucht of begraven onder de grond.

De auteurs noemen dit "cross-view inconsistentie". Zelfs als de AI de diepte van een enkele pixel correct raadt, als hij de diepte voor dezelfde vloer in verschillende camerabeelden anders raadt, breekt de 3D-kaart. Het artikel laat zien dat voor deze specifieke taak, het hebben van een gedeelde, consistente geometrie (het vloerplan) veel belangrijker is dan een perfecte, pixel-voor-pixel dieptegok.

Wat Niet Werkte (En Waarom)

De auteurs stopten niet alleen bij het vergelijken van de twee teams; ze probeerden het verliezende team te verbeteren en het winnende team nog sterker te maken met elke truc in het boek. Ze testten:

• Betere Detectoren: Ze probeerden de hoofddetector te vervangen door nieuwere, luxere modellen (zoals RT-DETR) of deze te combineren. Resultaat: Geen hulp. Het probleem was niet de detector; het was het gebrek aan echte werelddata om op te trainen.
• Sliced Detection: Ze probeerden de afbeeldingen in kleine stukjes te breken om kleine objecten te vangen (zoals een pallettruck die ver weg staat). Resultaat: Dit maakte het eigenlijk erger. Het vond meer objecten, maar de meeste waren valse meldingen (geesten), wat de tracker in de war bracht.
• Leren te Tillen: Ze probeerden de eenvoudige wiskunde van het "tillen" van de box naar de vloer te vervangen door een neuraal netwerk dat "leert" hoe dit te doen. Resultaat: Rampzalig. De score daalde naar bijna nul. De eenvoudige wiskunde was eigenlijk betrouwbaarder dan het leren.
• Appearance Re-ID: Ze probeerden objecten te identificeren op basis van hoe ze eruit zagen (bijv. "dat is de rode heftruck"). Resultaat: Dit hielp niet omdat de belichting en de hoeken te veel veranderden in de echte wereld.

Het enige dat het Geometrie-team hielp, was offline stitching. Door achteraf de gebroken trajecten te herstellen (het koppelen van de "verloren" en "gevonden" stukjes van hetzelfde object), verbeterden ze hun score licht. Dit vertelt ons dat de belangrijkste flessenhals de detectiekwaliteit is (het object in de eerste plaats vinden), en niet de tracking-logica.

De Belangrijkste Les

Het artikel concludeert met een duidelijke les voor iedereen die robots bouwt die in 3D moeten kunnen zien zonder speciale sensoren: Probeer de diepte niet te raden als je geometrie kunt gebruiken.

In een wereld waar de robot is getraind op nepdata maar getest wordt in de echte wereld, leidt het proberen te leren van de diepte van elke pixel tot een chaotische, inconsistente kaart. In plaats daarvan is het vasthouden aan de bekende regels van de wereld (de vloer is vlak, de camera's staan vast) en het gebruik van eenvoudige, expliciete wiskunde om 2D-detecties naar 3D te tillen, veel betrouwbaarder. De "magie" van het raden van diepte is niet magisch genoeg om de verwarring van de echte wereld te overwinnen. De beste weg vooruit is niet een betere AI voor diepte-schatting; het is betere detectoren die de objecten in de eerste plaats duidelijk kunnen zien.