BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

Robots en augmented reality-systemen vertrouwen op een fundamentele vaardigheid: precies weten waar een object zich in de ruimte bevindt en hoe het gedraaid is. Deze taak, bekend als zesdimensionale pose-estimatie, houdt het berekenen van de driedimensionale positie en de driedimensionale oriëntatie van een object ten opzichte van een camera in. Het is de onzichtbare logica die een robotarm in staat stelt een gereedschap te grijpen of een digitale overlay vast te houden op een bewegend onderdeel. Voor deze technologie te laten werken, moeten computers getraind worden op enorme bibliotheken van afbeeldingen waar het juiste antwoord al bekend is. Echter, een verborgen gebrek in de manier waarop deze antwoorden worden verstrekt, heeft de evaluatie van de algoritmen die dit puzzelstukje oplossen langdurig vertekend. Het probleem ontstaat wanneer een object er vanuit verschillende hoeken hetzelfde uitziet, of wanneer delen ervan verborgen zijn. In deze momenten van visuele ambiguïteit is er geen enkel juist antwoord; er zijn meerdere geldige mogelijkheden.

Jarenlang behandelde de standaardmanier om deze systemen te testen elk object alsof het slechts één ware positie had, zelfs wanneer de afbeelding anders suggereerde. Onderzoekers namen een enkele grondwaarheid-positie (ground-truth) en pasten een vaste set regels toe om symmetrie te verklaren, uitgaande van de aanname dat deze regels voor elke foto van dat object evenveel golden. Deze aanpak negeerde de realiteit van de scène. Als een camera alleen de gladde, ronde zijkant van een beker ziet, kan de computer niet onderscheiden of de beker rechtop of ondersteboven staat. Als er een gat zichtbaar is, wordt het antwoord duidelijk. De oude methode faalde om onderscheid te maken tussen dergelijke gevallen en behandelde een verwarrende, ambigue weergave hetzelfde als een duidelijke, ondubbelzinnige weergave. Dit betekende dat de benchmarks die werden gebruikt om de beste algoritmen te rangschikken, gebouwd waren op een imperfect fundament, waarbij mogelijk methoden werden beloond die goed gokten door geluk, terwijl methoden die correct meerdere mogelijkheden identificeerden, werden afgestraft.

Een team van onderzoekers van de Université Paris-Saclay en andere instellingen heeft dit tekortkoming nu gecorrigeerd met een nieuwe aanpak genaamd BOP-Distrib++. In plaats van een enkele statische oplossing aan elke afbeelding toe te wijzen, ontwikkelden zij een methode om de specifieke symmetrieën van een object automatisch te ontdekken op basis van wat er daadwerkelijk zichtbaar is in elke foto. Ze begonnen met het analyseren van de 3D-digitale modellen van objecten om hun inherente symmetrieën te vinden, zoals rotatiepatronen of vlakke oppervlakken die er vanuit verschillende hoeken identiek uitzien. Vervolgens simuleerden ze voor elke individuele afbeelding in hun datasets de cameraview om te bepalen welke delen van het object verborgen waren en welke zichtbaar waren. Door de vorm van het object te combineren met de specifieke kijkhoek, genereerden ze een unieke set mogelijke posities voor dat exacte moment. Dit proces transformeerde de grondwaarheid van een enkel punt naar een distributie van mogelijkheden, wat accuraat reflecteerde of de scène helder of verwarrend was.

De onderzoekers pasten dit nieuwe, preciezere labelingsysteem toe op standaarddatasets die worden gebruikt om de leidende pose-estimatiemethoden ter wereld te testen. Wanneer zij de best presterende algoritmen opnieuw evalueerden met behulp van deze beeld-specifieke distributies, veranderden de resultaten drastisch. Methoden die voorheen bovenaan de ranglijsten stonden, zagen hun scores aanzienlijk dalen, terwijl anderen in de rangschikking stegen. De verschuiving vond plaats omdat de oude benchmarks te vergevensgezind waren; ze hadden antwoorden geaccepteerd die technisch gezien correct waren voor een andere weergave van het object, zelfs als ze fout waren voor de specifieke afbeelding die getoond werd. De nieuwe evaluatie onthulde dat veel state-of-the-art systemen niet zo robuust waren als voorheen gedacht wanneer ze geconfronteerd werden met gedeeltelijke weergaven of symmetrische vormen. De studie toonde aan dat wanneer de test eerlijk is en rekening houdt met de specifieke visuele context, het prestatielandschap van deze technologieën er compleet anders uitziet.

Naast het oplossen van de rangschikkingen voor single-answer systemen, opende dit werk ook de deur naar het evalueren van een nieuwere generatie methoden die een hele set mogelijke posities voorspellen in plaats van slechts één gok. Tot nu toe konden deze multi-pose methoden alleen getest worden op synthetische, door de computer gegenereerde afbeeldingen, omdat real-world datasets niet over de noodzakelijke annotaties beschikten. Met de nieuwe beeld-per-beeld distributies waren de onderzoekers in staat om deze geavanceerde systemen voor het eerst te testen op echte foto's. Ze ontdekten dat hoewel single-pose methoden beter bleven in het aanwijzen van een specifieke locatie wanneer het zicht duidelijk was, de multi-pose methoden uitblonken in het vastleggen van het volledige spectrum aan mogelijkheden wanneer het zicht ambigu was. Dit vermogen om meerdere geldige oplossingen te herkennen en op te sommen, is cruciaal voor real-world toepassingen waarbij een robot moet begrijpen dat een object zich op een van de vele plaatsen kan bevinden voordat hij ermee gaat interageren.

De studie concludeert dat de manier waarop we succes in machine vision meten, moet evolueren om overeen te komen met de complexiteit van de echte wereld. Door af te stappen van een rigide, een-maat-voor-alle definitie van juistheid en de fluïde aard van visuele ambiguïteit te omarmen, kunnen onderzoekers nu systemen bouwen en testen die werkelijk klaar zijn voor de onvoorspelbare omgevingen van fabrieken, huizen en buitenlocaties. Het werk beweert niet het probleem van visuele ambiguïteit te hebben opgelost, maar het heeft de eerste accurate kaart van het terrein geleverd, waardoor toekomstige innovaties dit met grotere precisie en betrouwbaarheid kunnen navigeren.