Towards Symmetry-sensitive Pose Estimation: A Rotation Representation for Symmetric Object Classes

Probleemstelling

De schatting van de 6D-pose (positie en oriëntatie) van objecten is cruciaal voor robotgrijpen en augmented reality. Een specifiek en vaak onderbelicht probleem is de schatting van de oriëntatie van symmetrische objecten (bijv. cilinders, kubussen, symmetrische gereedschappen).

• Ambiguïteit: Bij symmetrische objecten leiden verschillende numerieke rotaties (bijv. een draaiing van 0° versus 180°) tot exact hetzelfde visuele beeld. De bijectieve relatie tussen het visuele input $V(p)$ en de numerieke rotatierepresentatie $N(p)$ is verbroken.
• Leerprobleem: Deep learning-netwerken (zoals CNN's) hebben moeite om een dergelijke multimodale verdeling te leren. Als een netwerk probeert een functie te leren die meerdere correcte antwoorden voor één input heeft, convergeert het vaak naar het gemiddelde van de mogelijke poses, wat resulteert in onnauwkeurige schattingen.
• Bestaande oplossingen:
  1. Discretisatie: Het splitsen van de rotatieruimte in bins en het trainen van meerdere netwerken (regressors) plus een classifier. Dit is complex en rekentijdintensief.
  2. Symmetrie-invariante metrics: Het gebruik van evaluatiemetrics die elke van de $n$ correcte poses als goed beschouwen. Dit vermindert de prikkel om de ambiguïteit daadwerkelijk op te lossen in het model.
  3. Canonieke restrictie: Het beperken van de rotatieruimte tot een "canonieke" ruimte. Dit lost de uniciteit op, maar introduceert vaak discontinuïteit aan de grenzen van deze ruimte (bijv. een kleine visuele verandering bij 179° vs 1° leidt tot een enorme numerieke sprong).

Methodologie: SARR

De auteurs stellen SARR (Symmetry-Aware Rotation Representation) voor, een nieuwe manier om rotaties numeriek weer te geven die specifiek is ontworpen voor symmetrische objecten.

1. Concept: In plaats van de rotatieruimte te discretiseren of te clampen, past SARR trigonometrische identiteiten aan op basis van de symmetrie-degree ($\kappa$) van het object per as.
2. Wiskundige Formulering:
   • Voor een object met symmetrie-degree $\kappa$ op een bepaalde as, wordt de hoek $\theta$ getransformeerd naar $\kappa \cdot \theta$.
   • De representatie wordt gedefinieerd als een vector van sinus- en cosinuswaarden:
     $$SARR(\alpha, \beta, \gamma) = \begin{bmatrix} \sin(\kappa_\alpha \alpha) & \sin(\kappa_\beta \beta) & \sin(\kappa_\gamma \gamma) \\ \cos(\kappa_\alpha \alpha) & \cos(\kappa_\beta \beta) & \cos(\kappa_\gamma \gamma) \end{bmatrix}$$
   • Voor continu symmetrische objecten (zoals een cilinder) wordt de frequentie aangepast zodat de representatie continu blijft.
3. Eigenschappen:
   • Uniek: Elke visueel unieke pose heeft één unieke numerieke representatie binnen de canonieke ruimte.
   • Continu: De representatie is continu over de grenzen van de symmetrie. Een kleine visuele verandering resulteert in een kleine numerieke verandering, wat essentieel is voor het trainen van neurale netwerken.
4. Inverse Mapping: Er is een inverse mapping gedefinieerd om van de SARR-vector terug te gaan naar Euler-hoeken voor evaluatiedoeleinden.

Experimenten en Dataset

De methode is getest op twee populaire BOP-benchmarks voor 6D-pose schatting:

• T-LESS: Bevat 30 textuurloze objecten (voornamelijk industriële onderdelen) met dieptecamera-data.
• ITODD: Bevat 28 objecten, voornamelijk getest met synthetische dieptedata en grayscale RGB-data.

Opzet:

• Er werden CNN's getraind (gebaseerd op CenterNet met HardNet backbone) om de SARR-vector direct te voorspellen.
• Vergelijking met andere representaties: Euler-hoeken, rotatiematrices, quaternions, de 6D-representatie (Zhou et al., 2019) en standaard trigonometrie.
• Verschillende trainingsscopes: per object, per symmetrie-klasse, en per dataset.
• Input modaliteiten: Dieptedata (primair) en RGB/grayscale (voor ablatiestudies).

Resultaten

De resultaten tonen aan dat SARR superieur is aan bestaande methoden, vooral wanneer strikte, symmetrie-gevoelige metrics worden gebruikt.

1. Prestatieverbetering:

   • Netwerken getraind met SARR presteerden significant beter dan die getraind met andere rotatieweergaven, zelfs in inferentiescenario's waar de symmetrie-eigenschappen van het object niet bekend waren.
   • Op de ARC-metric (symmetrie-gevoelig, straft ambiguïteit af) behaalde SARR de beste resultaten, vaak met een verbetering van 3-5% (absoluut) tot 11% (relatief) ten opzichte van de tweede beste methode (Trigonometrie|C).
   • Zelfs op de traditionele, symmetrie-invariante metrics (ARB, ARG) presteerde SARR goed, wat aantoont dat het oplossen van de ambiguïteit de algemene leerbaarheid verbetert.

2. Vergelijking met State-of-the-Art:

   • Op T-LESS overtrof SARR bestaande methoden zoals Wang et al. (2021) en Sundermeyer et al. (2020) onder de strikte ARC-metric.
   • Op ITODD overtrof SARR de SC6D-methode (Cai et al., 2022) onder de ARC-metric, hoewel SC6D iets beter scoorde op de invariante ARB-metric.

3. Ablatie en Robuustheid:

   • De methode werkt zonder 3D-modellen; alleen dieptedata (of grayscale RGB) is nodig.
   • Het toevoegen van een symmetrie-classificatietak (dataset*-scope) verbeterde de prestaties lichtjes, wat suggereert dat het leren van de symmetrie-classificatie de optimizer helpt bij het vinden van de juiste regio in de verliesruimte.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Formele Definitie: Een formele beschrijving van de ambiguïteiten veroorzaakt door objectsymmetrieën en de noodzaak van een continue, unieke representatie.
2. SARR Representatie: De introductie van een nieuwe rotatieweergave die symmetrie expliciet oplost in de numerieke representatie, waardoor discontinuïteit wordt vermeden en het leren voor neurale netwerken wordt vergemakkelijkt.
3. Empirisch Bewijs: Uitgebreide experimenten die aantonen dat het oplossen van symmetrie-ambiguïteit via de representatie zelf (in plaats van via loss-functies of metrics) leidt tot superieure prestaties.
4. Praktische Toepasbaarheid: De methode vereist geen 3D-modellen en werkt goed met textuurloze objecten, wat zeer relevant is voor industriële robotica en logistiek.

Conclusie:
Dit artikel toont aan dat het aanpassen van de rotatieweergave aan de intrinsieke symmetrie van objecten een krachtigere aanpak is dan het aanpassen van netwerkarchitecturen of het vertrouwen op invariante metrics. SARR biedt een elegante oplossing voor een fundamenteel probleem in de 6D-pose schatting, waardoor robuustere en nauwkeurigere systemen voor symmetrische objecten mogelijk worden.