Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations

1. Probleemstelling

Het leren van 3D-rodaties ($R \in SO(3)$) met diepe neurale netwerken is een fundamenteel probleem in computer vision en robotica. Het uitdaging ligt in het feit dat $SO(3)$ een 3-dimensionale variëteit is die is ingebed in $\mathbb{R}^{3\times3}$, met de strikte orthogonaliteitsbeperking $R^\top R = I$ en $\det(R) = 1$.

Er bestaan diverse representaties, zoals:

• Eulerhoeken en quaternions: Discontinue afbeeldingen of dubbele overdekkingen die topologische obstakels creëren.
• 6D-representatie (Gram-Schmidt): Voegt twee kolommen toe en orthogonaliseert deze via Gram-Schmidt.
• 9D-representatie (SVD): Voorspelt alle 9 elementen van een matrix en projecteert deze via Singular Value Decomposition (SVD) naar de dichtstbijzijnde rotatiematrix.

Recente werken (Gu et al., 2024) hebben empirisch aangetoond dat het verwijderen van orthogonalisatie tijdens training en deze alleen toe te passen tijdens inferentie (de "PRoM"-methode: Pseudo Rotation Matrices), superieure resultaten oplevert. Echter, de theoretische onderbouwing ontbrak:

1. Waarom veroorzaakt SVD-orthogonalisatie specifiek gradiëntproblemen tijdens training?
2. Waarom is SVD tijdens inferentie beter dan Gram-Schmidt?
3. Waarom is een 9D-regressie (directe voorspelling van de matrix) beter dan 6D-regressie?

2. Methodologie

De auteur voert een gedetailleerde Jacobiaan-analyse uit op de afbeeldingen voor orthogonalisatie, specifiek gericht op $3\times3$-matrices en de projectie naar $SO(3)$.

• SVD-Analyse: De auteur leidt de exacte spectrale eigenschappen af van de Jacobiaan van de SVD-backward pass. Dit omvat het analyseren van de lineaire systemen die ontstaan bij het differentiëren door de SVD, met name de afhankelijkheid van de singuliere waarden ($s_i$).
• Gram-Schmidt-Analyse: De Jacobiaan van de Gram-Schmidt-procedure wordt geanalyseerd op asymmetrie en conditionering.
• Vergelijking: De resultaten worden vergeleken met directe regressie (zonder orthogonalisatie) en met gestabiliseerde SVD-methoden (zoals voorgesteld door Wang et al., 2022).
• Theoretische Bewijzen: Er worden stellingen bewezen over de rang, singuliere waarden, conditioneringsgetallen en gradiëntinformatieverlies.

3. Belangrijkste Bijdragen en Resultaten

A. Gradiëntpathologie van SVD tijdens Training

De kern van het artikel is de afleiding van het exacte spectrum van de SVD-Jacobiaan ($J_{SVD}$):

• Rang en Nulliteit: De Jacobiaan heeft rang 3 (overeenkomend met de dimensie van $SO(3)$) en een 6-dimensionale nultekst. Dit betekent dat 6 van de 9 gradiëntdimensies worden geprojecteerd naar nul.
• Singuliere Waarden: De drie niet-nul singuliere waarden zijn $\frac{2}{s_i + s_j}$ voor $i < j$.
• Conditionering: Het conditioneringsgetal is $\kappa = \frac{s_1 + s_2}{s_2 + s_3}$.
• Het Probleem: Wanneer de voorspelde matrix $M$ ver weg is van $SO(3)$ (vaak vroeg in training), kan de kleinste singuliere waarde $s_3$ dicht bij 0 liggen. Dit leidt tot:
  • Gradiëntexplosie: De spectrale norm wordt $O(1/s_3)$.
  • Gradiëntvervorming: De gradiënten worden anisotroop versterkt.
  • Informatieverlies: Omdat 6 dimensies worden verwijderd, ontvangt de optimizer geen signaal over hoe ver $M$ van orthogonaliteit verwijderd is. De MSE-loss op de ruwe matrix lost dit echter wel op door de matrix van nature naar orthogonaliteit te duwen.
• Stabilisatie is onvoldoende: Bestaande methoden om SVD-gradiënten te stabiliseren (bijv. Taylor-expansies) elimineren de pathologie niet zonder introduceer van gradiëntrichtingsfouten. Het is dus beter om SVD volledig uit de trainingslus te halen.

B. Asymmetrie van Gram-Schmidt (6D)

De auteur bewijst dat de Gram-Schmidt-Jacobiaan een asymmetrisch spectrum heeft:

• De parameters voor de eerste kolom ($t'_1$) ontvangen gradiëntsignalen van alle drie de rotatiekolommen.
• De parameters voor de tweede kolom ($t'_2$) zijn "blind" voor fouten in de eerste kolom.
• Dit creëert een hiërarchie in gradiëntinformatie en leidt tot een ongelijkmatige convergentie en een conditioneringsgetal dat divergeert als de kolommen evenwijdig worden. Dit verklaart waarom 9D-regressie superieur is aan 6D-regressie, zelfs zonder orthogonalisatie.

C. Superioriteit van SVD tijdens Inferentie

Hoewel SVD schadelijk is voor training, is het optimaal voor inferentie:

• Minimale Fout: SVD is de projectie die de Frobenius-norm-fout minimaliseert.
• Foutreductie: Onder isotroop Gaussisch ruis is de verwachte kwadratische fout na SVD-projectie precies 1/3 van de ruwe fout (omdat 3 dimensies tangentiële fouten zijn en 6 dimensies normale fouten die worden verwijderd).
• Coördinatieonafhankelijkheid: SVD is coördinatieonafhankelijk, terwijl Gram-Schmidt afhankelijk is van de volgorde van de kolommen en de coördinatenstelsel.

4. Conclusie en Significantie

Het artikel levert de theoretische onderbouwing voor de empirisch succesvolle strategie "Trainen zonder orthogonalisatie, inferentie met SVD":

1. Training: Gebruik directe 9D-regressie (voorspel alle 9 matrixelementen) met een standaard MSE-loss. Dit zorgt voor een Jacobiaan met rang 9, conditioneringsgetal $\kappa=1$, en geen gradiëntverlies of -explosie. De optimizer leert de matrix van nature om dicht bij $SO(3)$ te komen.
2. Inferentie: Pas SVD-projectie toe op de voorspelde matrix om een geldige rotatiematrix te verkrijgen. Dit maximaliseert de nauwkeurigheid en reduceert de fout met een factor 3 ten opzichte van de ruwe voorspelling.

Significantie:
Dit werk verlegt de focus van het zoeken naar "beter orthogonaliserende lagen" naar het begrijpen van de gradiëntdynamiek van deze lagen. Het bewijst dat het toevoegen van een niet-injectieve projectie (zoals SVD of Gram-Schmidt) tijdens training onnodige gradiëntpathologieën introduceert die niet volledig kunnen worden opgelost door stabilisatietechnieken. De methode biedt een robuust, wiskundig onderbouwd kader voor rotatie-estimation in deep learning, wat leidt tot betere convergentie en hogere nauwkeurigheid in toepassingen zoals menselijke houdingschatting (pose estimation).