Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations

Resumen Técnico: Análisis de Gradientes en Representaciones de Rotación

1. El Problema

La estimación de rotaciones 3D es fundamental en visión por computadora y robótica. El desafío central radica en que el grupo de rotaciones $SO(3)$ es una variedad 3-dimensional incrustada en $\mathbb{R}^{3\times3}$ con restricciones de ortogonalidad ($R^\top R = I, \det(R)=1$).

Las redes neuronales deben predecir estas rotaciones, pero existen dos enfoques principales que han generado debate:

1. Entrenamiento con Ortogonalización (SVD-Train): Se aplica una proyección SVD (o Gram-Schmidt) en cada paso de entrenamiento para forzar la ortogonalidad.
2. Entrenamiento sin Ortogonalización (SVD-Inference): Se entrena directamente sobre una matriz "pseudo-rotación" (sin restricciones) y solo se aplica la proyección SVD en la inferencia.

Aunque trabajos recientes (como Gu et al., 2024) han demostrado empíricamente que el enfoque de entrenamiento sin ortogonalización con proyección SVD en inferencia (usando una representación de 9D) es superior, faltaba una justificación teórica rigurosa sobre por qué la ortogonalización durante el entrenamiento daña el aprendizaje y por qué SVD es preferible a Gram-Schmidt en inferencia.

2. Metodología

El autor realiza un análisis de gradiente detallado (análisis de Jacobianos) de las operaciones de ortogonalización, específicamente:

• Descomposición en Valores Singulares (SVD): Para proyección de matrices $3\times3$ a $SO(3)$.
• Ortogonalización de Gram-Schmidt: Para representaciones de 6D.

El estudio se centra en derivar el espectro exacto (valores singulares y números de condición) de los Jacobianos inversos (backward pass) de estas operaciones. Se analiza cómo estas transformaciones afectan la propagación de gradientes, la estabilidad numérica y la información retenida durante el entrenamiento.

3. Contribuciones Clave y Resultados

A. Patología del Gradiente en SVD (Teorema 1)

El resultado central es la derivación del espectro exacto del Jacobiano de la proyección SVD ($J_{SVD}$):

• Rango: El Jacobiano tiene rango 3 (coincidiendo con la dimensión de $SO(3)$), lo que implica un núcleo de dimensión 6.
• Valores Singulares No Nulos: Son de la forma $\frac{2}{s_i + s_j}$ para pares $i < j$, donde $s_i$ son los valores singulares de la matriz de entrada.
• Norma Espectral y Condicionamiento:
  • La norma espectral es $\|J_{SVD}\|_2 = \frac{2}{s_2 + s_3}$.
  • El número de condición es $\kappa = \frac{s_1 + s_2}{s_2 + s_3}$.
• Implicación: Cuando la matriz predicha está lejos de $SO(3)$ (común al inicio del entrenamiento), el valor singular más pequeño $s_3 \approx 0$. Esto provoca que la norma del gradiente explote ($O(1/s_3)$) y el condicionamiento se degrade severamente.
• Pérdida de Información: La retropropagación a través de SVD descarta el 66% de la energía del gradiente (la componente normal a la variedad $SO(3)$). Esto significa que la red no recibe señal sobre qué tan lejos está de la ortogonalidad, solo sobre la dirección tangencial.

B. Ineficacia de las Estabilizaciones (Nota 3)

El autor demuestra que incluso las técnicas de estabilización de SVD (como la expansión de Taylor propuesta por Wang et al., 2022) no eliminan el problema. Estas técnicas introducen un error en la dirección del gradiente (hasta un 5.71 en el peor caso) para evitar la explosión de magnitud. Por lo tanto, eliminar SVD del bucle de entrenamiento es preferible a intentar estabilizarlo.

C. Asimetría de Gram-Schmidt (Teorema 2)

Se analiza la representación de 6D con Gram-Schmidt (GS):

• Acoplamiento Unidireccional: Los parámetros de la primera columna ($t'_1$) reciben gradientes de todas las columnas de la rotación, pero los parámetros de la segunda columna ($t'_2$) son "ciegos" a los errores de la primera columna.
• Condicionamiento: El número de condición diverge cuando las columnas se vuelven paralelas.
• Conclusión: Esta asimetría explica por qué la regresión directa de 9D es superior a la de 6D, ya que 9D ofrece un condicionamiento perfecto ($\kappa=1$) y gradientes independientes.

D. Justificación Teórica de "Entrenar sin Ortogonalizar, Proyectar en Inferencia"

El papel sintetiza por qué la configuración 9D + SVD en Inferencia es óptima:

1. Entrenamiento (9D Directo):
   • Jacobiano identidad ($J=I_9$).
   • Número de condición $\kappa = 1$.
   • Sin pérdida de información de gradiente (retención del 100%).
   • Sin acoplamientos asimétricos.
   • La función de pérdida MSE en la matriz cruda empuja naturalmente a la red hacia $SO(3)$.
2. Inferencia (Proyección SVD):
   • SVD es el proyector óptimo en norma de Frobenius (mínimos cuadrados).
   • Reduce el error esperado en un factor de 3 comparado con la matriz cruda (o un factor de 2 comparado con Gram-Schmidt) bajo ruido gaussiano isotrópico.
   • Es invariante a coordenadas (a diferencia de GS).

4. Significado e Impacto

• Fundamento Teórico: Proporciona la primera justificación matemática rigurosa para la estrategia empírica exitosa de Gu et al. (2024) (PRoM), explicando los mecanismos de fallo de gradiente que antes solo se observaban experimentalmente.
• Guía de Diseño: Establece que para representaciones de rotación continuas de alta dimensión, se debe evitar cualquier proyección no lineal (SVD o GS) durante el entrenamiento.
• Análisis de Singularidades: Muestra que el uso de pérdida geodésica combinada con SVD en entrenamiento crea singularidades compuestas (divergencia por $1/\sin\theta$ y $1/s_3$), reforzando la necesidad de usar pérdida de Frobenius en matrices crudas.
• Generalización: El análisis del Jacobiano SVD y su dependencia de los valores singulares tiene implicaciones más allá de las rotaciones, afectando cualquier pipeline diferenciable que utilice SVD con valores singulares cercanos.

En resumen, el paper demuestra que entrenar con regresión directa de 9D y aplicar SVD solo en la inferencia no es solo una heurística práctica, sino la solución óptima desde la perspectiva de la teoría de optimización, evitando distorsiones de gradiente, pérdida de información y problemas de condicionamiento inherentes a las proyecciones durante el entrenamiento.