Equivariant Representation Learning via Class-Pose Decomposition

Resumen Técnico: Aprendizaje de Representaciones Equivariantes mediante la Descomposición Clase-Pose

Planteamiento del Problema
Los agentes inteligentes requieren representaciones ricas que reflejen las estructuras intrínsecas de los datos percibidos. Aunque los enfoques autosupervisados como los autoencoders y el aprendizaje contrastivo son generales, a menudo fallan en capturar aspectos fundamentales ocultos en los datos, tales como la separación de las clases intrínsecas de los objetos de sus poses. Trabajos recientes sugieren que el desentrañamiento de estos factores requiere sesgos o supervisión específicos. Una estructura geométrica fundamental en muchos conjuntos de datos es la simetría (por ejemplo, transformaciones rígidas actuando sobre las poses de los objetos o cambios de marco en la exploración de agentes móviles). El desafío consiste en aprender representaciones que no solo sean equivariantes a estas simetrías, sino también sin pérdida (lossless), interpretables y desentrañadas, preservando la geometría completa de los datos.

Metodología
Los autores proponen un marco general que descompone el espacio latente en dos componentes distintos: un factor invariante que representa las clases intrínsecas de los datos y un componente de simetría que representa la pose.

1. Fundamento Teórico:
   El enfoque se basa en la teoría de grupos. Los autores formalizan las simetrías como un grupo $G$ que actúa sobre el espacio de datos $X$. Bajo el supuesto de que la acción es libre (ningún elemento distinto de la identidad fija un punto), se apoyan en un resultado teórico (Proposición 2.1) que establece que existe un isomorfismo equivariante $X \simeq (X/G) \times G$. Aquí, $X/G$ representa el conjunto de órbitas (clases intrínsecas) y $G$ representa el grupo de simetría (poses). Esta descomposición garantiza que la representación sea sin pérdida y que la geometría de los datos se preserve.

2. Descomposición del Espacio Latente:
   El espacio latente $Z$ se define como el producto $Z = E \times G$, donde:

• $E$ es un conjunto invariante que representa las clases (órbitas).
• $G$ es el grupo de simetría que representa las poses.
  El grupo $G$ actúa trivialmente sobre $E$ y mediante multiplicación sobre sí mismo.

3. Objetivo de Aprendizaje:
   El modelo $\phi: X \to E \times G$ se entrena utilizando un conjunto de datos de tríos $(x, g, y)$ donde $y = g \cdot x$. La función de pérdida fomenta la equivariancia basada en la información de simetría relativa:
   $$L(\theta; x, g, y) = d_E(\phi_E(y), \phi_E(x)) + d_G(\phi_G(y), g \cdot \phi_G(x))$$

• El primer término ($d_E$) impone la invariancia, asegurando que los puntos en la misma órbita mapeen al mismo representante de clase. Para prevenir el "colapso de órbita" y asegurar la inyectividad (necesaria para una representación sin pérdida), los autores emplean una pérdida InfoNCE, fomentando que los puntos latentes se dispersen.
• El segundo término ($d_G$) impone la equivariancia con respecto a la acción del grupo en el componente de la pose.

4. Implementación:
   Para manejar grupos no euclidianos (por ejemplo, $SO(3)$), los autores parametrizan el grupo $G$ utilizando el mapa exponencial de su álgebra de Lie $\mathfrak{g}$. El modelo devuelve un elemento $v \in \mathfrak{g}$, que se mapea a $G$ mediante $e^v$. Para $G=SO(3)$, esto se calcula eficientemente usando la fórmula de Rodrigues.

Contribuciones Clave

• Descomposición Clase-Pose: Un método para aprender representaciones equivariantes que separa explícitamente las clases intrínsecas de los datos de las poses mediante la descomposición del espacio latente.
• Formalismo Matemático General: Un marco basado en la teoría de grupos que garantiza representaciones sin pérdida, interpretables y desentrañadas bajo supuestos leves (acciones de grupo libres).
• Investigación Empírica: Una evaluación exhaustiva en diversos conjuntos de datos con distintas simetrías (traslaciones, dilataciones, rotaciones) y aplicaciones a la cartografía de escenas.

Resultados Experimentales
Los autores evaluaron su método en cinco conjuntos de datos: Sprites, Shapes, Multi-Sprites, Chairs y Apartments (simulando un agente móvil). Compararon su enfoque contra:

• Homomorfismos de MDP (MDPH): Aprende acciones latentes sin conocimiento previo del grupo.
• Modelos Lineales: Utiliza un espacio latente lineal con multiplicación de matrices (acción no libre).
• Renderizado Neuronal Equivariante (ENR): Utiliza una rejilla latente discretizada con equivariancia aproximada.

Hallazgos:

• Preservación de la Geometría: Las visualizaciones muestran que el método propuesto separa correctamente las órbitas en el componente invariante $E$ y preserva la geometría del grupo $G$ en el componente de la pose. Para el conjunto de datos "Apartments", el modelo extrajo con éxito mapas de múltiples entornos simultáneamente.
• Rendimiento: El método alcanzó tasas de acierto (hit-rates) casi perfectas en predicciones de un solo paso. Crucialmente, en trayectorias largas (10 y 20 pasos), el método propuesto superó significativamente a los modelos de referencia.
  • MDPH acumuló errores debido a la falta de restricciones estructurales en su acción latente aprendida.
  • Los modelos lineales degradaron su rendimiento porque la acción no era libre (rotar un vector alrededor de sí mismo no tiene efecto), lo que forzó la pérdida de información.
  • ENR sufrió errores de interpolación debido a la discretización del espacio latente.
• Desentrañamiento: El marco logra naturalmente el desentrañamiento, permitiendo la variación independiente de los factores de simetría al actuar sobre el componente de la pose.

Significancia y Reivindicaciones
El artículo sostiene que, al aprovechar el lenguaje abstracto de la teoría de los grupos de Lie, su marco proporciona una solución general para el aprendizaje de representaciones equivariantes aplicable a grupos y tipos de datos arbitrarios. A diferencia de trabajos anteriores que se centran en escenarios específicos (por ejemplo, representaciones euclidianas o convoluciones de grupo) o aprenden dinámicas latentes no estructuradas, este enfoque garantiza representaciones isomórficas (sin pérdida). Los autores enfatizan que su método permite la recuperación de clases intrínsecas y poses, facilitando tareas como la localización y el mapeo autosupervisado para agentes móviles.

Limitaciones y Trabajo Futuro
Los autores reconocen que su formalismo asume que el grupo de simetrías es conocido a priori y no es inferido de los datos. Si bien esto es viable para la robótica donde la odometría proporciona información de simetría, puede ser limitante en otros dominios. Sugieren que el aprendizaje de la estructura del grupo a partir de los datos es una dirección potencial, aunque menos interpretable, para la investigación futura.