Equivariant Representation Learning via Class-Pose Decomposition

Resumo Técnico: Aprendizado de Representação Equivariante via Decomposição Classe-Pose

Declaração do Problema
Agentes inteligentes requerem representações ricas que reflitam as estruturas intrínsecas dos dados percebidos. Embora abordagens autossupervisionadas como autoencoders e aprendizado contrastivo sejam gerais, elas frequentemente falham em capturar aspectos fundamentais ocultos nos dados, como a separação de classes intrínsecas de objetos de suas poses. Trabalhos recentes sugerem que o desmembramento desses fatores exige vieses ou supervisão específicos. Uma estrutura geométrica fundamental em muitos conjuntos de dados é a simetria (por exemplo, transformações rígidas atuando sobre poses de objetos ou mudanças de quadro na exploração de agentes móveis). O desafio é aprender representações que não sejam apenas equivariantes a essas simetrias, mas também sem perdas, interpretáveis e desmembradas, preservando a geometria completa dos dados.

Metodologia
Os autores propõem um framework geral que decompõe o espaço latente em dois componentes distintos: um fator invariante que representa as classes intrínsecas dos dados e um componente de simetria que representa a pose.

1. Fundamentação Teórica:
   A abordagem é fundamentada na teoria dos grupos. Os autores formalizam as simetrias como um grupo $G$ atuando no espaço de dados $X$. Sob a suposição de que a ação é livre (nenhum elemento de identidade fixa um ponto), eles se baseiam em um resultado teórico (Proposição 2.1) afirmando que existe um isomorfismo equivariante $X \simeq (X/G) \times G$. Aqui, $X/G$ representa o conjunto de órbitas (classes intrínsecas) e $G$ representa o grupo de simetria (poses). Esta decomposição garante que a representação seja sem perdas e que a geometria dos dados seja preservada.

2. Decomposição do Espaço Latente:
   O espaço latente $Z$ é definido como o produto $Z = E \times G$, onde:

• $E$ é um conjunto invariante representando as classes (órbitas).
• $G$ é o grupo de simetria representando as poses.
  O grupo $G$ atua trivialmente em $E$ e via multiplicação em si mesmo.

3. Objetivo de Aprendizado:
   O modelo $\phi: X \to E \times G$ é treinado usando um conjunto de dados de triplas $(x, g, y)$ onde $y = g \cdot x$. A função de perda incentiva a equivariância baseada em informação de simetria relativa:
   $$L(\theta; x, g, y) = d_E(\phi_E(y), \phi_E(x)) + d_G(\phi_G(y), g \cdot \phi_G(x))$$

• O primeiro termo ($d_E$) impõe invariância, garantindo que pontos na mesma órbita mapeiem para a mesma representação de classe. Para evitar o "colapso de órbita" e garantir a injetividade (necessária para uma representação sem perdas), os autores utilizam uma perda InfoNCE, incentivando os pontos latentes a se afastarem.
• O segundo termo ($d_G$) impõe a equivariância em relação à ação do grupo no componente de pose.

4. Implementação:
   Para lidar com grupos não euclidianos (ex: $SO(3)$), os autores parametrizam o grupo $G$ usando o mapa exponencial de sua álgebra de Lie $\mathfrak{g}$. O modelo retorna um elemento $v \in \mathfrak{g}$, que é mapeado para $G$ via $e^v$. Para $G=SO(3)$, isso é computado eficientemente usando a fórmula de Rodrigues.

Principais Contribuições

• Decomposição Classe-Pose: Um método para aprender representações equivariantes que separa explicitamente classes de dados intrínsecas de poses através da decomposição do espaço latente.
• Formalismo Matemático Geral: Um framework baseado na teoria de grupos que garante representações sem perdas, interpretáveis e desmembradas sob suposições leves (ações de grupo livre).
• Investigação Empírica: Uma avaliação abrangente em diversos conjuntos de dados com várias simetrias (translações, dilatações, rotações) e aplicações para mapeamento de cenas.

Resultados Experimentais
Os autores avaliaram seu método em cinco conjuntos de dados: Sprites, Shapes, Multi-Sprites, Chairs e Apartments (simulando um agente móvel). Eles compararam sua abordagem contra:

• Homomorfismos de MDP (MDPH): Aprende ações latentes sem conhecimento prévio do grupo.
• Modelos Lineares: Utiliza um espaço latente linear com multiplicação de matrizes (ação não livre).
• Renderização Neural Equivariante (ENR): Utiliza uma grade latente discretizada com equivariância aproximada.

Descobertas:

• Preservação da Geometria: Visualizações mostram que o método proposto separa corretamente as órbitas no componente invariante $E$ e preserva a geometria do grupo $G$ no componente de pose. Para o conjunto de dados "Apartments", o modelo extraiu com sucesso mapas de múltiplos ambientes simultaneamente.
• Desempenho: O método alcançou taxas de acerto (hit-rates) quase perfeitas em previsões de passo único. Crucialmente, em trajetórias longas (10 e 20 passos), o método proposto superou significativamente os baselines.
  • O MDPH acumulou erros devido à falta de restrições estruturais em sua ação latente aprendida.
  • Modelos lineares degradaram o desempenho porque a ação não era livre (rotacionar um vetor em torno de si mesmo não tem efeito), forçando a perda de informação.
  • O ENR sofreu com erros de interpolação devido à discretização latente.
• Desmembramento: O framework alcança naturalmente o desmembramento, permitindo a variação independente de fatores de simetria ao atuar no componente de pose.

Significância e Alegações
O artigo afirma que, ao alavancar a linguagem abstrata da teoria dos grupos de Lie, seu framework fornece uma solução geral para o aprendizado de representação equivariante aplicável a quaisquer grupos e tipos de dados. Diferente de trabalhos anteriores que focam em cenários específicos (ex: representações euclidianas ou convoluções de grupo) ou aprendem dinâmicas latentes não estruturadas, esta abordagem garante representações isomórficas (sem perdas). Os autores enfatizam que seu método permite a recuperação de classes intrínsecas e poses, facilitando tarefas como localização e mapeamento autossupervisionado para agentes móveis.

Limitações e Trabalho Futuro
Os autores reconhecem que seu formalismo assume que o grupo de simetrias é conhecido a priori e não é inferido dos dados. Embora viável para robótica, onde a odometria fornece informação de simetria, isso pode ser limitante em outros domínios. Eles sugerem que aprender a estrutura do grupo a partir dos dados é uma direção potencial, embora menos interpretável, para pesquisas futuras.