Equivariant Representation Learning via Class-Pose Decomposition

Technische Samenvatting: Equivariante Representatieleer via Class-Pose Decompositie

Probleemstelling
Intelligente agenten vereisen rijke representaties die de intrinsieke structuren van waargenomen data reflecteren. Hoewel zelfgesuperviseerde benaderingen zoals auto-encoders en contrastief leren algemeen zijn, falen ze vaak in het vastleggen van fundamentele aspecten die verborgen liggen in de data, zoals het scheiden van intrinsieke objectklassen van hun poses. Recent werk suggereert dat het ontwarren (disentangling) van deze factoren specifieke biases of supervisie vereist. Een fundamentele geometrische structuur in veel datasets is symmetrie (bijv. rigide transformaties die inwerken op objectposes of veranderingen in frames tijdens de exploratie van mobiele agenten). De uitdaging is om representaties te leren die niet alleen equivariant zijn ten opzichte van deze symmetrieën, maar ook verliesloos, interpreteerbaar en ontward (disentangled), waarbij de volledige geometrie van de data behouden blijft.

Methodologie
De auteurs stellen een algemeen framework voor dat de latente ruimte decomponeert in twee afzonderlijke componenten: een invariante factor die de intrinsieke dataclassen representeert en een symmetriecomponent die de pose representeert.

1. Theoretische Fundering:
   De aanpak is geworteld in groepentheorie. De auteurs formaliseren symmetrieën als een groep $G$ die werkt op de dataruimte $X$. Onder de aanname dat de werking vrij is (geen enkel niet-identiek element fixeert een punt), vertrouwen zij op een theoretisch resultaat (Propositie 2.1) dat stelt dat er een equivariante isomorfisme bestaat: $X \simeq (X/G) \times G$. Hierbij representeert $X/G$ de verzameling banen (orbits, intrinsieke klassen) en $G$ de symmetriegroep (poses). Deze decompositie garandeert dat de representatie verliesloos is en dat de geometrie van de data behouden blijft.

2. Latente Ruimte Decompositie:
   De latente ruimte $Z$ wordt gedefinieerd als het product $Z = E \times G$, waarbij:

   • $E$ een invariante verzameling is die de klassen (orbits) representeert.
   • $G$ de symmetriegroep is die de poses representeert.
     De groep $G$ werkt triviaal op $E$ en via vermenigvuldiging op zichzelf.

3. Leerdoel (Learning Objective):
   Het model $\phi: X \to E \times G$ wordt getraind met een dataset van triples $(x, g, y)$ waarbij $y = g \cdot x$. De verliesfunctie stimuleert equivariance op basis van relatieve symmetrie-informatie:
   $$L(\theta; x, g, y) = d_E(\phi_E(y), \phi_E(x)) + d_G(\phi_G(y), g \cdot \phi_G(x))$$

   • De eerste term ($d_E$) dwingt invariantie af, wat ervoor zorgt dat punten in dezelfde baan naar dezelfde klasse-representatie mappen. Om "orbit collapse" te voorkomen en injectiviteit te waarborgen (nodig voor een verliesloze representatie), gebruiken de auteurs een InfoNCE-verlies, dat impulsen aanmoedigt om latentiepunten uit elkaar te drijven.
   • De tweede term ($d_G$) dwingt equivariance af met betrekking tot de groepswerking op de pose-component.

4. Implementatie:
   Om niet-Euclidische groepen (bijv. $SO(3)$) te behandelen, parametriseert de auteurs de groep $G$ met behulp van de exponentiële afbeelding van de bijbehorende Lie-algebra $\mathfrak{g}$. Het model geeft een element $v \in \mathfrak{g}$ terug, dat via $e^v$ naar $G$ wordt gemapt. Voor $G=SO(3)$ wordt dit efficiënt berekend met behulp van de Rodrigues-formule.

Belangrijkste Bijdragen

• Class-Pose Decompositie: Een methode voor het leren van equivariante representaties die intrinsieke dataclassen expliciet scheidt van poses door de latente ruimte te decomponeren.
• Algemene Mathematische Formalisering: Een framework gebaseerd op groepentheorie dat verliesloze, interpreteerbare en ontwarde representaties garandeert onder milde aannames (vrije groepswerkingen).
• Empirische Investigatie: Een uitgebreide evaluatie over diverse datasets met verschillende symmetrieën (translaties, dilataties, rotaties) en toepassingen op scène-mapping.

Experimentele Resultaten
De auteurs evalueerden hun methode op vijf datasets: Sprites, Shapes, Multi-Sprites, Chairs en Apartments (die een mobiele agent simuleren). Ze vergeleken hun aanpak met:

• MDP Homomorfismen (MDPH): Leert latente acties zonder voorafgaande kennis van de groep.
• Lineaire Modellen: Gebruikt een lineaire latente ruimte met matrixvermenigvuldiging (niet-vrije werking).
• Equivariant Neural Rendering (ENR): Gebruikt een gediscretiseerde latente grid met benaderde equivariance.

Bevindingen:

• Geometrie Behoud: Visualisaties tonen aan dat de voorgestelde methode banen correct scheidt in de invariante component $E$ en de geometrie van de groep $G$ behoudt in de pose-component. Voor de "Apartments"-dataset extraheerde het model succesvol kaarten van meerdere omgevingen simultaan.
• Prestaties: De methode bereikte bijna perfecte hit-rates op single-step voorspellingen. Cruciaal is dat de voorgestelde methode op langere trajecten (10 en 20 stappen) de baselines aanzienlijk versloeg.
  • MDPH cumuleerde fouten door het gebrek aan structurele beperkingen in de geleerde latente actie.
  • Lineaire modellen vertoonden degradatie in prestaties omdat de werking niet vrij was (het roteren van een vector rond zichzelf heeft geen effect), wat leidde tot informatieverlies.
  • ENR leed onder interpolatiefouten door de latente discretisatie.
• Ontwarring (Disentanglement): Het framework bereikt op natuurlijke wijze ontwarring, waardoor onafhankelijke variatie van symmetriefactoren mogelijk is door in te werken op de pose-component.

Betekenis en Claims
Het artikel claimt dat door gebruik te maken van de abstracte taal van de Lie-groepentheorie, hun framework een algemene oplossing biedt voor equivariant representatieleer die toepasbaar is op willekeurige groepen en datatypen. In tegenstelling tot eerder werk dat zich richt op specifieke scenario's (bijv. Euclidische representaties of groep-convoluties) of ongestructureerde latente dynamiek leert, garandeert deze aanpak isomorfe (verliesloze) representaties. De auteurs benadrukken dat hun methode het mogelijk maakt om intrinsieke klassen en poses te herstellen, wat taken zoals zelf-gesuperviseerde lokalisatie en mapping voor mobiele agenten faciliteert.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat hun formalisme ervan uitgaat dat de groep van symmetrieën a priori bekend is en niet uit de data wordt afgeleid. Hoewel dit levensvatbaar is voor robotica waar odometrie symmetrie-informatie levert, kan dit beperkend zijn in andere domeinen. Zij suggereren dat het leren van de groepsstructuur uit data een potentieel, zij het minder interpreteerbare, richting is voor toekomstig onderzoek.