Equivariant Representation Learning via Class-Pose Decomposition

Sintesi Tecnica: Apprendimento di Rappresentazioni Equivarianti tramite Decomposizione Classe-Posa

Problema
Gli agenti intelligenti richiedono rappresentazioni ricche che riflettano le strutture intrinsechese dei dati percepiti. Sebbene gli approcci auto-supervisionati come gli auto-encoder e l'apprendimento contrastivo siano generali, essi spesso non riescono a catturare aspetti fondamentali nascosti nei dati, come la separazione delle classi intrinseche degli oggetti dalle loro pose. Studi recenti suggeriscono che il disaccoppiamento di questi fattori richieda bias o supervisione specifici. Una struttura geometrica fondamentale in molti dataset è la simmetria (ad esempio, trasformazioni rigide che agiscono sulle pose degli oggetti o cambiamenti di frame nell'esplorazione di agenti mobili). La sfida consiste nel apprendere rappresentazioni che siano non solo equivarianti a queste simmetrie, ma anche lossless (senza perdita), interpretabili e disgiunte, preservando la geometria completa dei dati.

Metodologia
Gli autori propongono un framework generale che decompone lo spazio latente in due componenti distinte: un fattore invariante che rappresenta le classi intrinseche dei dati e una componente di simmetria che rappresenta la posa.

1. Fondamento Teorico:
   L'approccio si basa sulla teoria dei gruppi. Gli autori formalizzano le simmetrie come un gruppo $G$ che agisce sullo spazio dei dati $X$. Sotto l'assunto che l'azione sia libera (nessun elemento diverso dall'identità fissa un punto), si affidano a un risultato teorico (Proposizione 2.1) che afferma l'esistenza di un isomorfismo equivariante $X \simeq (X/G) \times G$. Qui, $X/G$ rappresenta l'insieme delle orbite (classi intrinseche) e $G$ rappresenta il gruppo di simmetria (pose). Questa decomposizione garantisce che la rappresentazione sia lossless e che la geometria dei dati sia preservata.

2. Decomposizione dello Spazio Latente:
   Lo spazio latente $Z$ è definito come il prodotto $Z = E \times G$, dove:

• $E$ è un insieme invariante che rappresenta le classi (orbite).
• $G$ è il gruppo di simmetria che rappresenta le pose.
  Il gruppo $G$ agisce trivialmente su $E$ e tramite moltiplicazione su se stesso.

3. Obiettivo di Apprendimento:
   Il modello $\phi: X \to E \times G$ viene addestrato utilizzando un dataset di triple $(x, g, y)$ dove $y = g \cdot x$. La funzione di perdita incoraggia l'equivarianza basata su informazioni di simmetria relativa:
   $$L(\theta; x, g, y) = d_E(\phi_E(y), \phi_E(x)) + d_G(\phi_G(y), g \cdot \phi_G(x))$$

• Il primo termine ($d_E$) impone l'invarianza, assicurando che punti nella stessa orbita mappino alla stessa rappresentazione di classe. Per prevenire il "collasso dell'orbita" e garantire l'iniettività (necessaria per una rappresentazione lossless), gli autori utilizzano una perdita InfoNCE, incoraggiando i punti latenti a distanziarsi.
• Il secondo termine ($d_G$) impone l'equivarianza rispetto all'azione del gruppo sulla componente di posa.

4. Implementazione:
   Per gestire gruppi non euclidei (ad esempio, $SO(3)$), gli autori parametrizzano il gruppo $G$ utilizzando la mappa esponenziale dalla sua algebra di Lie $\mathfrak{g}$. Il modello restituisce un elemento $v \in \mathfrak{g}$, che viene mappato in $G$ tramite $e^v$. Per $G=SO(3)$, ciò è calcolato efficientemente tramite la formula di Rodrigues.

Contributi Chiave

• Decomposizione Classe-Posa: Un metodo per apprendere rappresentazioni equivarianti che separa esplicitamente le classi di dati intrinseche dalle pose scomponendo lo spazio latente.
• Formalismo Matematico Generale: Un framework basato sulla teoria dei gruppi che garantisce rappresentazioni lossless, interpretabili e disgiunte sotto deboli assunti (azioni di gruppo libere).
• Indagine Empirica: Una valutazione completa su diversi dataset con varie simmetrie (traslazioni, dilatazioni, rotazioni) e applicazioni alla mappatura di scene.

Risultati Sperimentali
Gli autori hanno valutato il loro metodo su cinque dataset: Sprites, Shapes, Multi-Sprites, Chairs e Apartments (che simula un agente mobile). Hanno confrontato il loro approccio con:

• MDP Homomorphisms (MDPH): Apprende azioni latenti senza conoscenza pregressa del gruppo.
• Modelli Lineari: Utilizza uno spazio latente lineare con moltiplicazione di matrici (azione non libera).
• Equivariant Neural Rendering (ENR): Utilizza una griglia latente discretizzata con equivalenza approssimativa.

Risultati:

• Preservazione della Geometria: Le visualizzazioni mostrano che il metodo proposto separa correttamente le orbite nella componente invariante $E$ e preserva la geometria del gruppo $G$ nella componente di posa. Per il dataset "Apartments", il modello ha estratto con successo mappe di più ambienti simultaneamente.
• Prestazioni: Il metodo ha raggiunto hit-rate quasi perfetti sulle predizioni a singolo step. Fondamentalmente, su traiettorie più lunghe (10 e 20 step), il metodo proposto ha superato significativamente i baseline.
  • MDPH ha accumulato errori a causa della mancanza di vincoli strutturali nella sua azione latente appresa.
  • I modelli lineari hanno degradato le prestazioni perché l'azione non era libera (ruotare un vettore attorno a se stesso non ha effetto), forzando la perdita di informazione.
  • ENR ha sofferto di errori di interpolazione a causa della discretizzazione latente.
• Disgiunzione (Disentanglement): Il framework raggiunge naturalmente la disgiunzione, permettendo la variazione indipendente dei fattori di simmetria agendo sulla componente di posa.

Significato e Rivendicazioni
Il paper sostiene che, sfruttando il linguaggio astratto della teoria dei gruppi di Lie, il loro framework fornisce una soluzione generale per l'apprendimento di rappresentazioni equivarianti applicabile ad arbitri gruppi e tipi di dati. A differenza dei lavori precedenti che si concentrano su scenari specifici (ad esempio, rappresentazioni euclidee o convoluzioni di gruppo) o apprendono dinamiche latenti non strutturate, questo approccio garantisce rappresentazioni isomorfiche (lossless). Gli autori sottolineano che il loro metodo consente il recupero di classi intrinseche e pose, facilitando compiti come la localizzazione e la mappatura auto-supervisionata per agenti mobili.

Limitazioni e Lavori Futuri
Gli autori riconoscono che il loro formalismo assume che il gruppo di simmetrie sia noto a priori e non venga inferito dai dati. Sebbene questo sia praticabile nella robotica dove l'odometria fornisce informazioni sulla simmetria, potrebbe essere limitante in altri domini. Suggeriscono che l'apprendimento della struttura del gruppo dai dati sia una direzione potenziale, sebbene meno interpretabile, per la ricerca futura.