Technische Samenvatting: RECON – Robuuste Symmetrieontdekking via Expliciete Canonieke Oriëntatie-normalisatie

1. Probleemstelling

Real-world data vertoont vaak instantie-specifieke symmetrieën (bijvoorbeeld rotaties van moleculen of cijfers) die niet perfect overeenkomen met een vooraf vastgestelde transformatiegroep $G$. Hoewel methoden voor decompositie in klasse en pose (zoals Invariant-Equivariante Auto-encoders, of IE-AEs) erop gericht zijn invoer te ontwarren in invariant klasse-kenmerken en een pose $g \in G$, lijden ze onder een kritieke beperking: de geleerde canonieke representatie (de referentiepose) is willekeurig en afhankelijk van de training.

Deze willekeurigheid leidt tot twee hoofdproblemen:

1. Out-of-Distribution (OOD) Canonieken: De canonieke pose komt mogelijk niet overeen met enige natuurlijke pose die in de data is waargenomen.
2. Willekeurige Distributieverplaatsingen: De relatieve pose-distributies die door deze modellen worden geleerd, zijn verschoven door de willekeurige canonieke oriëntatie, waardoor de ware, instantie-specifieke symmetrie-distributies worden verduisterd. Dit maakt het moeilijk om de natuurlijke symmetrieën van de data te ontdekken of om deze representaties effectief toe te passen op het testmoment zonder opnieuw te trainen.

Bestaande methoden voor symmetrieontdekking vereisen vaak supervisie, leren alleen patronen op dataset-niveau, of falen in het bieden van een duidelijke, interpreteerbare distributie voor elke individuele instantie.

2. Methodologie: RECON

De auteurs stellen RECON (Robuuste Symmetrieontdekking via Expliciete Canonieke Oriëntatie-normalisatie) voor, een kader dat willekeurige canonieken corrigeert om natuurlijke, data-gealigneerde canoniseringen te leveren. De methode werkt in drie hoofdfasen:

A. Ruggegraat voor Decompositie in Klasse en Pose

RECON maakt gebruik van bestaande methoden voor decompositie in klasse en pose (specifiek IE-AEs) die een invoer $x$ afbeelden op:

• Een invariant latent vector $z = \eta(x)$.
• Een willekeurige canonieke representatie $\hat{x} = \delta(z)$.
• Een relatieve groepstransformatie (pose) $g = \psi(x)$ die $\hat{x}$ terug afbeeldt op $x$.

B. Definitie van Equivalentieklassen

Om instantie-specifieke symmetrieën te ontdekken zonder labels, definieert RECON een equivalentieklasse $[x]$ op basis van de nabijheid van invariant kenmerken in de latente ruimte $Z$. Objecten met vergelijkbare intrinsieke vormen worden afgebeeld op nabijgelegen punten in $Z$, waardoor samenhangende componenten ontstaan die dezelfde onderliggende klasse vertegenwoordigen.

C. Canonieke Oriëntatie-normalisatie

De kernbijdrage is de correctie van de willekeurige canonieke offset.

1. Schatting van Offset: Voor een gegeven klasse $[x]$ verzamelt de methode de relatieve transformaties $\psi([x])$. Het schat de offset die wordt veroorzaakt door de willekeurige canonieke door de Fréchet-middeling (of een robuuste Tukey-Fréchet-middeling voor multimodale distributies) van deze transformaties te berekenen, aangeduid als $\hat{\Gamma}[x]$.
2. Normalisatie: De methode past een rechtse translatie toe op de relatieve transformaties: $\psi'(x) = \psi(x) \cdot \hat{\Gamma}[x]^{-1}$.
3. Resultaat: Deze operatie centreert de distributie van symmetrieën bij de groepsidentiteit $e$, waardoor effectief de "natuurlijke" pose-distributie $\mu[x]$ wordt hersteld waarbij de Fréchet-middeling $e$ is.

D. Leerbare Afbeeldingen voor Inferentie

Om efficiënte inferentie op ongezette data mogelijk te maken zonder expliciete klassenberekening, traint RECON twee leerbare afbeeldingen:

• $\Theta(x)$: Voorspelt de parameters van de symmetrie-distributie voor een invoer.
• $\Lambda(x)$: Voorspelt de centering-transformatie (de offset) voor een invoer.
  Deze afbeeldingen worden getraind met behulp van pseudo-labels die worden gegenereerd via het hierboven beschreven normalisatieproces.

3. Belangrijkste Bijdragen

1. Instantie-specifieke Symmetrieontdekking: Het artikel stelt een methode voor om pose-distributies voor individuele instanties te ontdekken uit ongelabelde data, verdergaand dan symmetrie-leren op dataset-niveau.
2. Canonieke Oriëntatie-normalisatie: De auteurs introduceren een theoretisch onderbouwde correctie (Propositie 3.1) die de bias van willekeurige canonieken verwijdert. Zij bewijzen dat het normaliseren van relatieve poses via de empirische Fréchet-middeling de ware symmetrie-distributie benadert die gecentreerd is bij de identiteit.
3. Plug-and-Play Canonisatie op Testmoment: De methode biedt een laag die aan elk voorgetraind model kan worden gekoppeld om groepsinvariantie toe te voegen zonder de ruggegraat opnieuw te hoeven trainen.
4. Toepassingen: Het kader maakt onbewaakte ontdekking van instantie-specifieke pose-distributies mogelijk, detectie van out-of-distribution poses, en prestatieverbeteringen in downstream taken.

4. Experimentele Resultaten

De auteurs valideren RECON op 2D-afbeeldingsbenchmarks (MNIST, FashionMNIST) en grote 3D-moleculaire data (GEOM-QM9).

• Symmetrieherstel: RECON herstelt succesvol de ground-truth symmetrie-distributies (bijvoorbeeld uniforme rotaties voor specifieke cijfers, Gaussische rotaties voor FashionMNIST-klassen, en Matrix-Fisher-distributies voor moleculen). Visualisaties tonen aan dat RECON rechtopstaande, data-gealigneerde canonieken produceert, terwijl baselines zoals IE-AE willekeurige oriëntaties produceren.
• Gedeeltelijke Symmetrieën: In tegenstelling tot volledig equivariante methoden die verschillende klassen (bijvoorbeeld cijfers '6' en '9') samenvoegen tot dezelfde representatie, onderscheidt RECON deze door het leren van verschillende offsets, en identificeert correct dat ze gerelateerd zijn door een $180^\circ$-rotatie maar verschillende natuurlijke poses bezitten.
• Downstream Prestaties:
  • OOD-detectie: RECON behaalt hogere AUC-ROC-scores bij het detecteren van out-of-distribution poses in vergelijking met gecorrigeerde IE-AE-baselines.
  • Canonisatie op Testmoment: Wanneer toegepast als een voorverwerkingslaag op bevroren voorgetrainde modellen (bijvoorbeeld ResNet18, GCN), verbetert RECON de classificatie-accuraatheid aanzienlijk op geroteerde testsets.
    • Op FashionMNIST overtreft RECON (81,96%) zowel de baseline (57,14%) als gespecialiseerde equivariante architecturen zoals SE(2)-Partial G-CNNs (67,72%).
    • Op MNIST komt het overeen met of benadert het de prestaties van volledig equivariante Steerable CNNs (90,96% versus 94,59% voor SE(2)-ESCNN) zonder dat de ruggegraat equivariant hoeft te zijn.
    • Op GEOM-QM9 verbetert het de baseline GCN-prestaties (55,92% versus 52,40%), wat de effectiviteit in 3D-domeinen aantoont.

5. Betekenis en Claims

Het artikel stelt dat RECON het probleem van de "willekeurige canonieke" aanpakt dat inherent is aan decompositie in klasse en pose, wat eerder de interpreteerbaarheid en bruikbaarheid van deze representaties heeft belemmerd. Door de canonieke oriëntatie expliciet te normaliseren, levert RECON natuurlijke, data-gealigneerde canoniseringen op die robuust en interpreteerbaar zijn.

De auteurs benadrukken dat hun aanpak architectuuragnostisch is en zonder hertraining voor downstream-modellen. Het stelt voorgetrainde modellen in staat om groepsinvariantie te verkrijgen door simpelweg een canonisatielaag in te voegen, waardoor het een praktische "plug-and-play"-oplossing wordt. De methode is bijzonder significant voor 3D-data (moleculaire conformaties), waar symmetrieontdekking uitdagend is en bestaande methoden vaak falen in het hanteren van instantie-specifieke variaties zonder supervisie.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat RECON afhankelijk is van de kwaliteit van de onderliggende ruggegraat voor decompositie in klasse en pose en mogelijk moeite heeft met overlap van inter-klasse-kenmerken in complexe natuurlijke afbeeldingen (bijvoorbeeld het onderscheiden van vergelijkbare kledingstukken). Het positioneert RECON echter als een fundamentele stap naar robuuste, onbewaakte symmetrieontdekking en een praktisch hulpmiddel om de modelrobustheid tegen pose-variaties te verbeteren.