Spectral Discovery of Continuous Symmetries via Generalized Fourier Transforms

Each language version is independently generated for its own context, not a direct translation.

Das große Rätsel: Wo ist die verborgene Regel?

Stell dir vor, du beobachtest einen Tanz. Ein Tänzer dreht sich, ein anderer schwingt, ein dritter bewegt sich im Kreis. Du siehst die Bewegungen, aber du weißt nicht, welche Regel oder welches Muster dahintersteckt.

In der Wissenschaft und beim maschinellen Lernen (KI) passiert genau das oft. Wir haben Daten (z. B. Bilder von Teilchen oder Bewegungen von Pendeln), und wir wissen, dass da eine Symmetrie ist. Das bedeutet: Wenn man etwas dreht oder verschiebt, ändert sich das Ergebnis eigentlich nicht. Aber wir wissen nicht, welche Drehung genau gemeint ist.

Bisher haben KI-Modelle versucht, diese Regel zu erraten, indem sie einfach alles durchprobiert haben – wie jemand, der tausende verschiedene Schlüssel in ein Schloss steckt, bis einer passt. Das ist langsam und oft ungenau.

Die neue Idee: Der "Spectral Discovery"-Ansatz

Die Autoren dieses Papers haben eine viel elegantere Idee: Statt den Schlüssel zu suchen, schauen sie sich das Schloss von innen an.

Stell dir vor, jede Funktion (jedes Muster in den Daten) ist wie ein Musikstück.

Der alte Weg: Man versucht, die Noten zu erraten, indem man das Instrument immer wieder neu stimmt.
Der neue Weg (dieses Paper): Man macht ein Spektrum (eine Art Klanganalyse) des Musikstücks.

Das Geheimnis ist: Wenn ein Musikstück eine bestimmte Symmetrie hat (z. B. es klingt immer gleich, egal wie man es dreht), dann fehlen im Klangspektrum bestimmte Töne! Es gibt eine geordnete Stille (eine "Sparsity").

Die Forscher sagen: "Wenn wir sehen, dass in bestimmten Frequenzen nichts zu hören ist, wissen wir genau, welche Drehung (Symmetrie) im Spiel ist."

Die Metapher: Das Orchester und der Dirigent

Stell dir ein riesiges Orchester vor (das sind deine Daten).

Das Problem: Du willst wissen, welche Regel der Dirigent (die Symmetrie) befolgt.
Die alte Methode: Du fragst jeden Musiker einzeln: "Was machst du?" und versuchst, aus den Antworten ein Bild zu malen. Das ist chaotisch.
Die neue Methode (GFT): Du nimmst einen speziellen Scanner (die Verallgemeinerte Fourier-Transformation). Dieser Scanner zerlegt das Orchester in seine einzelnen Frequenzen.

Das Tolle: Wenn der Dirigent eine bestimmte Regel befolgt (z. B. "Alle Blasinstrumente müssen im Takt mit den Streichern sein"), dann werden im Scan bestimmte Frequenzen stumm.
Die Forscher suchen nicht nach dem Dirigenten, sondern nach den stummen Frequenzen. Wo die Stille herrscht, da liegt die Regel!

Wie funktioniert das in der KI?

Die Forscher haben ein KI-Modell gebaut, das wie folgt arbeitet:

Ausrichten: Zuerst dreht das Modell die Daten so, dass sie in "natürliche" Ebenen passen (wie wenn man ein schiefes Bild gerade hängt).
Zerlegen: Es wandelt die Daten in eine Art "Frequenz-Liste" um (wie Noten in einem Notenblatt).
Die Resonanz-Regel: Das Modell lernt, dass nur bestimmte Noten erlaubt sind. Wenn eine Note "falsch" ist (nicht zur Symmetrie passt), wird sie im Training bestraft.
Das Ergebnis: Am Ende bleibt nur eine sehr kleine Auswahl an Noten übrig. Aus diesen wenigen Noten kann das Modell exakt berechnen, wie die ursprüngliche Drehregel aussieht.

Warum ist das so cool?

Es ist schneller: Statt alles zu erraten, nutzt das Modell die Struktur der Daten direkt.
Es ist verständlich: Man kann genau sehen, welche "Noten" (Frequenzen) übrig geblieben sind und daraus die Regel ablesen. Bei anderen Methoden weiß man oft nicht, warum das Modell eine Regel gefunden hat.
Es funktioniert in der echten Welt: Die Forscher haben es an zwei Beispielen getestet:
1. Ein doppeltes Pendel (wie ein Schaukelstuhl, der sich wild bewegt). Das Modell fand die verborgene Drehregel perfekt.
2. Teilchenphysik (Top-Quarks). Auch hier fand es die Symmetrie, die in den Daten versteckt war, und machte dabei bessere Vorhersagen als die Konkurrenz.

Zusammenfassung

Statt blind nach dem Schlüssel zu suchen, hören die Forscher auf das Fehlen von Tönen im Daten-Orchester. Wo es still ist, da steckt die verborgene Regel.

Das ist wie ein Detektiv, der nicht nach dem Täter sucht, sondern herausfindet, wer nicht am Tatort war. Aus der Abwesenheit bestimmter Töne (Frequenzen) kann das Modell die perfekte Regel für die Symmetrie rekonstruieren. Das macht KI nicht nur schlauer, sondern auch verständlicher.

Each language version is independently generated for its own context, not a direct translation.

1. Problemstellung

In vielen wissenschaftlichen und maschinellen Lernproblemen sind kontinuierliche Symmetrien (z. B. Rotationen oder Translationen) fundamental für die Struktur der Daten und die zugrunde liegenden physikalischen Gesetze. Das Einbeziehen dieser Symmetrien in Modelle verbessert nachweislich die Generalisierungsfähigkeit, reduziert die benötigte Datenmenge (Sample Complexity) und erhöht die Interpretierbarkeit.

Das zentrale Problem besteht jedoch darin, dass die relevanten Symmetriegruppen in realen Szenarien oft nicht a priori bekannt sind. Bestehende Ansätze zur automatischen Symmetrieentdeckung suchen meist direkt im Raum der Generatoren von Lie-Gruppen (z. B. durch Optimierung von Transformationsparametern) oder nutzen gelernte Augmentierungsverfahren. Diese Methoden haben jedoch Nachteile:

Sie optimieren oft direkt über Transformationsparameter, was rechenintensiv und schwer interpretierbar sein kann.
Die gefundenen Symmetrien sind häufig implizit und nicht analytisch nachvollziehbar.
Viele Methoden trennen die Entdeckung der Symmetrie von der eigentlichen Vorhersageaufgabe.

Das Ziel dieser Arbeit ist es, einen neuen, prinzipiellen Ansatz zu entwickeln, der kontinuierliche einparametrige Untergruppen von $SO(n)$ direkt aus den Daten entdeckt, ohne die Generatoren explizit zu optimieren, sondern durch Analyse der spektralen Struktur der Funktion.

2. Methodik: Spektrale Entdeckung via Verallgemeinerter Fourier-Transformation (GFT)

Der Kern der vorgeschlagenen Methode basiert auf der Beobachtung, dass Invarianz gegenüber einer Untergruppe eine strukturierte Sparsamkeit (Structured Sparsity) im Spektrum der Funktion induziert.

A. Theoretische Grundlage

Lie-Algebra und Untergruppen: Jede einparametrige Untergruppe $H \subset SO(n)$ wird durch einen schiefsymmetrischen Generator $B$ erzeugt ( $H = \{ \exp(tB) \mid t \in \mathbb{R} \}$ ).
Kanonsche Form: Jeder Generator $B$ lässt sich durch eine orthogonale Matrix $Q$ in eine Block-Diagonalform überführen, die aus unabhängigen 2D-Rotationsebenen besteht.
Maximaler Torus: Die Methode konzentriert sich auf den maximalen Torus von $SO(n)$ . In den durch $Q$ ausgerichteten Koordinaten wirkt die Untergruppe als unabhängige Rotationen in diesen 2D-Ebenen.
Resonanzbedingung (Korollar 5.2): Dies ist das Herzstück der Theorie. Wenn eine Funktion $F$ $F$ invariant unter der Untergruppe $\exp(tB)$ $exp (tB)$ ist, dann müssen ihre Fourier-Koeffizienten $\hat{F}(m)$ $\hat{F} (m)$ auf dem Torus eine spezifische Bedingung erfüllen:
$\hat{F}(m) \cdot \langle m, \lambda \rangle = 0$
wobei $m$ $m$ der Frequenzvektor und $\lambda$ $λ$ die Rotationsraten (Eigenwerte von $B$ $B$ ) sind.
- Konsequenz: Nur Frequenzen $m$ , die orthogonal zu $\lambda$ stehen ( $\langle m, \lambda \rangle = 0$ ), können nicht-null sein. Alle anderen Frequenzkomponenten müssen verschwinden. Dies führt zu einer strukturierten Sparsamkeit im Spektrum.

B. Architektur und Lernprozess

Das Framework integriert diese Erkenntnis direkt in das neuronale Netzwerk:

Orthogonale Ausrichtung (Alignment): Ein lernbarer orthogonaler Parameter $Q \in SO(n)$ transformiert die Eingabedaten $x$ in $z = Q^\top x$ , um sie mit den invarianten Ebenen der Symmetrie auszurichten.
Fourier-Features: Die transformierten Daten werden in 2D-Blöcke zerlegt und in Polarkoordinaten ( $r_k, \theta_k$ ) umgewandelt. Daraufhin werden primitive Fourier-Features (basierend auf den Winkeln $\theta$ ) konstruiert.
Vorhersagemodell: Ein MLP ( $\phi_w$ ) verarbeitet diese spektralen Features zusammen mit den Radialkomponenten.
Resonanz-Regularisierung: Um die Symmetrie zu erzwingen und den Generator zu finden, wird ein Regularisierungsterm in die Verlustfunktion eingefügt. Dieser bestraft Fourier-Koeffizienten, die nicht mit der Resonanzbedingung übereinstimmen:
$\mathcal{L}_{total} = \mathcal{L}_{task} + \mu \sum_{m} (C_m \cdot \langle m, \lambda \rangle)^2$
Hierbei sind $C_m$ die Gewichte des Netzes für die Frequenz $m$ . Durch Minimierung dieses Terms wird das Netzwerk gezwungen, nur Frequenzen zu nutzen, die $\langle m, \lambda \rangle \approx 0$ erfüllen.
Entdeckung: Nach dem Training werden die gelernten Parameter $\lambda$ und $Q$ genutzt, um den Generator $B$ zu rekonstruieren:
$B = Q \left( \bigoplus \lambda_k J \right) Q^\top$

3. Hauptbeiträge

Spektrales Framework: Einführung einer Methode zur Entdeckung kontinuierlicher Symmetrien basierend auf der GFT und strukturierten Spektral-Sparsity, anstatt über Generatoren zu optimieren.
Symmetrie-bewusste Architekturen: Entwicklung von neuronalen Netzen, die Fourier-Features auf dem maximalen Torus nutzen, um die Frequenzstruktur interpretierbar zu machen.
Resonanz-Regularisierung: Ein neuer Regularisierungsterm, der auf der Resonanzbedingung basiert und das Netzwerk zwingt, nur invarianz-konsistente Frequenzen zu nutzen.
Umfassende Evaluation: Validierung auf synthetischen (Doppel-Pendel) und realen physikalischen Daten (Top-Quark-Tagging).

4. Ergebnisse

Die Methode wurde auf zwei Hauptaufgaben getestet und mit dem State-of-the-Art-Verfahren Augerino verglichen:

6D Doppel-Pendel (Synthetisch):
- Symmetrie-Wiederherstellung: Die spektrale Methode erreichte eine Kosinussimilarität von 0.9999 zum wahren Generator, während Augerino nur bei 0.9233 lag.
- Vorhersagegenauigkeit: Die spektrale Methode erzielte einen niedrigeren Test-MSE (0.00298 vs. 0.01053).
- Robustheit: Auch bei hohem Rauschen behielt die spektrale Methode eine hohe Genauigkeit bei der Generator-Erkennung bei, während Augerino stark nachließ.
Top-Quark-Tagging (Realwelt-Physik):
- Die Methode verbesserte die Klassifikationsgenauigkeit (84.87% vs. 74.9% bei Augerino) und erkannte die zugrunde liegende Rotationsuntergruppe mit extrem hoher Präzision (Kosinussimilarität 0.9999).
Vergleich mit LieGAN: Auch im Vergleich zu LieGAN (nur Entdeckung, keine Vorhersage) zeigte die spektrale Methode überlegene Ergebnisse bei der Wiederherstellung des Generators, insbesondere bei geringerer Datenmenge (Sample Efficiency).

5. Bedeutung und Fazit

Dieses Paper bietet einen fundamental neuen Blickwinkel auf das Problem der Symmetrieentdeckung:

Interpretierbarkeit: Im Gegensatz zu "Black-Box"-Optimierungen von Generatoren liefert die spektrale Methode eine analytisch interpretierbare Beschreibung der Symmetrie (durch die Resonanzfrequenzen).
Prinzipieller Ansatz: Die Methode nutzt die tiefe Verbindung zwischen Gruppentheorie und Fourier-Analyse, um Invarianz als strukturelle Eigenschaft im Frequenzbereich zu erkennen.
Effizienz: Durch die gemeinsame Optimierung von Vorhersage und Symmetrie-Entdeckung in einem einzigen Framework wird die Datenmenge effizienter genutzt.
Anwendbarkeit: Die Ergebnisse zeigen, dass spektrale Sparsity ein verlässlicher Indikator für verborgene kontinuierliche Symmetrien ist, was für Anwendungen in der Physik, Chemie und im maschinellen Lernen von großer Bedeutung ist.

Zusammenfassend etabliert die Arbeit die spektrale Analyse als eine überlegene Alternative zu generator-basierten Suchmethoden für die Entdeckung kontinuierlicher Symmetrien.