🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

Diese Arbeit stellt fest, dass eine glatte Parameterraum-Aktion, die die Symmetrie einer Funktion realisiert, genau dann existiert, wenn die Tangentenorbit der Symmetrie innerhalb des Bildes der funktionalen Sensitivitäten des Netzwerks liegt, was einen Rahmen zur Identifizierung lokaler Parameterrichtungen bereitstellt, die entweder der Symmetrieorbit folgen oder zum äquivarianten Unterraum in trainierten Netzwerken absteigen.

Ursprüngliche Autoren: Alan Muriithi, Vedanta Thapar, Torben Berndt

Veröffentlicht 2026-08-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alan Muriithi, Vedanta Thapar, Torben Berndt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der weiten Landschaft der modernen künstlichen Intelligenz werden neuronale Netze oft als Black Boxes behandelt: komplexe Systeme, die Daten aufnehmen und Antworten liefern, dabei jedoch nur wenig Aufschluss darüber geben, wie sie zu diesen Schlussfolgerungen gelangen. Diese Systeme bestehen aus Schichten mathematischer Verbindungen, von denen jede einen spezifischen numerischen Wert oder Parameter enthält, den die Maschine während des Trainings anpasst. Eine zentrale Frage für Wissenschaftler, die diese Systeme untersuchen, ist, ob die interne Struktur eines trainierten Netzwerks die Regeln widerspiegelt, die die Welt steuern, die es gelernt hat. Wenn ein Netzwerk eine Aufgabe lernt, die eine Symmetrie beinhaltet – wie etwa das Erkennen, dass eine Form nach einer Rotation gleich aussieht –, enthält die interne Verdrahtung des Netzwerks tatsächlich einen Mechanismus, der diese Rotation widerspiegelt? Forscher vermuteten schon lange, dass die Antwort „Ja“ lautet, aber zu beweisen, welche Teile des Netzwerks genau für dieses Verhalten verantwortlich sind, blieb schwer fassbar. Diese Ungewissheit ist wichtig, da das Verständnis der internen Geometrie dieser Modelle offenlegen könnte, wie sie Wissen generalisieren und ob sie die physikalischen Gesetze, denen sie zu imitieren versuchen, wirklich erfassen.

Ein Team von Forschern der Universität Oxford und des Heidelberg Institute for Theoretical Studies hat einen neuen Weg entwickelt, um in diese Netzwerke hineinzublicken, indem sie über einfache Statistiken hinausgehen und die präzise, lokale Geometrie untersuchen, mit der Parameter den Output eines Netzwerks beeinflussen. Sie konzentrierten sich auf ein Konzept, das sie „funktionale Sensitivität“ nennen, welches misst, wie stark sich die endgültige Antwort eines Netzwerks ändert, wenn ein einzelner interner Wert leicht verändert wird. Durch die Kartierung dieser winzigen Änderungen erstellten die Forscher ein detailliertes Bild der Richtungen, in denen sich der Output des Netzwerks bewegen kann. Sie stellten eine spezifische Frage: Wenn ein Netzwerk eine Funktion mit einer bekannten Symmetrie gelernt hat, kann diese Symmetrie auf eine spezifische Bewegung innerhalb der Parameter des Netzwerks zurückverfolgt werden? Mit anderen Worten: Gibt es einen Pfad durch die internen Einstellungen des Netzwerks, der exakt einer Rotation oder Verschiebung der Funktion entspricht, die es ausführt?

Die Forscher formulierten dies als ein Lifting-Problem (Hebungsproblem) und fragten, ob die glatten Transformationen im endgültigen Output auf eine glatte Transformation in den internen Einstellungen des Netzwerks „gehoben“ werden können. Sie fanden heraus, dass für eine solche Bewegung eine Voraussetzung ist, dass die Richtungen, in denen sich die Funktion aufgrund von Symmetrie ändern kann, durch die aktuellen Parameter des Netzwerks erreichbar sein müssen. Wenn die internen Einstellungen des Netzwerks zu starr oder schlecht ausgerichtet sind, kann die Symmetrie im Output nicht vollständig durch die Bewegung der Parameter realisiert werden. Um dies zu testen, entwickelte das Team eine Methode, um die bestmögliche Richtung zu berechnen, um die Parameter zu bewegen, sei es, um einer Symmetrie zu folgen oder einen Mangel an Symmetrie zu korrigieren. Sie identifizierten zwei unterschiedliche Pfade: einen, der das Netzwerk entlang der Symmetrie-Orbit bewegt – was die gelernte Funktion effektiv rotiert, ohne deren grundlegende Natur zu verändern – und einen anderen, der das Netzwerk in Richtung eines Zustands perfekter Symmetrie bewegt, wodurch Fehler reduziert werden, falls die Funktion die Symmetrie nicht vollumfänglich respektiert.

Um zu sehen, ob diese theoretischen Richtungen in der Praxis funktionierten, trainierten die Forscher neuronale Netzwerke für zwei verschiedene Aufgaben. Zuerst verwendeten sie einen einfachen Bildklassifizierer, der darauf ausgelegt war, zwischen einem vollen Kreis und einem keilförmigen Ausschnitt zu unterscheiden. Sie wandten die berechneten Richtungen anschließend auf das trainierte Netzwerk an. Wenn sie die Parameter des Netzwerks entlang des Symmetriepfades bewegten, rotierte die Entscheidungsgrenze des Netzwerks exakt wie vorhergesagt, wobei die Genauigkeit erhalten blieb, während sich die Orientierung änderte. Wenn sie die Parameter entlang des Pfades zur Symmetrie bewegten, wurde der Output des Netzwerks konsistenter mit den Regeln der Rotation, wodurch der Fehler in seinem Verhalten reduziert wurde. Entscheidend war, dass diese Richtungen nur dann zuverlässig funktionierten, wenn sie bei jedem Schritt der Bewegung neu berechnet wurden. Wenn sie die Richtung einmal zu Beginn berechneten und fest hielten, driftete das Netzwerk schnell vom Kurs ab und konnte weder die Symmetrie noch die Korrektur aufrechterhalten. Dies zeigte, dass die Beziehung zwischen den Parametern und der Symmetrie hochgradig lokal ist und sich ändert, während sich das Netzwerk bewegt.

Das Team wiederholte diesen Prozess mit einem komplexeren System, das darauf ausgelegt war, die Physik eines rotierenden Potenzials, bekannt als Hamiltonsches System, zu lernen. Obwohl die Architektur des Netzwerks die Rotationssymmetrie nicht explizit erzwang, lernte das trainierte Netzwerk dennoch die zugrunde liegende Physik. Als die Forscher ihre Methode hier anwandten, beobachteten sie dasselbe Muster: Die Neuberechnung der Richtung bei jedem Schritt ermöglichte es dem Netzwerk, sein Potenzial zu rotieren oder es symmetrischer zu machen, während das Beibehalten der festen Richtung zu einem allmählichen Abweichen vom korrekten Verhalten führte. Die Studie zeigt, dass neuronale Netzwerke zwar lernen können, Symmetrien zu kodieren, die spezifischen Parameter, die für dieses Verhalten verantwortlich sind, jedoch nicht statisch sind. Die Fähigkeit, diese Symmetrien auf die interne Struktur des Netzwerks zurückzuverfolgen, hängt von der ständigen Neubewertung der lokalen Geometrie der Parameter ab. Die Ergebnisse legen nahe, dass die interne Repräsentation von Symmetrie ein dynamisches Merkmal ist, das eine kontinuierliche Anpassung erfordert, um mit den mathematischen Regeln, denen das Netzwerk zu folgen versucht, in Einklang zu bleiben.

Technische Zusammenfassung: Parameterbasierte Attribuierung von Symmetrien in trainierten Netzwerken

Problemstellung
Die Arbeit adressiert eine grundlegende Frage in der Untersuchung parametrisierter Funktionsklassen: Wenn ein neuronales Netzwerk eine Funktion gelernt hat, die eine bekannte Symmetrie besitzt, kann diese Symmetrie durch die Parametrisierung des Netzwerks „gehoben“ (lifting) werden? Konkret untersuchen die Autoren, ob im Parameterraum eine Bewegung existiert, die eine Gruppenwirkung im Funktionsraum realisiert. Während ein globales Lifting (eine glatte Wirkung auf dem gesamten Parameter-Manifold) nicht immer möglich ist, konzentriert sich die Arbeit auf das infinitesimale Lifting-Problem: Die Bestimmung, ob der Tangentialraum der Symmetrie-Orbit einer Funktion im Bild der Differentialabbildung der Realisationsabbildung des Netzwerks liegt. Wenn diese Bedingung erfüllt ist, kann sich das Netzwerk über Parameteraktualisierungen lokal entlang der Symmetrierichtung bewegen.

Methodik
Die Autoren führen ein Framework basierend auf der funktionalen Sensitivität ein, definiert als die lokale Reaktion der Netzwerkausgabe auf Störungen einzelner Parameter.

Funktionale Sensitivität: Für ein durch $\theta$ parametrisiertes Netzwerk $f_\theta$ ist die punktweise funktionale Sensitivität des $i$ -ten Parameters $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ . Die aggregierte Sensitivität $S_i(\theta)$ ist die Wurzel aus dem Mittelquadrat dieser Sensitivitäten über eine Sondierungsverteilung.
Differentielles Lifting-Kriterium: Die Autoren formulieren das Lifting-Problem unter Verwendung der Realisationsabbildung $\Phi: \Theta \to \mathcal{B}$ , wobei $\mathcal{B}$ der Raum der Funktionen ist. Das Differential $J_\theta = d\Phi_\theta$ bildet Parametergeschwindigkeiten auf Variationen im Funktionsraum ab. Die Spalten von $J_\theta$ entsprechen den funktionalen Sensitivitäten. Eine notwendige Bedingung für das Heben eines Symmetriegenerators $\xi$ ist, dass die induzierte Richtung im Funktionsraum $\eta_\xi$ im Bild von $J_\theta$ (d. h. $\text{Im}(J_\theta)$ ) liegt.
Least-Squares-Relaxierung: Da exaktes Lifting in überparametrisierten oder unvollkommen trainierten Netzwerken oft unmöglich ist, schlagen die Autoren einen Least-Squares-Ansatz vor, um die beste lokale Parameterrichtung zu finden. Dies liefert zwei unterschiedliche Richtungen:
1. Symmetrie-Orbit-Richtung ( $c^\star$ ): Die Parameterrichtung mit minimaler Norm, die annähernd eine Bewegung entlang des Symmetrie-Orbits ( $\eta_\xi$ ) realisiert. Der Residuum misst die Komponente der Symmetrierichtung, die mit der aktuellen Parametrisierung nicht zugänglich ist.
2. Äquivarianz-Defekt-Richtung ( $b^\star$ ): Die Parameterrichtung mit minimaler Norm, die die Funktion in Richtung des Äquivarianz-Unterraums bewegt (Reduzierung des „Äquivarianz-Defekts“ $\delta_\theta = f_\theta - P_E f_\theta$ ).
Attribuierung: Die Koeffizienten dieser Least-Squares-Lösungen liefern eine pro-Parameter-Attribuierung der Symmetriegeneratoren, wodurch identifiziert wird, welche spezifischen Gewichte und Biases zur Symmetrie oder zum Mangel daran beitragen.

Zentrale Beiträge

Funktionales Sensitivitäts-Framework: Die Autoren definieren ein differenzielles Framework auf Parameterebene, das einzelne Parameter mit lokalen Variationen der gelernten Abbildung in Beziehung setzt und den Fokus von statistischen Korrelationen im Parameterraum (wie in der vorangegangenen Arbeit von Maiti et al.) auf die lokale Differentialgeometrie der gelernten Abbildung verschiebt.
Projektion von Symmetriegeneratoren: Sie entwickeln eine Methode, um infinitesimale Symmetriegeneratoren auf den Parameter-Tangentialraum zu projizieren, was pro-Parameter-Attribuierungen und ein Diagnosewerkzeug für Äquivarianz liefert.
Empirische Validierung: Die Arbeit vergleicht diese Größen empirisch in zwei Settings: einem rotationsinvarianten Klassifikator und Hamiltonian Neural Networks (HNNs), die auf einem rotationssymmetrischen Potenzial trainiert wurden.

Experimentelle Ergebnisse
Die Autoren evaluieren, ob die berechneten lokalen Parameterrichtungen die vorhergesagten endlichen Änderungen im Funktionsraum induzieren.

Annulus-Klassifikator: Ein MLP, das trainiert wurde, eine innere Scheibe von einem äußeren Ring zu unterscheiden, wurde getestet. Die Studie verglich „gelöste“ (resolved) Trajektorien (ständige Neuberechnung des Jacobians und der Richtung bei jedem Schritt) mit „festen“ (fixed) Trajektorien (Verwendung der bei der Initialisierung berechneten Richtung).
- Gelöste Trajektorien: Der symmetrie-gerichtete Fluss ( $c^\star$ ) bewegte die Funktion erfolgreich entlang des Rotationssymmetrie-Orbits, während der Abstand zum Äquivarianz-Unterraum gewahrt blieb. Der Äquivarianz-gerichtete Fluss ( $b^\star$ ) reduzierte erfolgreich die nicht-invariante Komponente (Äquivarianz-Defekt).
- Feste Trajektorien: Richtungen, die fest gehalten wurden, wichen nach dem Training erheblich von den vorhergesagten Orbits ab, was die Notwendigkeit der ständigen Neuberechnung von Richtungen für endliche Trajektorien verdeutlicht.
Hamiltonian Neural Networks: Unter Verwendung von Adaptable Symplectic Recurrent Neural Networks (ASRNNs), die auf einem „Mexican Hat“-Potenzial trainiert wurden, beobachteten die Autoren ähnliche Ergebnisse. Die Neuberechnung der Richtungen ermöglichte es dem Netzwerk, entweder das Potenzial effektiv zu rotieren (Symmetrie-Fluss) oder das gelernte Potenzial „äquivarianter“ zu machen (Äquivarianz-Fluss). Feste Richtungen zeigten anfänglichen Erfolg, akkumulierten jedoch im Laufe der Zeit Drift.
Architekturunabhängigkeit: Bemerkenswerterweise hielten diese Ergebnisse auch für Hamiltonian-Netzwerke, bei denen die Architektur die Symmetrie nicht explizit erzwingt, was zeigt, dass die Methode die Kodierung von Symmetrien in Standardarchitekturen identifizieren kann.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die funktionale Sensitivität ein rigoroses Werkzeug darstellt, um die spezifischen Parameter zu identifizieren, die Symmetrien in einer gelernten Abbildung kodieren. Durch die Formulierung des Problems als Lifting-Aufgabe stellen die Autoren eine notwendige und hinreichende Bedingung für das punktweise erste Ordnung-Lifting her. Die Bedeutung liegt in der Fähigkeit:

Den „Äquivarianz-Defekt“ eines trainierten Netzwerks zu diagnostizieren.
Orthogonale Richtungen im Parameterraum zu identifizieren, die einer Bewegung entlang eines Symmetrie-Orbits gegenüber einer Bewegung in Richtung des Äquivarianz-Unterraums entsprechen.
Aufzuzeigen, dass während lokales Lifting zuverlässig ist, globales Lifting eine kontinuierliche Neuberechnung dieser Richtungen erfordert, da feste Richtungen den Orbit über endliche Trajektorien hinweg nicht verfolgen können.

Die Arbeit beansprucht nicht, Symmetrien während des Trainings zu erzwingen, sondern bietet vielmehr eine Post-hoc-Diagnose- und Attribuierungsmethode, um zu verstehen, wie Symmetrien im Parameterraum trainierter Netzwerke repräsentiert sind.

Technische Zusammenfassung: Parameterbasierte Attribuierung von Symmetrien in trainierten Netzwerken

Mehr davon