🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

Dit artikel stelt vast dat een gladde actie in de parameterruimte die de symmetrie van een functie realiseert, bestaat indien en slechts indien de raakbaan van de symmetrie binnen het beeld van de functionele sensitiviteiten van het netwerk ligt, wat een kader biedt om lokale parameterrichtingen te identificeren die ofwel de symmetrie-raakbaan volgen ofwel afdalen naar de equivariante subruimte in getrainde netwerken.

Oorspronkelijke auteurs: Alan Muriithi, Vedanta Thapar, Torben Berndt

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alan Muriithi, Vedanta Thapar, Torben Berndt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van de moderne kunstmatige intelligentie worden neurale netwerken vaak behandeld als zwarte dozen: complexe systemen die gegevens opnemen en antwoorden produceren, maar weinig inzicht bieden in hoe ze tot die conclusies komen. Deze systemen zijn gebouwd uit lagen van wiskundige verbindingen, waarbij elke laag een specifieke numerieke waarde, of parameter, bevat die de machine tijdens de training aanpast. Een centrale vraag voor wetenschappers die deze systemen bestuderen, is of de interne structuur van een getraind netwerk de regels weerspiegelt van de wereld die het heeft geleerd. Als een netwerk een taak leert die een symmetrie inhoudt—zoals herkennen dat een vorm hetzelfde blijft na rotatie—bevat de interne bedrading van het netwerk dan daadwerkelijk een mechanisme dat die rotatie weerspiegelt? Onderzoekers vermoeden al lang dat het antwoord ja is, maar bewijzen welke delen van het netwerk precies verantwoordelijk zijn voor dit gedrag, is tot nu toe een ongrijpende zaak gebleven. Deze onzekerheid is van belang omdat het begrijpen van de interne geometrie van deze modellen kan onthullen hoe ze kennis generaliseren en of ze werkelijk de fysieke wetten begrijpen die ze zijn getraind om na te bootsen.

Een team onderzoekers aan de Universiteit van Oxford en het Heidelberg Institute for Theoretical Studies heeft een nieuwe manier ontwikkeld om in deze netwerken te kijken, waarbij ze verder gaan dan eenvoudige statistiek om de precieze, lokale geometrie te onderzoeken van hoe parameters de output van een netwerk beïnvloeden. Ze richtten zich op een concept dat ze functionele gevoeligheid noemen, wat meet hoeveel het uiteindelijke antwoord van een netwerk verandert wanneer één interne waarde licht wordt aangepast. Door deze minuscule veranderingen in kaart te brengen, creëerden de onderzoekers een gedetield beeld van de richtingen waarin het netwerk zijn output kan veranderen. Ze stelden een specifieke vraag: als een netwerk een functie met een bekende symmetrie heeft geleerd, kan die symmetrie dan worden teruggevoerd naar een specifieke beweging binnen de parameters van het netwerk? Met andere woorden, is er een pad door de interne instellingen van het netwerk dat exact overeenkomt met het roteren of verschuiven van de functie die het uitvoert?

De onderzoekers formuleerden dit als een liftprobleem, waarbij ze vroegen of de vloeiende transformaties in de uiteindelijke output kunnen worden "gelift" naar een vloeiende transformatie in de interne instellingen van het netwerk. Ze ontdekten dat voor een dergelijke beweging vereist is dat de richtingen waarin de functie door symmetrie kan veranderen, bereikbaar zijn door de huidige parameters van het netwerk. Als de interne instellingen van het netwerk te rigide of slecht uitgelijnd zijn, kan de symmetrie in de output niet volledig worden gerealiseerd door de parameters te bewegen. Om dit te testen, ontwikkelde het team een methjd om de best mogelijke richting te berekenen om de parameters te bewegen om ofwel een symmetrie te volgen, ofwel een gebrek aan symmetrie te corrigeren. Ze identificeerden twee afzonderlijke paden: één die het netwerk langs de symmetrie-baan beweegt, waardoor de geleerde functie effectief roteert zonder haar fundamentele aard te veranderen, en een andere die het netwerk naar een staat van perfecte symmetrie beweegt, waardoor fouten worden verminderd waar de functie de symmetrie niet respecteert.

Om te zien of deze theoretische richtingen in de praktijk werkten, trainden de onderzoekers neurale netwerken op twee verschillende taken. Eerst gebruikten ze een eenvoudige beeldclassificator ontworpen om onderscheid te maken tussen een volledige cirkel en een taartpunt in de vorm van een wig. Vervolgens pasten ze hun berekende richtingen toe op het getrainde netwerk. Wanneer ze de parameters van het netwerk langs het symmetiepad bewogen, roteerde de beslissingsgrens van het netwerk exact zoals voorspeld, waarbij de nauwkeurigheid behouden bleef terwijl de oriëntatie veranderde. Wanneer ze de parameters bewogen langs het pad naar symmetrie, werd de output van het netwerk consistenter met de regels van rotatie, waardoor de fout in het gedrag werd verminderd. Cruciaal was dat zij ontdekten dat deze richtingen alleen betrouwbaar werkten wanneer ze bij elke stap opnieuw werden berekend. Als ze de richting één keer aan het begin berekenden en deze vast hielden, raakte het netwerk snel uit koers, waardoor het de symmetrie niet langer kon handhaven of de correctie niet meer uitvoerde. Dit toonde aan dat de relatie tussen de parameters en de symmetrie zeer lokaal is en verandert terwijl het netwerk beweegt.

Het team herhaalde dit proces met een complexer systeem dat ontworpen is om de fysica van een roterend potentiaalveld te leren, bekend als een Hamiltoniaans systeem. Hoewel de architectuur van het netwerk het niet expliciet afdwong om de rotatiesymmetrie te respecteren, leerde het getrainde netwerk nog steeds de onderliggende fysica. Wanneer de onderzoekers hun methode hierop toepasten, observeerden ze hetzelfde patroon: het bij elke stap opnieuw berekenen van de richting stelde het netwerk in staat om het geleerde potentiaalveld te roteren of symmetriënker te maken, terwijl het aanhouden van de richting leidde tot een geleidelijke afwijking van het juiste gedrag. De studie laat zien dat hoewel neurale netwerken symmetrieën kunnen leren coderen, de specifieke parameters die verantwoordelijk zijn voor dit gedrag niet statisch zijn. Het vermogen om deze symmetrieën terug te leiden naar de interne structuur van het netwerk hangt af van het voortdurend opnieuw evalueren van de lokale geometrie van de parameters. De bevindingen suggereren dat de interne representatie van symmetrie een dynamisch kenmerk is, een kenmerk dat een voortdurende aanpassing vereist om in lijn te blijven met de wiskundige regels die het netwerk heeft geleerd te volgen.

Technische Samenvatting: Parameter-niveau Attributie van Symmetrie in Getrainde Netwerken

Probleemstelling
Het artikel behandelt een fundamentele vraag in de studie van geparametriseerde functieklassen: wanneer een neuraal netwerk een functie heeft geleerd die een bekende symmetrie bezit, kan die symmetrie dan worden "gelift" door de parametrisatie van het netwerk? Specifiek onderzoeken de auteurs of er een beweging in de parameterruimte bestaat die een groepswerking in de functieruimte realiseert. Hoewel globale lifting (een gladde actie op het gehele parameter-variëteit) niet altijd mogelijk is, richt het artikel zich op het infinitesimale liftingprobleem: bepalen of de raakruimte aan de symmetrie-baan van een functie binnen de afbeelding ligt van de differentiaal van de realisatiemap van het netwerk. Als deze voorwaarde standhoudt, kan het netwerk lokaal langs de symmetrierichting bewegen via parameterupdates.

Methodologie
De auteurs introduceren een raamwerk gebaseerd op functionele sensitiviteit, gedefinieerd als de lokale respons van de netwerkoutput op perturbaties in individuele parameters.

Functionele Sensitiviteit: Voor een netwerk $f_\theta$ geparametriseerd door $\theta$ , is de puntgewijze functionele sensitiviteit van de $i$ -de parameter $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ . De geaggregeerde sensitiviteit $S_i(\theta)$ is de wortel-gemiddelde-kwadratische waarde van deze sensitiviteiten over een proefdistributie.
Differentiaal Lifting Criterium: Het artikel formuleert het liftingprobleem met behulp van de realisatiemap $\Phi: \Theta \to \mathcal{B}$ , waarbij $\mathcal{B}$ de ruimte van functies is. De differentiaal $J_\theta = d\Phi_\theta$ brengt parameter-snelheden naar functieruimte-variaties. De kolommen van $J_\theta$ komen overeen met de functionele sensitiviteiten. Een noodzakelijke voorwaarde voor het liften van een symmetriegenerator $\xi$ is dat de geïnduceerde functieruimte-richting $\eta_\xi$ binnen de afbeelding van $J_\theta$ ligt (d.w.z. $\text{Im}(J_\theta)$ ).
Least-Squares Relaxatie: Omdat exacte lifting vaak onmogelijk is in overgeparametriseerde of imperfect getrainde netwerken, stellen de auteurs een kleinste-kwadraten-benadering voor om de beste lokale parameterrichting te vinden. Dit levert twee verschillende richtingen op:
1. Symmetrie-baan Richting ( $c^\star$ ): De parameterrichting met de minimale norm die de beweging langs de symmetrie-baan ( $\eta_\xi$ ) benadert. De residu maat de component van de symmetrierichting die ontoegankelijk is voor de huidige parametrisatie.
2. Equivariantie-defect Richting ( $b^\star$ ): De parameterrichting met de minimale norm die de functie richting de equivariante subruimte beweegt (het verminderen van het "equivariantie-defect" $\delta_\theta = f_\theta - P_E f_\theta$ ).
Attributie: De coëfficiënten van deze kleinste-kwadraten-oplossingen bieden een per-parameter attributie van de symmetriegeneratoren, waardoor wordt geïdentificeerd welke specifieke gewichten en biases bijdragen aan de symmetrie of aan het gebrek daaraan.

Belangrijkste Bijdragen

Functionele Sensitiviteit Raamwerk: De auteurs definiëren een parameter-niveau differentiaal raamwerk dat individuele parameters relateert aan lokale variaties van de geleerde kaart, waarbij de focus verschuift van statistische correlaties in de parameterruimte (zoals in eerder werk door Maiti et al.) naar de lokale differentiële geometrie van de geleerde kaart.
Projectie van Symmetriegeneratoren: Ze ontwikkelen een methode om infinitesimale symmetriegeneratoren te projecteren op de parameter-raakruimte, wat per-parameter attributies en een diagnostiek voor equivariantie oplevert.
Empirische Validatie: Het artikel vergelijkt deze grootheden empirisch in twee settings: een rotationeel invariante classifier en Hamiltonian Neural Networks (HNNs) getraind op een rotationeel symmetrische potentiaal.

Experimentele Resultaten
De auteurs evalueren of de berekende lokale parameterrichtingen de voorspelde eindige veranderingen in de functieruimte induceren.

Annulus Classifier: Een MLP getraind om een binnenste schijf van een buitenste annulus te onderscheiden werd getest. De studie vergeleek "Resolved" trajecten (waarbij de Jacobiaan en richting bij elke stap opnieuw worden berekend) met "Fixed" trajecten (waarbij de richting wordt gebruikt die bij initialisatie is berekend).
- Resolved Trajecten: De symmetrie-gestuurde flow ( $c^\star$ ) slaagde erin de functie langs de rotationele symmetrie-baan te bewegen terwijl de afstand tot de equivariante subruimte behouden bleef. De equivariantie-gestuurde flow ( $b^\star$ ) slaagde erin de niet-invariante component (equivariantie-defect) te verminderen.
- Fixed Trajecten: Richtingen die vaststonden, weken na de training substantieel af van de voorspelde banen, wat het belang van het herberekenen van richtingen voor eindige trajecten benadrukt.
Hamiltonian Neural Networks: Gebruikmakend van Adaptable Symplectic Recurrent Neural Networks (ASRNNs) getraind op een Mexican hat potentiaal, observeerden de auteurs vergelijkbare resultaten. Het herberekenen van richtingen stelde het netwerk in staat om effectief de potentiaal te roteren (symmetrie flow) of de geleerde potentiaal "meer" equivariant te maken (equivariantie flow). Vaste richtingen vertoonden aanvankelijk succes maar accumuleerden over de tijd drift.
Architectuuronafhankelijkheid: Opvallend genoeg hielden deze resultaten stand, zelfs voor Hamiltonian netwerken waarbij de architectuur de symmetrie niet expliciet afdwong, wat aantoont dat de methode de codering van symmetrie in standaard architecturen kan identificeren.

Betekenis en Claims
Het artikel beweert dat functionele sensitiviteit een rigoureus instrument biedt voor het identificeren van de specifieke parameters die symmetrieën coderen in een geleerde kaart. Door het probleem te formuleren als een lifting-taak, stellen de auteurs een noodzakelijke en voldoende voorwaarde vast voor puntgewijze eerste-orde lifting. De betekenis ligt in de mogelijkheid om:

Het "equivariantie-defect" van een getraind netwerk te diagnosticeren.
Orthogonale richtingen in de parameterruimte te identificeren die overeenkomen met het bewegen langs een symmetrie-baan versus het bewegen naar de equivariante subruimte.
Aan te tonen dat hoewel lokale lifting betrouwbaar is, globale lifting een continue herberekening van deze richtingen vereist, aange[zien] vaste richtingen falen om de baan over eindige trajecten te volgen.

Het werk claimt niet om symmetrieën tijdens de training af te dwingen, maar biedt eerder een post-hoc diagnostisch en attributiemethode om te begrijpen hoe symmetrieën worden gerepresenteerd in de parameterruimte van getrainde netwerken.

Technische Samenvatting: Parameter-niveau Attributie van Symmetrie in Getrainde Netwerken

Meer zoals dit