🤖 machine learning

Approximate Equivariance via Projection-based Regularisation

Dieser Artikel stellt eine projektionsbasierte Regularisierungsmethode vor, die Nicht-Äquivarianz auf Operator-Ebene über die gesamte Gruppenbahn hinweg bestraft und damit eine effizientere und effektivere Alternative zu bestehenden stichprobenbasierten Ansätzen für das Training von annähernd äquivarianten neuronalen Netzen bietet.

Ursprüngliche Autoren: Torben Berndt, Jan Stühmer

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Torben Berndt, Jan Stühmer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, Objekte zu erkennen. Sie möchten, dass der Roboter versteht, dass eine Kaffeetasse immer noch eine Kaffeetasse ist, egal ob sie aufrecht steht, geneigt ist oder auf der Seite liegt. In der Welt des maschinellen Lernens wird diese Fähigkeit, Muster unabhängig von ihrer Rotation oder Verschiebung zu erkennen, als Equivarianz bezeichnet.

Lange Zeit bauten Wissenschaftler Roboter mit „fest codierten" Regeln, um diese Symmetrie sicherzustellen. Es war, als würde man ein Auto mit einem Lenkrad bauen, das nur nach links oder rechts lenkt und dem Fahrer niemals erlaubt, abzudriften. Dies machte das Auto sehr sicher und effizient beim Befolgen der Regeln, war aber manchmal zu starr. Wenn die Straße eine leichte Kurve hatte, die nicht perfekt in die Regeln passte, hatte das Auto Schwierigkeiten.

Kürzlich begingen Ingenieure damit, Autos ohne diese starren Regeln zu bauen und den Fahrer (die KI) die Dinge selbst herausfinden zu lassen. Diese Autos sind schneller und flexibler, werden aber manchmal durch Rotationen verwirrt, die sie zuvor noch nicht gesehen haben.

Diese Arbeit stellt eine neue Fahrweise vor: Approximative Equivarianz durch projektionsbasierte Regularisierung.

Hier ist die einfache Aufschlüsselung dessen, was sie taten:

Das Problem: Der „stichprobenbasierte" Ansatz

Früher, wenn man ein flexibles Auto wollte, das dennoch gewisse Symmetrien respektierte, verwendete man eine Methode namens „Sampling" (Stichproben). Stellen Sie sich vor, Sie versuchen, dem Roboter beizubringen, rotationsbewusst zu sein. Sie nehmen ein Bild einer Tasse, drehen es um 10 verschiedene zufällige Winkel, zeigen es dem Roboter und sagen: „Hey, das ist immer noch eine Tasse!"

Das Problem? Das ist langsam. Es ist, als würde man einen Schüler bitten, einen Test 10 Mal zu machen, nur um ein Konzept zu lernen. Der Computer muss für jedes einzelne Bild viel zusätzliche Arbeit (Vorwärtsdurchläufe) leisten, was alles verlangsamt.

Die Lösung: Der „Projektions"-Ansatz

Die Autoren schlagen einen intelligenteren Weg vor. Anstatt den Roboter bitten zu lassen, die Antwort für 10 verschiedene Winkel zu erraten, geben sie dem Roboter einen mathematischen Spiegel.

Stellen Sie sich das Gehirn des Roboters (das neuronale Netz) als einen riesigen, unordentlichen Raum voller Möbel (Daten und Gewichte) vor.

Der alte Weg: Sie laufen durch den Raum, nehmen einen Stuhl auf, drehen ihn, stellen ihn ab, nehmen ihn wieder auf, drehen ihn anders und prüfen, ob er richtig aussieht. Das dauert ewig.
Der neue Weg: Sie haben einen magischen Projektor. Sie werfen ein Licht auf den ganzen Raum gleichzeitig. Der Projektor trennt den Raum sofort in zwei Stapel:
- Stapel A: Alles, was perfekt symmetrisch ist (die „guten" Möbel).
- Stapel B: Alles, was unordentlich und asymmetrisch ist (die „schlechten" Möbel).

Die Methode der Arbeit berechnet genau, wie „Stapel B" aussieht, und schiebt den Roboter sanft an, ihn loszuwerden. Es muss nicht 10 verschiedene Winkel prüfen; es führt eine einzelne, präzise mathematische Berechnung (eine „Projektion") durch, um zu sehen, wie weit der Roboter von perfekter Symmetrie entfernt ist, und schiebt ihn zurück auf Kurs.

Warum ist das eine große Sache?

Geschwindigkeit: Da sie nicht zufällige Winkel einzeln prüfen, lernt der Roboter viel schneller. Die Arbeit zeigt, dass ihre Methode bei Aufgaben wie der Entfernung von Metallartefakten aus CT-Scans (denken Sie an das Bereinigen eines unscharfen Röntgenbilds, das durch ein Metallimplantat verursacht wurde) 50 % bis 60 % schneller ist als die alten Sampling-Methoden.
Flexibilität: Der Roboter wird nicht gezwungen, perfekt symmetrisch zu sein. Manchmal sind reale Daten nicht perfekt (vielleicht ist eine Niere leicht anders als ihre Zwillingsschwester). Die Methode erlaubt dem Roboter, „mehrheitlich" symmetrisch zu sein, aber die Regeln gerade genug zu brechen, um zu den seltsamen Daten zu passen. Es ist wie ein Tanzlehrer, der Ihnen sagt, Ihren Rhythmus beizubehalten, Ihnen aber erlaubt, einen Schritt zu improvisieren, wenn sich die Musik ändert.
Universalität: Dies funktioniert für einfache Rotationen (wie das Drehen eines Quadrats) und komplexe, kontinuierliche Rotationen (wie das Drehen einer Kugel im 3D-Raum).

Die „magische" Mathematik

Die Arbeit verwendet ein Konzept namens Fourier-Raum (was wie das Übersetzen eines Songs von Text in Noten ist). In dieser „Noten"-Version der Daten wird die Mathematik sehr einfach. Die Autoren zeigen, dass Sie, um den Roboter symmetrisch zu machen, nur bestimmte Noten (die unordentlichen Teile) auf Null setzen und andere mitteln müssen. Es ist wie das Bearbeiten eines Songs, indem man die falsch klingenden Noten stummschaltet und den Rest glättet, anstatt den ganzen Song 10 Mal neu aufzunehmen.

Tests in der realen Welt

Das Team testete dies an drei Hauptdingen:

Spielzeug-Probleme: Sie ließen einen Roboter lernen, Formen zu erkennen, die leicht wackelig waren. Der Roboter lernte, das Wackeln zu ignorieren, wenn er sollte, aber darauf zu achten, wenn das Wackeln der eigentliche Hinweis war.
Rauch-Simulationen: Sie sagten voraus, wie sich Rauch in einem Raum bewegt. Selbst wenn sich der Rauch nicht perfekt symmetrisch bewegte (aufgrund von Wind oder Hindernissen), sagte ihre Methode die Zukunft besser voraus als starre Modelle.
Medizinische Bildgebung: Sie reinigten CT-Scans mit Metallimplantaten. Ihre Methode erzeugte klarere Bilder als die vorherigen „Sampling"-Methoden und tat dies viel schneller, was die Verarbeitung größerer Bildchargen gleichzeitig ermöglichte.

Das Fazit

Diese Arbeit gibt uns ein neues Werkzeug, um KI zu bauen, die klug genug ist, die Regeln zu kennen, aber flexibel genug, sie bei Bedarf zu brechen, und das alles viel schneller als zuvor läuft. Es ist wie ein Upgrade von einem Roboter, der 10 Mal eine Karte prüfen muss, um eine Route zu finden, zu einem Roboter, der die gesamte Karte sofort sehen und den besten Weg auf einen Blick auswählen kann.

Technische Zusammenfassung: Approximative Äquivarianz durch projektionsbasierte Regularisierung

Problemstellung

Äquivarianz dient als leistungsstarker induktiver Bias im maschinellen Lernen, der die Generalisierung und physikalische Konsistenz in Bereichen wie Chemie, Physik und Robotik verbessert. Allerdings stellt strikte Äquivarianz erhebliche Einschränkungen und Rechenkosten dar. Aktuelle Trends, exemplifiziert durch Modelle wie AlphaFold-3, haben sich hin zu nicht-äquivarianten Architekturen verschoben, um flexiblere Parametrisierungen von Merkmalen und breitere Suchräume zu nutzen, die manchmal zu besseren Minima führen können. Darüber hinaus weisen reale Daten oft unvollkommene oder gebrochene Symmetrien auf, die strikt äquivariante Modelle nicht erfassen können.

Bestehende Ansätze zur „approximativen Äquivarianz" lassen sich im Allgemeinen in zwei Kategorien einteilen:

Stichprobenbasierte Methoden: Diese bestrafen Abweichungen von der Äquivarianz mittels zufällig gesampelter Gruppen-Transformationen (z. B. Daten-Augmentierung oder punktuelle Strafterme). Obwohl sie flexibel sind, verursachen sie eine hohe Stichprobenkomplexität und einen hohen Rechenaufwand aufgrund der Notwendigkeit zusätzlicher Vorwärtsdurchläufe pro Stichprobe.
Explizite Parametrisierung: Diese Modelle strukturieren das Netzwerk explizit als Summe aus äquivarianten und nicht-äquivarianten Komponenten (z. B. Residualpfade). Dies führt häufig zu einer doppelten Parametrisierung des äquivarianten Teils und erhöhter Modellkomplexität.

Es besteht ein Bedarf an einer Methode, die einen Mittelweg findet: Sie soll die Vorteile der Äquivarianz bewahren, ohne deren volle Einschränkungen oder die Laufzeitkosten stichprobenbasierter Regularisierer in Kauf zu nehmen, und gleichzeitig unvollkommene Symmetrien effektiv handhaben.

Methodik

Die Autoren schlagen eine projektionsbasierte Regularisierung vor, ein Framework, das neuronale Netze auf Äquivarianz auf Operator-Ebene statt auf Stichprobenebene regularisiert. Die Kernidee beruht auf der orthogonalen Zerlegung der linearen Schichten eines Netzwerks in äquivariante und nicht-äquivariante Komponenten.

Theoretisches Framework

Sei $H$ eine Hypothesenklasse linearer Abbildungen zwischen $G$ -Moduln. Die Autoren nutzen den G-Glättungsoperator (Reynolds-Operator), bezeichnet als $P(T)$ , der eine lineare Abbildung $T$ auf den Unterraum der $G$ -äquivarianten Abbildungen projiziert:
$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$
wobei $\lambda$ das Haar-Maß der kompakten Gruppe $G$ ist.

Gemäß Lemma 2.1 kann jede Abbildung $T$ eindeutig in eine äquivariante Komponente $P(T)$ und eine nicht-äquivariante (antisymmetrische) Komponente $T - P(T)$ zerlegt werden. Die Autoren definieren den Äquivarianz-Defekt $E(T)$ als die Worst-Case-Abweichung von der Äquivarianz. Sie beweisen (Lemma 3.2), dass der Abstand zum äquivarianten Unterraum, $\|T - P(T)\|_\mu$ , quantitativ äquivalent zum Äquivarianz-Defekt $E(T)$ ist, begrenzt durch Konstanten.

Das Regularisierungsziel

Das Lernziel für einen aufgaben spezifischen Verlust $L_{task}$ wird wie folgt modifiziert:
$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$
Hier bestraft $\lambda_\perp$ die nicht-äquivariante Komponente und ermutigt das Modell, sich am äquivarianten Unterraum auszurichten. $\lambda_G$ steuert die Regularisierung des äquivarianten Teils.

Effiziente Berechnung im Fourier-Raum

Eine zentrale Herausforderung ist die effiziente Berechnung von $P(T)$ , insbesondere für kontinuierliche Gruppen (z. B. $SO(n)$), wo das Integral im Ortsraum unlösbar ist. Die Autoren nutzen den Peter-Weyl-Satz, um diese Projektion im spektralen (Fourier-)Bereich durchzuführen:

Zerlegung: Lineare Operatoren werden in Frequenzblöcke zerlegt, die den irreduziblen Darstellungen (Irreps) der Gruppe entsprechen.
Block-Diagonalisierung: Nach dem Lemma von Schur sind äquivariante Abbildungen im Frequenzbereich block-diagonal (sie mischen nur äquivalente Irreps).
Projektion: Die Projektion $P(T)$ $P (T)$ wird berechnet durch:
- Nullsetzen aller off-diagonalen Blöcke (wo $\pi \neq \sigma$ ).
- Mitteln innerhalb der diagonalen Blöcke, um auf den Intertwiner-Raum zu projizieren.
Rekonstruktion: Die inverse Fourier-Transformation liefert die projizierten Gewichte im Ortsraum.

Dieser Ansatz ermöglicht eine exakte, geschlossene Projektion ohne Sampling, die sowohl für endliche Gruppen (via direkte Mittelung) als auch für kontinuierliche Gruppen (via spektrale Maskierung) anwendbar ist.

Hauptbeiträge

Theoretische Regularisierung: Ein theoretisch fundierter Ansatz, um allgemeine maschinelle Lernmodelle durch Bestrafung der nicht-äquivarianten Komponente linearer Operatoren auf exakte Äquivarianz zu regularisieren.
Strafterm auf Operator-Ebene: Im Gegensatz zu stichprobenbasierten Methoden, die punktuelle Abweichungen bestrafen, bestraft diese Methode Nicht-Äquivarianz über die gesamte Gruppenbahn auf Operator-Ebene.
Spektrale Effizienz: Ein Framework zur exakten und effizienten Berechnung der Projektion im Fourier-Bereich, das die Anwendung auf kontinuierliche Gruppen wie $SO(n)$ ohne Sampling-Overhead ermöglicht.
Empirische Validierung: Nachweis, dass die Methode im Vergleich zu bestehenden Ansätzen für approximative Äquivarianz wettbewerbsfähige Aufgabenleistung erzielt und gleichzeitig erhebliche Laufzeitgewinne bietet.

Experimentelle Ergebnisse

Die Autoren bewerteten die Methode in drei unterschiedlichen experimentellen Settings:

Gelernte SO(2)-Invarianz (Toy-Problem):
- Bei einer binären Klassifikationsaufgabe mit Punktwolken gelang es, durch Abstimmung von $\lambda_\perp$ den Grad der gelernten Invarianz erfolgreich zu steuern.
- Wenn die Zielfunktion Winkelstörungen enthielt (Symmetriebrechung), passte sich das regularisierte Modell an die Daten an, behielt jedoch die Invarianz in Bereichen bei, in denen die Symmetrie galt, was einen einstellbaren Bias demonstrierte.
Unvollkommen symmetrische dynamische Systeme:
- Anwendung auf Rauch-Advektions-Diffusions-Simulationen mit gebrochener Translations-, Rotations- und Skalierungssymmetrie.
- Der projektionsbasierte Regularisierer (+Reg) verbesserte im Vergleich zu Baselines (Standard-CNN, Äquivarianz-CNN, RPP, Lift) in Rotations- und Skalierungsbereichen konsistent die Generalisierung (Future- und Domain-Settings), während die Leistung dort erhalten blieb, wo die Symmetrien bereits gut abgestimmt waren.
Reduktion von Metallartefakten in CT-Scans (MAR):
- Vergleich mit stichprobenbasierten Regularisierern (Bai et al., 2025) und Residual Pathway Priors (RPP) auf dem AAPM CT-MAR-Datensatz.
- Leistung: Die projektionsbasierte Methode erreichte über alle getesteten Architekturen (ACDNet, DICDNet, OSCNet) hinweg eine wettbewerbsfähige oder überlegene Rekonstruktionsqualität (PSNR/SSIM).
- Effizienz: Die Methode schnitt im Durchsatz deutlich besser ab als stichprobenbasierte Regularisierer. Da sie zusätzliche Vorwärtsdurchläufe für das Gruppen-Sampling vermeidet, ermöglichte sie größere Batch-Größen (12 vs. 4 bei stichprobenbasierten Methoden) und reduzierte die Epochenzeiten um 42–61%. Sie benötigte zudem weniger Parameter und weniger Speicher als RPPs.
MedMNIST (3D-Biomedizinische Klassifikation):
- Evaluation auf 3D-Aufgaben (Nodule, Synapse, Organ) mit varying degrees of rotational symmetry.
- Die Methode erreichte eine hohe Genauigkeit, die oft Partially Equivariant SCNNs (P-SCNN) und RPPs entsprach oder diese übertraf.
- Effizienz: Sie zeigte den höchsten Trainings- und Inferenz-Durchsatz sowie die niedrigste Epochzeit unter allen verglichenen Modellen und benötigte deutlich weniger Parameter als RPPs.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass projektionsbasierte Regularisierung einen günstigen Trade-off zwischen Genauigkeit und Effizienz bietet. Durch die Verlagerung der Regularisierung von der Stichprobenebene auf die Operator-Ebene mittels spektraler Projektion ermöglicht die Methode:

Eliminierung der Schätzer-Varianz: Sie berechnet den Strafterm exakt ohne Sampling-Rauschen.
Reduzierung des Rechenaufwands: Sie vermeidet die zusätzlichen Vorwärtsdurchläufe, die für stichprobenbasierte Methoden erforderlich sind, und ermöglicht größere Batch-Größen sowie schnellere Trainings- und Inferenzzeiten.
Architektur-Unabhängigkeit: Das allgemeine Rezept kann auf jedes Modell mit linearen Schichten angewendet werden, sofern die Projektion herleitbar ist (was für lineare Operatoren straightforward ist).
Handhabung unvollkommener Symmetrien: Sie ermöglicht es Modellen, den angemessenen Grad an Äquivarianz zu lernen, indem sie strikte Einschränkungen lockert, wenn die Datenverteilung dies erfordert, ohne den induktiven Bias dort zu opfern, wo er vorteilhaft ist.

Die Autoren schließen, dass dieser Ansatz eine robuste, skalierbare Alternative sowohl zu strikt äquivarianten Architekturen als auch zu rechenintensiven stichprobenbasierten Regularisierungen darstellt, insbesondere für kontinuierliche Symmetriegruppen.