Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

Technisches Fazit: Nachteil der Erzwingung von Äquivarianz und dessen Kompensation unter dem Gesichtspunkt der Ausdruckskraft

Problemstellung
Äquivariante neuronale Netze (ENNs) haben sich als dominierender Ansatz zur Nutzung intrinsischer Datensymmetrien etabliert und erzielen starke Leistungen in Bereichen, die von der Verarbeitung von Punktwolken bis hin zu Graphenneuronalen Netzen reichen. Diese Netze erzwingen Äquivarianz typischerweise entweder durch architektonisches Design (schichtweise äquivariante Netze, oder LENs) oder durch Optimierungsbeschränkungen (allgemeine äquivariante Netze, oder GENs). Obwohl die Vorteile der Äquivarianz hinsichtlich Generalisierung und Stichprobeneffizienz gut dokumentiert sind, bleibt der Kompromiss bezüglich der Ausdruckskraft theoretisch noch unzureichend erforscht. Insbesondere ist unklar, ob die Einschränkung des Hypothesenraums auf äquivariante Modelle die Fähigkeit des Netzwerks, Zielfunktionen zu approximieren, im Vergleich zu allgemeinen Netzen (GNs) gleicher Größe inhärent reduziert, und ob die Erzwingung von Äquivarianz in jeder Schicht (LENs) strengere Einschränkungen auferlegt als globale Äquivarianz (GENs).

Methodik
Der Artikel untersucht diesen Kompromiss durch den Fokus auf zweischichtige ReLU-Netze. Die Autoren wenden eine geometrische Analyse der internen Struktur des Netzwerks an, wobei sie insbesondere Grenzhyperebenen (wo die stückweise lineare Funktion ihre Steigung ändert) und Kanalvektoren (die Gewichtvektoren, die die Aktivierungsgrenzen definieren) untersuchen.

1. Geometrische Charakterisierung: Die Autoren definieren Grenzhyperebenen und beweisen, dass für ein GEN die Menge dieser Hyperebenen bezüglich der Gruppenrepräsentation symmetrisch sein muss. Für LENs leiten sie eine strengere Bedingung her: Die Kanalvektoren selbst müssen unter der Gruppenwirkung eine symmetrische Menge bilden.
2. Konstruktive Gegenbeispiele: Um die Einschränkungen zu demonstrieren, konstruieren die Autoren spezifische invariante Zielfunktionen auf $\mathbb{R}^2$ und analysieren die Approximationsfähigkeiten von GNs, GENs und LENs unter festen Neuronenzahlen (speziell für 1-Neuron- und 3-Neuron-Einstellungen).
3. Kompensationsanalyse: Der Artikel untersucht, ob eine Vergrößerung der Modellgröße (Anzahl der Neuronen) den Verlust an Ausdruckskraft kompensieren kann. Dies beinhaltet die Konstruktion spezifischer LEN-Architekturen, die die Funktionen kleinerer GNs oder GENs replizieren, sowie die Analyse der resultierenden Dimensionalität des Hypothesenraums.

Hauptbeiträge und Ergebnisse

• Defizit der Ausdruckskraft: Der Artikel beweist, dass die Erzwingung von Äquivarianz die Ausdruckskraft für eine feste Modellgröße strikt reduziert.

  • GNs vs. GENs: Für eine spezifische invariante Zielfunktion kann ein 1-Neuron-GN die Funktion mit einem von Null verschiedenen Fehler approximieren, wohingegen der einzige 1-Neuron-GEN die Nullfunktion ist, was zu einem strikt höheren erwarteten Verlust führt.
  • GENs vs. LENs: Für eine Zielfunktion, die drei Neuronen erfordert, um von einem GN oder GEN perfekt dargestellt zu werden, benötigt ein LEN mindestens sechs Neuronen. Dies liegt daran, dass die Symmetriebedingungen an die Kanalvektoren in LENs das Netzwerk zwingen, parallele Vektoren (z. B. $\alpha$ und $-\alpha$) als separate Kanäle einzubeziehen, um die schichtweise Äquivarianz zu erfüllen, was die notwendige Kapazität für bestimmte Symmetrien effektiv verdoppelt.

• Kompensation durch Modellvergrößerung: Die Autoren beweisen, dass der Verlust an Ausdruckskraft durch eine Vergrößerung der Modellgröße vollständig kompensiert werden kann.

  • Obere Schranken: Sie zeigen, dass die Vergrößerung eines GENs zu einem LEN um einen Faktor von $|G|$ (der Größe der Symmetriegruppe) es dem LEN ermöglicht, jede invariante Funktion darzustellen, die vom GEN darstellbar ist.
  • Engere Schranken: Weitere Analysen zeigen, dass für invariante Funktionen ein LEN höchstens die doppelte Modellgröße eines GENs benötigt, um dieselbe Menge von Funktionen darzustellen. Dies wird erreicht, indem ein LEN konstruiert wird, bei dem Kanalvektoren nach ihren Orbits gruppiert und wo möglich zusammengeführt werden.

• Reduzierte Hypothesenkomplexität: Eine überraschende Erkenntnis ist, dass, obwohl vergrößerte LENs mehr Neuronen (größere Modellgröße) haben, sie einen niedrigerdimensionalen Hypothesenraum im Vergleich zu GNs gleicher Ausdruckskraft besitzen.

  • Im konstruierten Beispiel hat ein 6-Neuron-LEN, der eine spezifische Funktion darstellt, einen Parameterraum von $\mathbb{R}^5$, wohingegen ein 3-Neuron-GN, der dieselbe Funktion darstellt, einen Parameterraum von $\mathbb{R}^9$ hat.
  • Diese Reduktion der Dimensionalität ergibt sich daraus, dass die strukturellen Zwänge der Äquivarianz die Parameter zwingen, in bestimmten Unterräumen zu liegen, was die Anzahl der unabhängigen lernbaren Parameter trotz der erhöhten Neuronenzahl reduziert.

Bedeutung und Behauptungen
Der Artikel beansprucht, die erste tiefgehende theoretische Untersuchung der Ausdruckskraft schichtweise äquivarianter neuronaler Netze zu liefern. Seine primäre Bedeutung liegt in:

1. Identifizierung eines Nachteils: Die explizite Demonstration, dass Äquivarianzbeschränkungen, insbesondere auf Schichtebene, die Fähigkeit eines Modells, Funktionen zu approximieren, inhärent einschränken können, wenn die Modellgröße nicht angepasst wird.
2. Quantifizierung der Kompensation: Die Bereitstellung formaler oberer Schranken (speziell ein Faktor von $|G|$ oder ein Faktor von 2) für die erforderliche Vergrößerung der Modellgröße, um die verlorene Ausdruckskraft wiederherzustellen.
3. Versöhnung der Generalisierung: Die Argumentation, dass die „Kosten" einer erhöhten Modellgröße durch eine Reduktion der Dimensionalität des Hypothesenraums ausgeglichen werden. Dies legt nahe, dass angemessen dimensionierte LENs eine überlegene Generalisierbarkeit im Vergleich zu Standard-GN bieten könnten, nicht nur aufgrund induktiver Verzerrung, sondern weil sie in einem niedrigerdimensionalen Parameterraum operieren und dabei vergleichbare Approximationsfähigkeiten beibehalten.

Die Autoren schließen, dass, obwohl die Erzwingung von Äquivarianz bei festen Größen einen Nachteil in der rohen Ausdruckskraft darstellt, dies ein handhabbarer Kompromiss ist. Durch eine angemessene Skalierung des Modells werden LENs zu einer wettbewerbsfähigen Lösung, die Approximationsfähigkeit mit verbessertem Generalisierungspotenzial durch reduzierte Hypothesenkomplexität in Einklang bringt.