Geometric and Information Compression of Representations in Deep Learning

Technische Zusammenfassung: Geometrische und informationstheoretische Kompression von Repräsentationen im Deep Learning

Problemstellung
Tiefe neuronale Netze (DNNs) transformieren Eingangsdaten in latente Repräsentationen, die nachgelagerte Aufgaben erleichtern. Diese Repräsentationen werden häufig durch zwei unterschiedliche Linsen analysiert: die informationstheoretische Kompression, gemessen durch die gegenseitige Information (Mutual Information, MI) zwischen Eingaben und Repräsentationen, sowie die geometrische Kompression, charakterisiert durch das Clustering von Repräsentationen (z. B. Neural Collapse). Während frühere Arbeiten eine enge, positive Korrelation zwischen diesen beiden Formen der Kompression suggerierten – was impliziert, dass eine niedrige MI eine enge geometrische Clusterung erfordert –, bleibt die präzise Beziehung schlecht verstanden. Eine zentrale offene Frage ist, ob eine niedrige MI zwischen Eingaben und Repräsentationen zwangsläufig geometrisch komprimierte latente Räume impliziert und umgekehrt. Darüber hinaus ist die Rolle der Generalisierung bei der Vermittlung dieser Beziehung unklar.

Methodik
Die Autoren untersuchen dieses Zusammenspiel unter Verwendung zweier unterschiedlicher experimenteller Frameworks, die darauf ausgelegt sind, Variationen sowohl in den informationstheoretischen als auch in den geometrischen Eigenschaften zu induzieren:

1. Conditional Entropy Bottleneck (CEB) Netzwerke: Diese Modelle nutzen datenabhängiges additives Gaußsches Rauschen. Das Trainingsziel minimiert die bedingte Entropie-Bottleneck $I(X; Z|Y)$, während die Klassifikationsleistung aufrechterhalten wird. Durch das Durchlaufen des Trade-off-Parameters $\beta$ generieren die Autoren Modelle mit variierenden Graden an MI-Kompression und Generalisierungsfähigkeit. Die MI wird direkt über die im Trainingsverlust eingebettete variationale Schranke geschätzt.
2. Gaussian Dropout Netzwerke: Diese Modelle verwenden multiplikatives Rauschen mit fester Varianz (kontinuierlicher Dropout). Um Variation in der geometrischen Kompression zu induzieren, ohne die Rauschvarianz zu ändern, führen die Autoren einen geometrischen Regularisierer basierend auf der Neural Collapse (NC) Statistik ein. Dies ermöglicht das Training von Modellen mit unterschiedlicher Cluster-Tightness bei gleichbleibendem Mechanismus der Rauschinjektion. Für diese deterministischen (durch Stochastizität nur via Dropout) Modelle wird die MI extern mittels des Difference of Entropies (DoE) Schätzers geschätzt, welcher unbedingte und bedingte Entropien über parametrische logistische Verteilungen approximiert.

Theoretische Grundlage
Eine kritische Voraussetzung für die Untersuchung von Dropout-regularisierten Netzwerken ist die Garantie, dass die MI zwischen Eingaben und Repräsentationen endlich ist. Das Paper beweist Theorem 1, welches vorangegangene Ergebnisse von ReLU-Netzen auf Netzwerke mit beliebigen reell-analytischen Aktivierungsfunktionen (z. B. GELU, Sigmoid) ausweitet. Der Beweis stützt sich auf das Lojasiewicz-Strukturtheorem, um zu zeigen, dass die Nullstellenmenge reell-analytischer Funktionen ein Maß von Null hat und die Funktion in der Nähe dieser Nullstellen polynomiell verhält, was die Endlichkeit der erwarteten Log-Determinante erfordert, die für eine endliche MI notwendig ist. Dies etabliert eine theoretisch fundierte Basis für die Anwendung informationstheoretischer Analysen auf moderne Architekturen mit kontinuierlichem Dropout.

Kernergebnisse
Die Studie evaluiert 8 Architekturen (einschließlich vollvernetzter Netze, CNNs und Transformer) über 5 Datensätze (Vision- und NLP-Aufgaben) und trainiert etwa 500 Modelle. Die Analyse konzentriert sich auf die Repräsentationen am Ende des Trainings statt auf die Trainingsdynamik.

• Negative nicht-lineare Korrelation: Entgegen der Intuition, dass niedrige MI und enge geometrische Clusterung (niedriges NC) immer zusammenfallen, zeigen die Experimente eine konsistente negative und nicht-lineare Korrelation zwischen MI und geometrischer Kompression. In vielen Setups wiesen Modelle mit niedrigerer MI eine lockerere geometrische Clusterung auf und umgekehrt.
• Rolle der Generalisierung als Confounder: Die Beziehung zwischen MI und geometrischer Kompression ist nicht invariant. Das Vorzeichen und die Stärke der Korrelation ändern sich je nach Trainingsregime und der Generalisierungsfähigkeit des Modells. Beispielsweise erzeugte die Variation der Regularisierungsstärke $\lambda$ in Gaussian-Dropout-Experimenten Regime, in denen die Korrelation negativ, nahe Null oder sogar positiv war. Die Autoren beobachten, dass die Korrelation in Regimen stabiler Generalisierung zu verschwinden oder sich umzukehren neigt, was darauf hindeutet, dass die Generalisierung als Confounder fungiert und nicht als direkte Folge einer der beiden Kompressionsmetriken.
• Entkopplung der Kompressionstypen: Eine Toy-Model-Analyse (Abb. 1) zeigt, dass niedrige MI aus zwei unterschiedlichen Quellen entstehen kann: (1) starker geometrischer Clusterung (kleine Encoder-Streuung) oder (2) hoher Rauschvarianz (uninformative Encoder). Geometrische Kompression (Neural Collapse) tritt nur im ersten Fall auf. Dies erklärt, warum niedrige MI nicht zuverlässig geometrische Kompression vorhersagt.

Bedeutung und Ansprüche
Das Paper trägt zur Debatte über das Lernen von Repräsentationen bei, indem es die Annahme herausfordert, dass informationstheoretische und geometrische Kompression austauschbare Proxies für die Qualität von Repräsentationen oder die Generalisierungsfähigkeit sind.

• Theoretischer Beitrag: Der Beweis der endlichen MI für kontinuierliche Dropout-Netzwerke mit analytischen Aktivierungsfunktionen ermöglicht eine rigorose informationstheoretische Analyse einer breiteren Klasse von State-of-the-Art-Modellen.
• Empirische Erkenntnis: Die Ergebnisse legen nahe, dass die Verbindung zwischen informationstheoretischer und geometrischer Kompression nuancierter ist als bisher angenommen. Die Autoren postulieren, dass die Generalisierungsfähigkeit der zugrunde liegende Faktor ist, der die beobachteten Beziehungen zwischen MI und geometrischer Clusterung konfundiert.
• Einschränkungen: Die Autoren betonen, dass ihre Schlussfolgerungen von den spezifisch verwendeten MI-Schätzern abhängen (variationale Schranken für CEB und DoE für Dropout) und dass systematische Vergleiche zwischen Schätzern notwendig sind, um die Robustheit der beobachteten MI-NC-Beziehung zu validieren. Sie geben explizit an, dass die kausale Struktur zwischen MI, geometrischer Kompression und Generalisierung eine weitere Untersuchung jenseits der präsentierten korrelativen Evidenz erfordert.

Das Paper schließt mit dem Hinweis, dass Behauptungen über die Generalisierungsfähigkeit, die allein auf MI oder geometrischer Kompression basieren, mit Vorsicht zu behandeln sind, da die beiden Metriken nicht notwendigerweise übereinstimmen und komplexe, nicht-lineare Interaktionen auf Abhängigkeit vom Trainingssetup aufweisen können.