🤖 machine learning

The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

Diese Arbeit liefert einen informationstheoretischen Beweis dafür, dass die gemeinsame Approximation von Multi-Task-Problemen, die ein latentes hartes Merkmal teilen, streng weniger Beschreibungsbits erfordert als eine separate Approximation, selbst unter Orthogonalitätsbeschränkungen, indem sie eine scharfe Lücke in den optimalen Raten durch eine kompositionale Architektur aus gemeinsamen Rademacher-Haar-Merkmalen und aufgabenspezifischen Sawtooth-Walsh-Readouts demonstriert.

Ursprüngliche Autoren: Thomas Dittrich, Oliver Potocki, Philipp Grohs

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Dittrich, Oliver Potocki, Philipp Grohs

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Die schwere Last teilen

Stellen Sie sich vor, Sie sind ein Bauunternehmen, das mit der Aufgabe betraut wurde, 100 verschiedene Häuser zu bauen (dies sind Ihre „Aufgaben“).

Der alte Weg (Getrennte Approximation): Sie stellen 100 verschiedene Teams ein. Jedes Team beginnt bei Null. Sie müssen alle ihr eigenes Fundament ausheben, ihren eigenen Beton gießen und ihre eigenen Wände errichten. Selbst wenn alle 100 Häuser exakt dieselbe Art von Fundament benötigen, spricht Team A nicht mit Team B. Sie bauen das Fundament jeweils separat. Das ist unglaublich verschwenderisch.
Der neue Weg (Gemeinsame Approximation): Sie stellen einen Chefarchitekten und eine Fundament-Crew ein. Diese bauen ein einziges, perfektes Fundament, das allen 100 Häusern dient. Danach bauen 100 verschiedene kleine Teams einfach die einzigartigen Obergeschosse (die „Heads“) auf diesem gemeinsamen Fundament auf.

Dieses Papier beweist mathematisch, dass der „neue Weg“ nicht nur eine gute Idee ist, sondern auch strikt effizienter in Bezug auf die Information ist – selbst wenn man eine sehr strenge Regel hinzufügt: Die 100 Häuser müssen sich in spezifischer, starrer Weise komplett voneinander unterscheiden.

Die strikte Regel: Die „Orthogonalitäts“-Beschränkung

In der realen Welt könnten die 100 Häuser, die man auf einem Fundament baut, zu ähnlich aussehen. In der Mathematik und Physik gibt es eine Regel namens Orthogonalität. Man kann sich das wie eine Regel vorstellen, die besagt: „Jedes Haus muss in eine völlig andere Richtung gebaut werden, wie die X-, Y- und Z-Achsen in einem Koordinatensystem. Sie dürfen sich nicht überschneiden oder eine ‚Richtung‘ teilen.“

Normalerweise denkt man: „Wenn die Ausgaben völlig verschieden (orthogonal) sein müssen, dann können wir keine Informationen zwischen ihnen teilen. Wir müssen alles separat bauen.“

Dieses Papier beweist, dass diese Intuition falsch ist. Selbst mit dieser strengen „Keine-Überschneidung“-Regel kann man die harte Arbeit immer noch teilen.

Das „harte Merkmal“ vs. der „einfache Head“

Die Autoren haben ein spezifisches mathematisches Rätsel erstellt, um dies zu testen. Sie stellten sich ein Szenario vor, in dem:

Der harte Teil (Das Fundament): Es gibt ein chaotisches, komplexes Muster (wie eine gezackte, zufällige Welle), das sehr schwierig zu beschreiben oder zu komprimieren ist. Nennen wir dies das „Rademacher-Haar“-Merkmal.
Der einfache Teil (Die Heads): Es gibt einfache Werkzeuge (genannt „Sawtooth-Walsh“-Funktionen), die dieses chaotische Muster nehmen und es in 100 verschiedene, perfekt unterscheidbare Formen verwandeln.

Der Haken:

Wenn Sie versuchen, jedes der 100 Formen separat zu beschreiben, müssen Sie dieses chaotische „harte Teil“ 100 Mal beschreiben.
Wenn Sie sie gemeinsam beschreiben, beschreiben Sie das chaotische „harte Teil“ nur einmal und listen dann nur die Anweisungen für die 100 verschiedenen Verformungen auf.

Das Ergebnis: Eine massive Ersparnis

Das Papier berechnet exakt, wie viele „Bits“ (Informationseinheiten) benötigt werden, um diese Formen zu beschreiben.

Separater Ansatz: Sie zahlen den vollen Preis für das harte Chaos 100 Mal.
Gemeinsamer Ansatz: Sie zahlen den vollen Preis für das harte Chaos nur einmal.

Das Ergebnis? Der gemeinsame Ansatz ist etwa M/4 Mal effizienter (wobei M die Anzahl der Aufgaben ist). Wenn Sie 100 Aufgaben haben, spart die gemeinsame Methode eine massive Menge an „Beschreibungsraum“.

Die Verbindung zum „Neuronalen Netz“

Die Autoren haben dies nicht nur mit abstrakter Mathematik gemacht, sondern gezeigt, wie ein Neuronales Netz (das Gehirn moderner KI) dies leisten kann.

Sie bauten ein Netzwerk mit einem gemeinsamen „Stamm“ (dem Fundament), der das chaotische Muster lernt.
Sie hängten M verschiedene „Heads“ (die Readouts) an, die die spezifischen Verformungen anwenden.
Sie bewiesen, dass das Netzwerk selbst dann, wenn es gezwungen ist, strengen geometrischen Regeln zu folgen (Orthogonalität), den Großteil der schweren Arbeit im „Stamm“ erledigt und die „Heads“ nur noch den Feinschliff vornehmen.

Warum das wichtig ist (ohne Hype)

In der Welt der KI verwenden wir oft „Foundation Models“ (wie die hinter Chatbots). Diese Modelle lernen eine allgemeine Repräsentation einmal und passen sie dann an viele spezifische Aufgaben an.

Die Behauptung des Papers: Das funktioniert nicht nur aufgrund von Statistik oder Glück, sondern aufgrund der Informationstheorie. Wenn mehrere Aufgaben ein verborgenes, schwer zu beschreibendes Merkmal teilen, ist es mathematisch günstiger, dieses Merkmal einmal zu beschreiben und wiederzuverwenden, als es immer und immer wieder neu zu beschreiben.
Der Clou: Selbst wenn die Aufgaben gezwungen sind, mathematisch „orthogonal“ (völlig verschieden) zu sein, bleibt dieser Effizienzgewinn bestehen. Die Beschränkung hebt den Vorteil des Teilens nicht auf.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, eine Nachricht an 100 Freunde zu senden.

Die Nachricht: Eine sehr lange, komplexe, zufällige Zahlenfolge (das harte Merkmal).
Die Regel: Jeder Freund muss eine Nachricht erhalten, die völlig anders aussieht als die der anderen (Orthogonalität).
Separate Methode: Sie schreiben die lange Zufallsfolge 100 Mal auf und fügen jedem Mal eine winzige Notiz hinzu, damit sie unterschiedlich aussehen. Sie versenden 100 riesige Briefe.
Gemeinsame Methode: Sie schreiben die lange Zufallsfolge ein einziges Mal. Sie heften an jeden der 100 Umschläge einen winzigen, einzigartigen „Dekodierschlüssel“ an. Sie versenden 100 kleine Briefe.

Das Papier beweist, dass die gemeinsame Methode der einzige Weg ist, um wirklich effizient zu sein, selbst wenn die Regeln besagen, dass die fertigen Nachrichten völlig unterschiedlich aussehen müssen. Die „Kosten“ liegen in der Zufallsfolge, nicht in den Dekodierschlüsseln.

Technische Zusammenfassung: Der informationstheoretische Vorteil gemeinsamer Repräsentationen unter Orthogonalitätsbeschränkungen

Problemstellung
Moderne Deep-Learning-Architekturen, insbesondere Foundation Models, verlassen sich zunehmend auf gemeinsame Repräsentationen, bei denen ein gemeinsamer Backbone Merkmale für mehrere aufgabenspezifische Köpfe extrahiert. Während empirische Belege darauf hindeuten, dass gemeinsames Multi-Task-Learning eine separate Single-Task-Lernleistung übertrifft, ist das rigorose theoretische Verständnis der parametrischen Komplexität von gemeinsamer gegenüber separater Approximation begrenzt. Diese Lücke ist besonders akut, wenn Modelle strukturelle Beschränkungen erfüllen müssen, wie etwa Orthogonalität, die in der wissenschaftlichen maschinellen Lernforschung (z. B. zur Gewährleistung von Erhaltungssätzen oder Äquivarianz) üblich sind. Die zentrale Frage, die hier adressiert wird, ist, ob eine gemeinsame Approximation einer vektorwertigen Funktion $F = (f_1, \dots, f_M)$ eine streng bessere Approximationsrate erzielen kann als $M$ separate Approximationen ihrer Komponenten, selbst wenn die Komponenten gezwungen sind, orthogonal zu sein. Die Autoren untersuchen dies in der Gleichmaßnorm ( $L^\infty$ ), einem Regime, das für wissenschaftliche Anwendungen entscheidend ist, in denen Fehlerschranken an beliebigen räumlichen oder zeitlichen Orten gelten müssen, unabhängig von den Stichprobenmaßen.

Methodik
Die Autoren verwenden einen informationstheoretischen Rahmen basierend auf der endlichen Bit-Diskretisierung (Codec-Theorie), um die Beschreibungslänge zu quantifizieren, die zur Approximation von Funktionsklassen erforderlich ist. Sie konstruieren eine spezifische Klasse orthogonaler, vektorwertiger Funktionen, die darauf ausgelegt ist, die Komplexität des gemeinsamen Merkmals vom aufgabenspezifischen Readout zu isolieren.

Konstruktion der Funktionsklasse:
- Gemeinsames Merkmal: Die zentrale Schwierigkeit ist in eine skalare Rademacher-Haar-Wavelet-Reihe $g$ eingebettet. Die Koeffizienten dieser Reihe bilden einen dyadischen Baum aus unabhängigen Vorzeichen, was ein „schweres“ Ziel für die Gleichmaßapproximation darstellt, da der unaufgelösten Restterm den Großteil der Komplexität trägt.
- Orthogonale Köpfe: Um Orthogonalität zu erzwingen, ohne die gemeinsamen Informationen zu eliminieren, komponieren die Autoren $g$ mit Sägezahn-Walsh-Funktionen. Diese Readouts, $f_i$ , sind nichtlineare Abbildungen, die die Ausgaben dekorellieren (sicherstellen, dass $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$ ), während sie die Approximationsschwierigkeit innerhalb des gemeinsamen Merkmals $g$ bewahren.
- Komposition: Die Zielklasse ist $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$ .
Kodierungsschemata:
- Separate Kodierung: $M$ unabhängige Encoder/Decoder-Paare, die jeweils ein Bit-Budget $n_i$ erhalten, um jede Koordinate $f_i \circ g$ einzeln zu approximieren.
- Gemeinsame Kodierung: Ein einziges Encoder/Decoder-Paar mit einem Gesamt-Bit-Budget $N = M \cdot \min(n_i)$ , das die gesamte Vektorfunktion gleichzeitig approximiert.
Realisierung durch neuronale Netze:
- Um die Lücke zwischen abstrakter Codec-Theorie und neuronalen Netzen zu schließen, konstruieren die Autoren explizite Heaviside-Aktivierungsnetzwerke. Sie nutzen die stückweise konstante Natur trunkierter Haar-Wavelets und Sägezahn-Walsh-Funktionen.
- Die punktweise Multiplikation (erforderlich für die Komposition $f_i \circ g$ ) wird über eine rekursive Dreieckswellen-Approximation (bas-ierend auf Yarotsky, 2017) realisiert, was es dem Netzwerk ermöglicht, das Produkt aus dem Haar-Wavelet-Restterm und den fixierten Readouts zu approximieren.

Wichtigste Ergebnisse
Das Paper etabliert eine scharfe Trennung in den Approximationsraten zwischen gemeinsamer und separater Kodierung für die konstruierte Klasse:

Theoretische Lücke (Theorem 8): Für eine Klasse von $M$ orthogonalen Funktionen, die durch ein gemeinsames Rademacher-Haar-Merkmal generiert werden, ist das Verhältnis der optimalen separaten Approximationsfehlers zum optimalen gemeinsamen Approximationsfehler nach unten beschränkt durch:
$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$
Asymptotisch ergibt dies eine Lücke der Ordnung $M/4$ . Dies zeigt, dass ein separater Codec das gemeinsame „schwere“ Merkmal $M$ -mal kodieren muss (einmal pro Koordinate), während ein gemeinsamer Codec es nur einmal kodiert, ungeachtet der Orthogonalitätsbeschränkung der Ausgaben.
Optimalität der Trunkierung: Die Autoren beweisen, dass das Trunkieren der Rademacher-Haar-Reihe eine optimale endliche-Bit-Diskretisierungsabbildung für diese Klasse ist, wobei sie explizite obere und untere Schranken mit exakten Konstanten liefern. Dies vermeidet die Abhängigkeit von asymptotischen Metrischen-Entropie-Schätzungen.
Realisierung durch neuronale Netze (Korollar 19): Die Trennung wird durch explizite Heaviside-neuronale Netze realisiert. Eine gemeinsame Architektur mit einem geteilten Trunk (der das Haar-Merkmal kodiert) und fixierten Readout-Köpfen erreicht dieselbe Bit-Ökonomie wie der optimale gemeinsame Codec. Umgekehrt leiden $M$ separate Netzwerke mit angepasster Gesamtbeschreibungs-Länge unter der $O(M)$ -Degradation der Approximationsrate.

Bedeutung und Behauptungen
Die Autoren behaupten, die erste rigorose mathematische Behandlung des Vorteils gemeinsamer Repräsentationen aus einer approximationstheoretischen Perspektive geliefert zu haben, insbesondere unter geometrischen Beschränkungen wie Orthogonalität.

Widerlegung von Redundanz-Argumenten: Die Ergebnisse klären, dass der Vorteil des gemeinsamen Lernens nicht bloß ein Artefakt statistischer Mittelung, linearer Redundanz oder Verteilungsannahmen ist. Der Gewinn resultiert strikt aus der Reduktion der Informationskomplexität, indem ein gemeinsames latentes Merkmal einmal statt $M$ -mal kodiert wird.
Kompatibilität mit Orthogonalität: Die Studie zeigt, dass Orthogonalitätsbeschränkungen, die oft als restriktiv angesehen werden, die Effizienz gemeinsamer Repräsentationen nicht verhindern. Indem die Beschränkung in die nichtlinearen Readout-Köpfe verschoben wird, bleibt das gemeinsame Merkmal die einzige Quelle der Approximationsschwierigkeit.
Einblick in Foundation Models: Die Arbeit bietet eine theoretische Rechtfertigung für die „Shared Trunk, Multiple Heads“-Architektur in Foundation Models. Sie legt nahe, dass selbst wenn Ausgaben strikten physikalischen oder geometrischen Beschränkungen (wie Orthogonalität) unterliegen müssen, die teure Merkmalsextraktion über Aufgaben hinweg amortisiert werden kann, sofern die Aufgaben eine gemeinsame latente Struktur teilen.

Das Paper schließt bescheiden mit dem Hinweis, dass dies zwar für die spezifische konstruktive Klasse (Rademacher-Haar mit Sägezahn-Walsh) bewiesen wurde, die Identifizierung, ob dieser Faktor- $M$ -Unterschied für breitere Klassen von neuronalen Netzen, glatteren Merkmalen oder anderen Beschränkungen (z. B. Äquivarianz) bestehen bleibt, ein offenes Problem darstellt.