The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

Technische Samenvatting: Het Informatietheoretisch Voordeel van Gedeelde Representaties onder Orthogonaliteitsrestricties

Probleemstelling
Moderne diepe leerarchitecturen, met name fundamentele modellen, vertrouwen steeds vaker op gedeelde representaties waarbij een enkele backbone kenmerken extraheert voor meerdere taakspecifieke koppen (heads). Hoewel empirisch bewijs suggereert dat gezamenlijk multi-task leren beter presteert dan afzonderlijk single-task leren, blijft het rigoureuze theoretische begrip van de parametrische complexiteit van gezamenlijke versus afzonderlijke benadering beperkt. Deze kloof is bijzonder acuut wanneer modellen aan structurele restricties moeten voldoen, zoals orthogonaliteit, wat gebruikelijk is in wetenschappelijk machine learning (bijv. het waarborgen van behoudswetten of equivariantie). De centrale vraag die wordt behandeld, is of een gezamenlijke benadering van een vectorwaardige functie $F = (f_1, \dots, f_M)$ een strikt betere benaderingssnelheid kan bereiken dan $M$ afzonderlijke benaderingen van de componenten ervan, zelfs wanneer de componenten beperkt zijn tot orthogonaliteit. De auteurs onderzoeken dit in de uniforme norm ($L^\infty$), een regime dat cruciaal is voor wetenschappelijke toepassingen waar foutengaranties moeten gelden voor willekeurige ruimtelijke of temporele locaties, onafhankelijk van steekproefmetingen.

Methodologie
De auteurs maken gebruik van een informatietheoretisch kader gebaseerd op eindige-bit discretisatie (codec-theorie) om de beschrijvingslengte te kwantificeren die vereist is voor het benaderen van functieklassen. Zij construeren een specifieke klasse van orthogonale, vectorwaardige functies die ontworpen is om de complexiteit van de gedeelde feature te isoleren van de taakspecifieke readouts.

1. Constructie van de Functieklasse:

   • Gedeelde Feature: De kern van de moeilijkheid is ingebed in een scalaire Rademacher-Haar wavelet-reeks $g$. De coëfficiënten van deze reeks vormen een dyadische boom van onafhankelijke tekens, wat een "moeilijk" doelwit creëert voor uniforme benadering waarbij de onopgeloste staart het grootste deel van de complexiteit draagt.
   • Orthogonale Koppen: Om orthogonaliteit af te dwingen zonder de gedeelde informatie te elimineren, componeren de auteurs $g$ met Sawtooth-Walsh functies. Deze readouts, $f_i$, zijn niet-lineaire afbeeldingen die de outputs decorreleren (waarbij $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$ wordt gewaarborgd) terwijl de benaderingsmoeilijkheid binnen de gedeelde feature $g$ behouden blijft.
   • Compositie: De doelklasse is $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$.

2. Coderingstechnieken:

   • Afzonderlijke Codering: $M$ onafhankelijke encoder/decoder paren, elk toegewezen een bitbudget $n_i$, die elke coördinaat $f_i \circ g$ afzonderlijk benaderen.
   • Gezamenlijke Codering: Een enkel encoder/decoder paar met een totaal bitbudget $N = M \cdot \min(n_i)$ dat de gehele vectorfunctie simultaan benadert.

3. Neurale Netwerk Realisatie:

   • Om de kloof tussen abstracte codec-theorie en neurale netwerken te overbruggen, construeren de auteurs expliciete Heaviside activatie-netwerken. Zij maken gebruik van het stuksgewijs constante karakter van afgekorte Haar wavelets en Sawtooth-Walsh functies.
   • Punktuele vermenigvuldiging (vereist voor de compositie $f_i \circ g$) wordt gerealiseerd via een recursieve driehoeksgolf-benadering (gebaseerd op Yarotsky, 2017), waardoor het netwerk het product van de gedeelde feature-staart en de vaste readouts kan benaderen.

Belangrijkste Resultaten
Het artikel stelt een scherpe scheiding vast in de benaderingssnelheden tussen gezamenlijke en afzonderlijke codering voor de geconstrueerde klasse:

• Theoretische Kloof (Theorem 8): Voor een klasse van $M$ orthogonale functies gegenereerd door een gedeelde Rademacher-Haar feature, is de ratio van de optimale afzonderlijke benaderingsfout tot de optimale gezamenlijke benaderingsfout begrensd door:
  $$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$$
  Asymptotisch levert dit een kloof op van de orde $M/4$. Dit demonstreert dat een afzonderlijke codec de gedeelde "moeilijke" feature $M$ keer moet coderen (één keer per coördinaat), terwijl een gezamenlijke codec deze slechts één keer codeert, ongeacht de orthogonaliteitsrestrictie op de outputs.

• Optimaliteit van Afkorting: De auteurs bewijzen dat het afkorten van de Rademacher-Haar reeks een optimale eindige-bit discretisatiemap is voor deze klasse, waarbij expliciete boven- en ondergrenzen met exacte constanten worden geleverd. Dit vermijdt de afhankelijkheid van asymptotische metrische entropie-schattingen.

• Neurale Netwerk Realisatie (Corollary 19): De scheiding wordt gerealiseerd door expliciete Heaviside neurale netwerken. Een gezamenlijke architectuur met een gedeelde trunk (die de Haar feature codeert) en vaste readout heads bereikt dezelfde bit-economie als de optimale gezamenlijke codec. Omgekeerd lijden $M$ afzonderlijke netwerken met een overeenkomstige totale beschrijvingslengte de $O(M)$ degradatie in benaderingssnelheid.

Betekenis en Claims
De auteurs beweren de eerste rigoureuze wiskundige behandeling te bieden van het voordeel van gedeelde representaties vanuit een benaderingstheoretisch perspectief, specifiek onder geometrische restricties zoals orthogonaliteit.

• Weerlegging van Redundantie-argumenten: De resultaten verduidelijken dat het voordeel van gezamenlijk leren niet louter een artefact is van statistische middeling, lineaire redundantie of distributionele aannames. In plaats daarvan komt de winst strikt voort uit de reductie in informatiecomplexiteit die wordt bereikt door een gedeelde latente feature één keer te coderen in plaats van $M$ keer.
• Compatibiliteit met Orthogonaliteit: De studie toont aan dat orthogonaliteitsrestricties, die vaak als beperkend worden beschouwd, de efficiëntie van gedeelde representaties niet in de weg staan. Door de restrictie naar de niet-lineaire readout heads te verplaatsen, blijft de gedeelde feature de enige bron van benaderingsmoeilijkheid.
• Inzicht in Foundation Models: Dit werk biedt een theoretische rechtvaardiging voor de "gedeelde trunk, meerdere koppen" architectuur in foundationally modellen. Het suggereert dat zelfs wanneer outputs aan strikte fysieke of geometrische restricties moeten voldoen (zoals orthogonaliteit), de dure feature-extractie kan worden geamortiseerd over taken, mits de taken een gedeelde latente structuur delen.

Het artikel sluit bescheiden af door op te merken dat hoewel het mechanisme bewezen is voor deze specifieke constructieve klasse (Rademacher-Haar met Sawtooth-Walsh), het identificeren of deze factor-$M$ scheiding standhoudt voor bredere klassen van neurale netwerken, gladdere features of andere restricties (bijv. equivariantie) een openstaand probleem blijft.