The Wristband Gaussian Loss: Deterministic, Composable Latents via a Sphere-Interval Decomposition

Technische Samenvatting: De Polsband-Gaussische Verliesfunctie

Probleemstelling
Een centraal doel in representatieleren is het construeren van een deterministische encoder $E: \mathbb{R}^{d_{in}} \to \mathbb{R}^d$ waarvan de output overeenkomt met een vaste Gaussische prior, typisch $\mathcal{N}(0, I_d)$. Een dergelijke Gaussische latente ruimte is wenselijk omdat het coördinatieonafhankelijkheid garandeert, contravoorbeeld-sampling en het wisselen van submodule mogelijk maakt via marginalisatie, en de verdeling met maximale entropie bij een vast tweede moment vertegenwoordigt.

Bestaande benaderingen staan voor aanzienlijke afwegingen:

• Stochastische encoders (VAE's): Injecteren bemonsteringsruis bij elke forward-pass en lijden aan posterior collapse.
• Sfeer-uniformiteitsverliezen: Koppelen coördinaten via de norm, waardoor de onafhankelijkheid van samengevoegde blokken wordt verbroken.
• Diffusie/Stroom-matchen: Vereisen iteratieve inferentie en leveren geen deterministische latente code op in één doorloop.
• Momenten-matchen (bijv. VICReg): Beperken zich tot de eerste twee momenten, waardoor hogere-orde afhankelijkheden of zware staarten niet worden vastgelegd.
• Optimale Transport: Rekenkundig duur ($O(N^3)$) en beter geschikt voor evaluatie dan voor training.

De kern van de technische uitdaging ligt in het definiëren van een deterministische batch-verliesfunctie die beantwoordt of een eindige set van $N$ punt-embeddings lijkt op $N$ i.i.d. trekkingen uit $\mathcal{N}(0, I_d)$, terwijl deze stabiel blijft over dimensies heen en GPU-vriendelijk is ($O(N^2)$ of beter).

Methodologie: De Polsband-decompositie
Het artikel introduceert de Polsband-Gaussische Verliesfunctie, een deterministische batch-verliesfunctie die werkt zonder bemonstering, KL-termen of iteratieve transport. De methode berust op een specifieke geometrische decompositie van de Gaussische verdeling.

1. Sfeer-Interval Decompositie:
   Voor een punt $x \in \mathbb{R}^d \setminus \{0\}$ transformeert de polsband-map $\Phi$ $x$ naar een paar $(u, t)$ op de productruimte $S^{d-1} \times [0, 1]$:

   • Richting: $u = x / \|x\| \in S^{d-1}$.
   • Straal: $t = F_{\chi^2_d}(\|x\|^2)$, waarbij $F_{\chi^2_d}$ de CDF is van de chi-kwadraatverdeling met $d$ vrijheidsgraden.

   Stelling 1 vestigt een biconditionele equivalentie: Voor $d \ge 2$ is de pushforward van een verdeling $Q$ onder $\Phi$ de uniforme productmaat $\sigma_{d-1} \otimes \text{Unif}[0, 1]$ dan en slechts dan als $Q = \mathcal{N}(0, I_d)$. Dit resultaat, machine-geverifieerd in Lean 4, bewijst dat het afdwingen van uniformiteit op deze "polsband"-ruimte noodzakelijk en voldoende is voor Gaussiënisatie, in tegenstelling tot methoden die alleen radiale marginaal matchen.

2. De Verliesfunctie:
   Het doel minimaliseert een gereflecteerde paarsgewijze afstotingsenergie op de polsbandruimte.

   • Kernel: Het verlies gebruikt een kernel $K_W(u, t; u', t') = k_{ang}(u, u') \cdot k_{rad}(t, t')$.
     • Het hoekcomponent $k_{ang}$ is een chordale Gaussische verdeling.
     • Het radiale component $k_{rad}$ is een Neumann-gereflecteerde Gaussische verdeling. Om het begrensde domein $[0, 1]$ te hanteren, omvat de kernel reflecties van punten over de grenzen 0 en 1. De implementatie gebruikt een "drie-beeld" truncatie: het reële punt, zijn reflectie over 0, en zijn reflectie over 1.
   • Stelling 2 bewijst dat de unieke populatieminimizer van deze energie de uniforme verdeling op de polsband is.
   • Finale-Sample Acceleratoren: Om convergentie te verbeteren, bevat het verlies optioneel een 1D Wasserstein radiale term ($L_{rad}$) en een momentenboete ($L_{mom}$), die beide dezelfde optimum delen.
   • Calibratie: De componenten worden gestandaardiseerd tot één statistiek ($L_{wb}$) via Monte-Carlo null-calibratie, zodat het verlies een gemiddelde van 0 en een standaardafwijking van 1 heeft onder de nulhypothese van Gaussiënisatie.

3. Spectrale Snelle Weg:
   De paarsgewijze berekening is $O(N^2 d)$. Voor grote batches leiden de auteurs een spectrale benadering af ($O(NdK)$) door de kernel te ontwikkelen in sferische harmonischen (hoek) en cosinus-modi (radiaal). Deze weg is expliciet een benadering van de paarsgewijze gereflecteerde kernel, met empirisch overeenkomende gradiënten.

4. Deterministische Gaussische Autoencoder (DGAE):
   Het verlies is gekoppeld aan een leerbare-sleutel Euclidische attentie-encoder en een exact omkeerbare stroom (RealNVP). De stroom vormt de intermediaire representatie van de encoder om naar het polsbanddoel, waardoor de encoder taakspecifieke kenmerken kan leren terwijl de stroom de uiteindelijke Gaussiënisatie verzorgt.

Belangrijkste Bijdragen

1. Biconditionele Karakterisering: Een bewijs (machine-geverifieerd) dat uniformiteit op de sfeer-interval productruimte equivalent is aan $\mathcal{N}(0, I_d)$ voor $d \ge 2$.
2. Gereflecteerde-Grens Verliesfunctie: Een principieel paarsgewijze afstotingsverlies met Neumann-reflexie dat uniek minimaliseert bij het uniforme doel, wat correctie biedt voor grenseffecten in de radiale coördinaat.
3. Spectrale Benadering: Een snelle weg die de complexiteit reduceert van $O(N^2 d)$ naar $O(NdK)$ terwijl het gradiëntpariteit behoudt met de paarsgewijze referentie.
4. Empirische Validatie: Aangetoond superioriteit ten opzichte van op momenten gebaseerde en alleen-radiale methoden op synthetische benchmarks en een afhankelijke-factor context/residu-construktie voor MNIST.

Experimentele Resultaten
Het artikel evalueert de methode op vier fronten:

• X-Distributie Benchmark: Een synthetische verdeling met identiteitscovariantie maar niet-elliptische symmetrie (kruisende lijnsegmenten). Waar op momenten gebaseerde methoden (VCReg) en radiale methoden (Radial-VCReg) falen om de gezamenlijke verdeling volledig te Gaussiëren, bereikt Polsband de beste scores (laagste barycentrische $W_2$ z-scores) in 2D en 10D.
• Radiaal-Hoek Copula Impostor: Een moeilijkere benchmark waarbij radiale en hoek-marginaal correct zijn, maar hun afhankelijkheid (copula) verkeerd is. Polsband bereikt de beste scores in 10D en 128D, en presteert beter dan MMD en Gesneden Wasserstein, die falen om de afhankelijkheidsstructuur te detecteren.
• 15-D Niet-Gaussische Mengsel: Een DGAE getraind op een 15D anisotroop mengsel bereikt een reconstructie-MSE van 0,241, waarbij het polsbandverlies tijdens training significant daalt, wat wijst op succesvolle Gaussiënisatie van de latente ruimte.
• MNIST Conditionele Sampling: Het kader implementeert succesvol een context/residu-construktie. Gegeven de onderste helft van een afbeelding, genereert het model meerdere plausibele bovenkanten door te bemonsteren uit het Gaussische residublok, wat de capaciteit valideert om afhankelijke factoren deterministisch te hanteren.

Betekenis en Claims
Het artikel claimt dat de Polsband-Gaussische Verliesfunctie een deterministisch, single-pass, GPU-vriendelijk mechanisme biedt om exacte Gaussiënisatie af te dwingen op willekeurige verdelingen (met uitzondering van de oorsprong). De primaire betekenis ligt in de verschuiving van noodzakelijke voorwaarden (het matchen van momenten of radiale marginaal) naar een noodzakelijke en voldoende voorwaarde via de sfeer-interval decompositie.

De auteurs benadrukken dat dit mogelijk maakt:

• Contravoorbeeld Sampling: Onafhankelijke factoren kunnen worden gewisseld of opnieuw gebemonsterd zonder hertraining.
• Context/Residu Constructie: Een principiële manier om deterministische context te scheiden van stochastische residuen in afhankelijke settings.
• Efficiëntie: De spectrale weg maakt schaling naar grote batches mogelijk zonder de kubische kosten van optimale transport.

Het artikel blijft bescheiden wat betreft beperkingen: de spectrale weg is een benadering; de map is ongedefinieerd bij $x=0$; en exacte blokonafhankelijkheid vereist onafhankelijke onderliggende informatie (afgehandeld via de context/residu-construktie voor afhankelijke factoren). Het werk wordt gepresenteerd als een methodologische vooruitgang voor representatieleren in plaats van een state-of-the-art generatief model voor hoogwaardige beeldsynthese.