The Wristband Gaussian Loss: Deterministic, Composable Latents via a Sphere-Interval Decomposition

Resumo Técnico: A Perda Gaussiana de Pulseira

Declaração do Problema
Um objetivo central na aprendizagem de representações é construir um codificador determinístico $E: \mathbb{R}^{d_{in}} \to \mathbb{R}^d$ cuja saída corresponda a uma priori Gaussiana fixa, tipicamente $\mathcal{N}(0, I_d)$. Tal espaço latente Gaussiano é desejável porque garante independência de coordenadas, permite amostragem contrafactual e troca de submódulos via marginalização, e representa a distribuição de máxima entropia em um segundo momento fixo.

Abordagens existentes enfrentam compromissos significativos:

• Codificadores estocásticos (VAEs): Injetam ruído de amostragem em cada passagem direta e sofrem com o colapso do posterior.
• Perdas de uniformidade esférica: Acoplam coordenadas através da norma, quebrando a independência de blocos concatenados.
• Difusão/Casamento de Fluxo: Requerem inferência iterativa e não produzem um código latente determinístico em uma única passagem.
• Correspondência de momentos (ex.: VICReg): Apenas restringem os dois primeiros momentos, falhando em capturar dependências de ordem superior ou caudas pesadas.
• Transporte Ótimo: Computacionalmente caro ($O(N^3)$) e mais adequado para avaliação do que para treinamento.

O desafio técnico central é definir uma perda de lote determinística que responda se um conjunto finito de $N$ incorporações de pontos se assemelha a $N$ extrações i.i.d. de $\mathcal{N}(0, I_d)$, sendo ao mesmo tempo estável através de dimensões e amigável a GPU ($O(N^2)$ ou melhor).

Metodologia: A Decomposição de Pulseira
O artigo introduz a Perda Gaussiana de Pulseira, uma perda de lote determinística que opera sem amostragem, termos KL ou transporte iterativo. O método baseia-se em uma decomposição geométrica específica da distribuição Gaussiana.

1. Decomposição Esfera–Intervalo:
   Para um ponto $x \in \mathbb{R}^{d} \setminus \{0\}$, o mapeamento de pulseira $\Phi$ transforma $x$ em um par $(u, t)$ no espaço produto $S^{d-1} \times [0, 1]$:

   • Direção: $u = x / \|x\| \in S^{d-1}$.
   • Raio: $t = F_{\chi^2_d}(\|x\|^2)$, onde $F_{\chi^2_d}$ é a função de distribuição acumulada (CDF) da distribuição qui-quadrado com $d$ graus de liberdade.

   Teorema 1 estabelece uma equivalência bicondicional: Para $d \ge 2$, o empuxo (pushforward) de uma distribuição $Q$ sob $\Phi$ é a medida produto uniforme $\sigma_{d-1} \otimes \text{Unif}[0, 1]$ se e somente se $Q = \mathcal{N}(0, I_d)$. Este resultado, verificado por máquina em Lean 4, prova que impor uniformidade neste espaço de "pulseira" é necessário e suficiente para a Gaussianidade, ao contrário de métodos que apenas correspondem marginais radiais.

2. A Função de Perda:
   O objetivo minimiza uma energia de repulsão par refletida no espaço de pulseira.

   • Núcleo: A perda utiliza um núcleo $K_W(u, t; u', t') = k_{ang}(u, u') \cdot k_{rad}(t, t')$.
     • O componente angular $k_{ang}$ é uma Gaussiana cordal.
     • O componente radial $k_{rad}$ é uma Gaussiana Neumann-refletida. Para lidar com o domínio limitado $[0, 1]$, o núcleo inclui reflexões de pontos através das fronteiras 0 e 1. A implementação usa uma truncagem de "três imagens": o ponto real, sua reflexão através de 0 e sua reflexão através de 1.
   • Teorema 2 prova que o minimizador populacional único desta energia é a distribuição uniforme no espaço de pulseira.
   • Aceleradores de Amostra Finita: Para melhorar a convergência, a perda inclui opcionalmente um termo radial de Wasserstein 1D ($L_{rad}$) e uma penalidade de momento ($L_{mom}$), ambos compartilhando o mesmo ótimo.
   • Calibração: Os componentes são padronizados em uma única estatística ($L_{wb}$) via calibração nula Monte-Carlo, garantindo que a perda tenha uma média de 0 e um desvio padrão de 1 sob a hipótese nula de Gaussianidade.

3. Caminho Rápido Espectral:
   O cálculo par a par é $O(N^2 d)$. Para lotes grandes, os autores derivam uma aproximação espectral ($O(NdK)$) expandindo o núcleo em harmônicos esféricos (angular) e modos cosseno (radial). Este caminho é explicitamente uma aproximação do núcleo refletido par a par, com gradientes empiricamente correspondentes.

4. Autoencoder Gaussiano Determinístico (DGAE):
   A perda é acoplada a um codificador de atenção Euclidiana com chave aprendível e um fluxo invertível exato (RealNVP). O fluxo molda a representação intermediária do codificador para o alvo de pulseira, permitindo que o codificador aprenda características específicas da tarefa enquanto o fluxo trata a Gaussianização final.

Contribuições Principais

1. Caracterização Bicondicional: Uma prova (verificada por máquina) de que a uniformidade no espaço produto esfera-intervalo é equivalente a $\mathcal{N}(0, I_d)$ para $d \ge 2$.
2. Perda de Fronteira Refletida: Uma perda de repulsão par fundamentada com reflexão Neumann que minimiza unicamente no alvo uniforme, corrigindo efeitos de fronteira na coordenada radial.
3. Aproximação Espectral: Um caminho rápido reduzindo a complexidade de $O(N^2 d)$ para $O(NdK)$ enquanto mantém a paridade de gradientes com a referência par a par.
4. Validação Empírica: Superioridade demonstrada sobre métodos baseados em momentos e apenas radiais em benchmarks sintéticos e uma construção de contexto/resíduo de fator dependente para MNIST.

Resultados Experimentais
O artigo avalia o método em quatro frentes:

• Benchmark X-Distribution: Uma distribuição sintética com covariância identidade, mas simetria não elíptica (segmentos de linha cruzados). Enquanto métodos baseados em momentos (VCReg) e métodos radiais (Radial-VCReg) falham em Gaussianizar completamente a distribuição conjunta, a Pulseira alcança as melhores pontuações (menores escores z bariocêntricos $W_2$) em 2D e 10D.
• Impostor de Cópula Radial–Angular: Um benchmark mais difícil onde as marginais radial e angular estão corretas, mas sua dependência (cópula) está errada. A Pulseira alcança as melhores pontuações em 10D e 128D, superando MMD e Wasserstein Fatia, que falham em detectar a estrutura de dependência.
• Mistura Não-Gaussiana 15-D: Um DGAE treinado em uma mistura anisotrópica 15D alcança um MSE de reconstrução de 0,241, com a perda de pulseira caindo significativamente durante o treinamento, indicando Gaussianização bem-sucedida do espaço latente.
• Amostragem Condicional MNIST: O framework implementa com sucesso uma construção de contexto/resíduo. Dada a metade inferior de uma imagem, o modelo gera múltiplas metades superiores plausíveis amostrando do bloco residual Gaussiano, validando a capacidade de lidar com fatores dependentes de forma determinística.

Significado e Alegações
O artigo alega que a Perda Gaussiana de Pulseira fornece um mecanismo determinístico, de passagem única e amigável a GPU para impor Gaussianidade exata em distribuições arbitrárias (excluindo a origem). Seu significado principal reside em avançar de condições necessárias (correspondência de momentos ou marginais radiais) para uma condição necessária e suficiente via decomposição esfera-intervalo.

Os autores enfatizam que isso permite:

• Amostragem Contrafactual: Fatores independentes podem ser trocados ou reamostrados sem retreinamento.
• Construção de Contexto/Resíduo: Uma maneira fundamentada de separar contexto determinístico de resíduos estocásticos em configurações dependentes.
• Eficiência: O caminho espectral permite escalabilidade para lotes grandes sem o custo cúbico do transporte ótimo.

O artigo permanece modesto quanto às limitações: o caminho espectral é uma aproximação; o mapeamento é indefinido em $x=0$; e a independência de bloco exata requer informações subjacentes independentes (tratadas via construção de contexto/resíduo para fatores dependentes). O trabalho é apresentado como um avanço metodológico para aprendizagem de representações, em vez de um modelo generativo de última geração para síntese de imagens de alta fidelidade.