Resumo Técnico: S-GAI – Inicialização Espectral com Consciência de Geometria para MLPs Sigmoidais

1. Definição do Problema

Os Teoremas de Aproximação Universal (UAT) clássicos estabelecem que perceptrons multicamadas (MLPs) sigmoidais possuem o poder expressivo para aproximar qualquer função contínua em um domínio compacto. No entanto, esses teoremas são existenciais; eles não prescrevem como os pesos iniciais devem codificar a estrutura geométrica específica de uma distribuição de dados. Métodos de inicialização padrão, como Xavier/Glorot, são projetados para estabilizar a propagação do sinal e as escalas de gradiente, mas permanecem "cegos" à geometria específica das classes antes do treinamento.

O problema central abordado é se os pesos iniciais podem ser construídos para codificar explicitamente as regiões estruturadas do espaço ocupadas por diferentes classes de dados (por exemplo, formas de dígitos no MNIST ou categorias de vestuário no Fashion-MNIST) antes de qualquer otimização baseada em gradiente ocorrer.

2. Metodologia: S-GAI

O framework proposto S-GAI (Spectral Geometry-Aware Initialization) faz a ponte entre a geometria construtiva teórica e a instanciação baseada em dados de alta dimensão. O método procede em três estágios:

A. Motivação Geométrica (De Somas Finitas para Portões)

Baseando-se no trabalho construtivo anterior (Chu e Kuo [2]), os autores estabelecem que redes sigmoidais podem ser vistas como agregações de portões de meio-espaço suaves (smooth half-space gates).

• Portão de Meio-Espaço: Um portão unitário $g_{a,c,\kappa}(x) = \sigma(\kappa(c - a^\top x))$ atua como um indicador suave para o meio-espaço $a^\top x \leq c$.
• Construção de Polítopos: Ao somar esses portões, é possível construir classificadores para polítopos (interseções de meio-espaços) e coberturas finitas (uniões de polítopos).
• Mudança para Dados Reais: Enquanto o trabalho anterior assumia coberturas planas especificadas manualmente, o S-GAI estima essas fronteiras geométricas diretamente a partir de dados de imagem.

B. Estimativa da Geometria Espectral da Classe

Para cada classe $k$ no conjunto de dados:

1. Média e Centralização: Calcula-se a média da classe $\mu_k$ e centralizam-se as amostras $x_i - \mu_k$.
2. SVD/PCA: Realiza-se a Decomposição de Valores Singulares (SVD) na matriz de dados centralizada $X_k = U_k S_k V_k^\top$.
3. Limiar de Energia: Seleciona-se um posto retido $m_k(\tau)$ baseado em um limiar de energia $\tau \in (0,1)$, de modo que a variância cumulativa dos primeiros $m_k$ vetores singulares exceda $\tau$.
4. Referência de Mahalanobis via SVD: Um classificador de subespaço não neural é formulado usando as direções retidas $V_{k, m_k}$ e escalas empíricas. Este classificador inclui um termo de distância de Mahalanobis truncado e um termo de penalidade para a energia residual fora do subespaço retido. Isso serve como uma referência geométrica para validar se a geometria espectral é inerentemente discriminativa antes de sua incorporação em um MLP.

C. Compilação da Geometria em Lâminas Sigmoidais (Sigmoid Slabs)

A geometria espectral estimada é compilada nos pesos de um MLP sigmoidal de uma camada oculta:

• Coordenadas Normalizadas: Para cada direção retida $v_{k,i}$, uma coordenada normalizada é definida: $z_{k,i}(x) = \frac{v_{k,i}^\top(x - \mu_k)}{\hat{\sigma}_{k,i}}$.
• Portões de Lâmina (Slab Gates): Uma restrição de "lâmina" $[-\rho, \rho]$ é modelada para cada direção usando dois portões sigmoidais:
  • $h^+_{k,i}(x) = \sigma(\beta(\rho - z_{k,i}(x)))$
  • $h^-_{k,i}(x) = \sigma(\beta(\rho + z_{k,i}(x)))$
    Estes portões ativam quando a amostra está dentro da lâmina ao longo da direção principal.
• Inicialização de Pesos: Os pesos e vieses para a camada oculta são explicitamente definidos para implementar esses portões. Cada direção retida contribui com dois neurônios ocultos.
• Agregação de Saída: A camada de saída inicialmente agrega os portões pertencentes a cada classe, formando uma estrutura de grupo específica por classe.

A largura total da camada oculta é $H = 2 \sum_k m_k(\tau)$, controlada pelo limiar de energia $\tau$.

3. Principais Contribuições

1. Ponte Teórica: Fornece uma conexão concisa da soma finita da UAT para portões sigmoidais baseados em meio-espaço suave e cobertas, estendendo construções planas para dados de alta dimensão.
2. Referência Geométrica: Introduz um classificador de subespaço baseado em SVD como uma referência não neural. Isso valida se a geometria espectral por classe é discriminativa e guia a seleção do limiar de energia $\tau$.
3. Inicialização S-GAI: Propõe um inicializador baseado em dados onde os neurônios ocultos não são aleatórios, mas derivados explicitamente das direções SVD por classe. A camada oculta é particionada em grupos específicos por classe, com dois neurônios por direção espectral retida.
4. Validação Empírica: Demonstra que o S-GAI cria um estado inicial substancialmente mais informativo do que a inicialização Xavier, particularmente sob protocolos de "camada oculta congelada".

4. Resultados Experimentais

Experimentos foram conduzidos em MNIST, Fashion-MNIST e CIFAR-10 usando MLPs sigmoidais de uma camada oculta treinados com Adam por 20 épocas. Comparações foram feitas contra baselines Xavier correspondentes (mesma arquitetura e largura).

• Desempenho em Época Zero: Modelos inicializados com S-GAI começam com precisão significativamente maior do que os modelos inicializados com Xavier.
  • MNIST ($\tau=0.95$): S-GAI começa com 87,41% vs. ~10% do Xavier.
  • Fashion-MNIST ($\tau=0.95$): S-GAI começa com 71,32% vs. ~10% do Xavier.
  • CIFAR-10 ($\tau=0.90$): S-GAI começa com 20,32% vs. ~9,97% do Xavier.
• Protocolo de Camada Oculta Congelada: Quando a camada oculta é congelada e apenas a camada de saída é treinada, o S-GAI mantém uma forte vantagem, provando que os portões ocultos são características úteis.
  • MNIST: S-GAI (congelado) atinge 96,73% vs. Xavier (congelado) com 89,31%.
  • Fashion-MNIST: S-GAI (congelado) atinge 86,36% vs. Xavier (congelado) com 80,52%.
  • CIFAR-10: S-GAI (congelado) atinge 44,36% vs. Xavier (congelado) com 36,53%.
• Treinamento Completo: Sob treinamento total (todos os pesos atualizados), modelos S-GAI e Xavier atingem precisões finais comparáveis (ex: ~98% em MNIST, ~52% em CIFAR-10). Isso indica que o S-GAI não aumenta a capacidade do modelo, mas sim desloca o ponto de partida da otimização para uma região mais estruturada do espaço de perda.

5. Significância e Alegações

O artigo afirma que a geometria empírica das classes pode ser injetada em um MLP sigmoidal antes do treinamento baseado em gradiente. A significância reside em demonstrar que a inicialização não precisa ser cega à estrutura dos dados.

• Qualidade da Representação: A principal contribuição não é um classificador de maior capacidade, mas uma representação inicial melhor. Os portões de lâmina do S-GAI codificam efetivamente a geometria espectral dependente da classe (médias, direções dominantes e escalas).
• Dinâmica de Treinamento: Ao partir de um estado estruturado, a rede transfere parte do fardo do treinamento de "descobrir fronteiras de decisão do zero" para "calibrar e refinar" uma representação já estruturada.
• Limitações e Escopo: Os autores observam modestamente que o método depende de SVD linear por classe e não modela variedades (manifolds) não lineares dentro das classes. A eficácia é maior em conjuntos de dados com estrutura espectral clara (MNIST, Fashion-MNIST) e menor em CIFAR-10, onde a identidade da classe depende mais de textura local e características de alto nível. Os autores sugerem que trabalhos futuros estendam este princípio para espaços de características aprendidos e arquiteturas com vieses indutivos mais fortes (ex: CNNs, Vision Transformers).