Resumo Técnico: HALFNET: REDES NEURAIS RANDOMIZADAS COM GEOMETRIA DE SUBSPAÇO APRENDIDA

1. Declaração do Problema

O treinamento de redes neurais tradicionais envolve a otimização de cada parâmetro de peso individualmente, o que pode ser computacionalmente caro e pesado em termos de parâmetros. Por outro lado, redes neurais randomizadas (ex: Máquinas de Aprendizado Extremo) fixam os pesos em valores extraídos de uma distribuição padrão (ex: $N(0, I)$), simplificando a otimização, mas muitas vezes sacrificando o poder preditivo porque a geometria aleatória pode não se alinhar com a estrutura dos dados.

O problema central abordado é como reter a simplicidade das redes randomizadas enquanto se captura a estrutura dependente dos dados necessária para alta precisão. Especificamente, o artigo investiga se a geometria da distribuição de pesos (a estrutura de covariância) é mais crítica para o desempenho preditivo do que os valores precisos de pesos individuais, e se essa geometria pode ser aprendida de forma eficiente.

2. Metodologia: HalfNet

O framework proposto HalfNet introduz uma parametrização estocástica onde os pesos não são fixos a uma distribuição padrão nem aprendidos individualmente, mas sim amostrados de uma distribuição aprendida $N(0, \Sigma)$.

2.1. Formulação do Modelo

Para uma unidade oculta $h$ com entrada $x$, a ativação é definida como:
$$y_h = g(u_h(r_h^\top x) + u_{h0})$$
onde $g$ é a função de ativação (ex: ReLU), e $u_h, u_{h0}$ são parâmetros de escala e translação aprendidos específicos para a unidade.

O vetor de projeção aleatória $r_h$ é gerado via uma fatoração de baixo posto:
$$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$$
onde:

• $z_h \sim N_k(0, I)$ e $\epsilon_h \sim N_d(0, I)$ são vetores aleatórios amostrados uma única vez e fixos.
• $B \in \mathbb{R}^{d \times k}$ (com $k < d$) e $\sigma \in \mathbb{R}^d$ são parâmetros aprendidos compartilhados entre todas as unidades na camada.
• A distribuição resultante é $r_h \sim N_d(0, \Sigma)$, onde $\Sigma = BB^\top + \text{diag}(\sigma^2)$.

Esta abordagem desacopla a aleatoriedade (os vetores $z_h, \epsilon_h$) da geometria (a matriz $B$ e a escala $\sigma$). O posto $k$ atua como um hiperparâmetro que controla a complexidade do modelo, interpolando entre unidades totalmente aleatórias ($k \to 0$) e redes totalmente treináveis.

2.2. Extensões

O framework é estendido para:

• Pesos Binários: Ao aplicar uma função de sinal à geração dos vetores, o HalfNet pode produzir pesos binários ($\pm 1$). A operação de sinal preserva as relações angulares definidas pela covariância aprendida $\Sigma$, permitindo que o modelo aprenda dependências mesmo no regime binário.
• Camadas Convolucionais: Filtros são gerados usando a mesma fatoração de baixo posto, assumindo uma estrutura de covariância compartilhada entre os filtros dentro de uma camada.
• Arquiteturas de Múltiplas Camadas: Múltiplas camadas HalfNet podem ser empilhadas, com parâmetros aprendidos separados para cada camada.

3. Principais Contribuições

1. Aprendizado da Estrutura de Covariância: O HalfNet aprende a estrutura de covariância das projeções aleatórias em vez de pesos individuais, realizando efetivamente um embedding aleatório dependente dos dados.
2. Escalonamento Suave com o Posto: O artigo demonstra que a precisão escala suavemente com o posto $k$ do fator de covariância, sugerindo que grande parte do poder preditivo em camadas treinadas reside em estruturas geométricas de baixa dimensão.
3. Versatilidade: O framework mostra-se aplicável a camadas totalmente conectadas, front-ends convolucionais e redes de pesos binários.
4. Interpretações Teóricas: O método admite três interpretações complementares:
   • Projeção Aleatória: Aprendizado de um embedding linear $x' = B^\top x$ seguido de projeções aleatórias fixas.
   • Aprendizado de Métrica: Aprendizado de uma métrica de Mahalanobis onde $B$ determina quais direções de entrada são enfatizadas.
   • Métodos de Kernel: O aprendizado da distribuição dos vetores de projeção aprende implicitamente a função kernel.

4. Resultados Experimentais

4.1. Experimentos MNIST

• Camada Oculta Única (784–64–10): Variantes do HalfNet com $\sigma$ aprendido e $B$ de baixo posto superam significativamente redes puramente aleatórias. Com posto $k=4$, o HalfNet iguala a precisão de um Perceptron Linear (LP) com quase metade dos parâmetros. Com $k=16$, ele iguala um MLP totalmente treinado com contagens de parâmetros comparáveis.
• Análise Espectral: A Decomposição em Valores Singulares (SVD) dos pesos de um MLP totalmente treinado revela que 60% da energia espectral reside nas 9 direções principais e 80% nas 17 principais. Isso confirma que os pesos treinados residem em um subespaço de baixa dimensão, o qual o HalfNet parametriza explicitamente.
• Front-end Convolucional: Adicionar uma camada convolcional (16 filtros) melhora todos os modelos. O HalfNet beneficia-se significativamente, alcançando alta precisão mesmo com baixos postos ($k=1$), pois a complexidade depende do posto efetivo em vez do aumento do fan-in.
• Duas Camadas Ocultas: Empilhar camadas HalfNet (784–64–64–10) mantém a tendência de melhoria da precisão com o aumento do posto, provando a escalabilidade do método em redes profundas.
• Pesos Binários: Embora a binarização em postos muito baixos ($k=2$) cause quedas de precisão devido ao colapso da diversidade de características, $k \ge 4$ produz resultados fortes. Em $k=16$, o HalfNet binário atinge 94,87% de precisão, próximo aos 95,30% de sua contraparte contínua.

4.2. Experimentos CIFAR-10

• Arquitetura: Uma rede simples com uma camada convolucional única (32 filtros) seguida por uma grande camada totalmente conectada (256 unidades). A camada FC contém >99% dos parâmetros.
• Desempenho: A configuração "Full–Half" (Conv treinável, HalfNet FC) iguala o baseline "Full–Full" totalmente treinado com aproximadamente 8x menos parâmetros no posto $k_f=32$. Em $k_f=48$, supera ligeiramente o desempenho do baseline.
• Convolucional HalfNet: Aplicar o HalfNet à camada convolucional ("Half–Half") inicialmente diminuiu o desempenho e retardou o treinamento, sugerindo que a suposição de baixo posto pode ser muito restritiva para camadas que já possuem fortes restrições estruturais (localidade, compartilhamento de pesos).

5. Significância e Alegações

O artigo afirma que o HalfNet demonstra que aprender a geometria das distribuições de projeção pode capturar a maior parte do poder preditivo de camadas neurais totalmente treinadas, utilizando substancialmente menos parâmetros.

Os pontos principais enfatizados pelos autores incluem:

• Geometria sobre Valores: O poder preditivo das redes neurais reside mais na geometria do espaço de pesos (estrutura de covariância) do que nos valores precisos de parâmetros individuais.
• Eficiência: O HalfNet oferece um trade-off suave entre características aleatórias fixas e redes totalmente treináveis, permitendo que praticantes ajustem a capacidade do modelo via o parâmetro de posto $k$.
• Distinção de Fatoração de Baixo Posto: Diferente de métodos determinísticos de baixo posto (ex: $W=UV$ onde ambos são aprendidos), o HalfNet aprende a distribuição da qual os pesos são amostrados, mantendo os vetores de projeção estocásticos. Isso conecta o método a características aleatórias e aprendizado de kernel.
• Limitações: Os benefícios são mais pronunciados em configurações de alto fan-in com fortes correlações de dados (ex: camadas totalmente conectadas em dados de imagem). O artigo observa que os ganhos de desempenho podem ser reduzidos em configurações com correlações mais fracas, e que avaliações adicionais em conjuntos de dados diversos são necessárias.

O trabalho posiciona o HalfNet não apenas como um truque arquitetural para compressão, mas como uma mudança fundamental em direção ao aprendizado da métrica subjacente e da estrutura de kernel dos dados através de embeddings randomizados.