Resumo Técnico: Espaços de Variação de Redes Neurais Profundas

Definição do Problema

A compreensão teórica da profundidade em redes neurais profundas permanece incompleta. Embora evidências empíricas sugiram que a profundidade aumenta a capacidade de representação, os quadros teóricos existentes baseiam-se amplamente em medidas de complexidade baseadas em parâmetros (ex: largura, contagem total de parâmetros ou soma dos quadrados dos pesos). Essas medidas frequentemente falham em capturar a complexidade efetiva dos preditores aprendidos, particularmente em regimes superparametrizados onde o número de parâmetros excede o tamanho dos dados. Além disso, as teorias de espaço de funções existentes para redes profundas são fragmentadas, muitas vezes especializadas em ativações homogêneas (como ReLU), e utilizam noções díspares de complexidade que são difíceis de comparar. Uma perspectiva unificada é necessária para distinguir entre a complexidade funcional decorrente da composição repetida de não-linearidades versus a complexidade decorrente meramente de o reescalonamento linear composto entre camadas.

Metodologia

Os autores desenvolvem uma teoria unificada de espaço de funções para redes neurais totalmente conectadas profundas, denominada Espaços de Variação de Redes Neurais Profundas ($V_L$). A metodologia central envolve as seguintes etapas:

1. Funções de Ativação Normalizadas: Para lidar uniformemente com funções de ativação homogêneas (ex: ReLU) e não-homogêneas (ex: GELU, SiLU), os autores introduzem uma família de funções de ativação normalizadas $\sigma_s(t) = \sigma(st)/s$ (ou $\sigma(st)/s^m$ para funções homogêneas de grau-$m$). Isso separa a "forma" da característica de seu "tamanho", garantindo que características com diferentes escalas incorram em um custo de norma proporcional à sua constante de Lipschitz.
2. Construção Recursiva: Os espaços de funções são definidos recursivamente. A camada base $B_1$ consiste em um dicionário de funções afins. As camadas subsequentes $B_L$ são definidas como o casco absolutamente convexo das composições $\sigma_s \circ f$, onde $f \in B_{L-1}$.
3. Normas Variacionais: O espaço $V_L$ é equipado com uma norma atômica (ou de gauge) $\|f\|_{V_L}$, definida como o ínfimo de $c > 0$ tal que $f \in cB_L$. Esta norma mede o "custo" de representar uma função como uma combinação convexa de funções ativadas da camada anterior.
4. Representações Integrais: Os autores estabelecem que funções em $V_L$ admitem representações integrais em relação a medidas finitas sobre o espaço de funções da camada anterior e parâmetros de escala. Isso conecta os espaços profundos aos espaços de Barron generalizados e espaços de árvores neurais.
5. Comparação com Custos Existentes: A norma proposta é comparada contra outros custos de representação, incluindo a soma dos quadrados dos pesos (SOSW) e várias normas de grupo ($\ell_{2,1}$, $\ell_{1,1}$). Os autores demonstram que sua norma é uma verdadeira norma de Banach no espaço de funções, enquanto muitos custos existentes atuam como quase-normas ou penalidades aditivas que não contabilizam adequadamente a amplificação exponencial da saída da função devido ao reescalonamento camada a camada.

Principais Contribuições

1. Estrutura Unificada para Ativações Gerais: O artigo fornece uma estrutura única de espaço de funções aplicável a uma ampla família de funções de ativação contínuas, incluindo as não-homogêneas. Eles provam que para muitas ativações "tipo-ReLU" (Leaky ReLU, GELU, SiLU, etc.), os espaços de funções induzidos são norm-equivalentes ao espaço ReLU, com limites explícitos de profundidade para as constantes de equivalência.
2. Novo Teorema do Representador: Os autores provam um teorema do representador mostrando que as soluções para problemas de ajuste de dados penalizados por norma são realizadas por redes neurais de largura limitada. Especificamente, para ativações homogêneas, a solução é uma rede de largura finita; para ativações não-homogêneas, a solução pode envolver átomos limitantes ($\sigma_0, \sigma_\infty$), mas permanece com largura limitada.
3. Limites de Complexidade de Espaço de Função: Novos limites são derivados para a complexidade de Rademacher empírica de pior caso e entropias métricas $L_p(\mu)$ das bolas unitárias $B_L$. Esses limites crescem apenas levemente com a profundidade (frequentem de forma polinomial ou linear em $L$, e em muitos casos independentes de $L$ para ativações 1-Lipschitz), contrastando com o crescimento exponencial frequentemente implícito em análises baseadas na contagem de parâmetros.
4. Resultado de Saturação de Profundidade: No caso univariado da ReLU, os autores provam um teorema de "saturação de profundidade": as bolas profundas satisfazem $B_2 \subset B_L \subset 2B_2$ para todo $L \ge 2$. Isso implica que a profundidade não adiciona nova diversidade funcional além de um reescalonamento constante da classe rasa.
5. Controle de Frequência: Como consequência do resultado de saturação univariada, os autores mostram que funções multivariadas em classes ReLU de norma profunda não podem exibir altas frequências ao longo de qualquer direção individual do domínio de entrada.

Principos Resultados

• Equivalência de Norma: Para uma ampla gama de ativações (Leaky ReLU, GELU, SiLU, Mish, etc.), os espaços de variação profundos $V_L^\sigma$ são norm-equivalentes ao espaço ReLU $V_L^{\text{ReLU}}$. No entanto, as constantes de equivalência podem crescer com a profundidade para ativações não-homogêneas.
• Limites de Complexidade:
  • Complexidade de Rademacher: A complexidade cresce no máximo como $\sqrt{L}$ (ou $L$ para ativações não-1-Lipschitz) até fatores polilogarítmicos, e é independente da largura da rede.
  • Entropia Métrica: A entropia métrica das bolas unitárias $B_L$ é limitada de forma semelhante, crescendo levemente com a profundidade. Limites inferiores derivados de classes rasas ($B_2$) mostram que a lacuna entre limites superiores e inferiores é pequena para altas dimensões de entrada.
• Saturação de Profundidade (ReLU Univariada): O artigo prova que para redes ReLU univariadas, aumentar a profundidade não expande o conjunto de funções representáveis além de um fator constante (especificamente, um fator de 2) da classe rasa $B_2$. Funções como a função dente de serra de Telgarsky, frequentemente citadas como evidência do poder da profundidade, exigem pesos exponencialmente grandes (na norma do espaço de função) para serem representadas, efetivamente negando o benefamento da profundidade quando a complexidade é controlada pela norma em vez da contagem de neurônios.
• Restrições de Frequência: Funções em classes ReLU profundas multivariadas devem exibir baixas frequências ao longo de qualquer linha no domínio de entrada. Se a restrição de uma função a uma linha tiver uma variação total da segunda derivada excedendo uma constante específica, ela não pode ser representada em nenhuma classe ReLU de norma profunda.

Significância e Alegações

O artigo alega que uma perspectiva de espaço de funções fornece novos insights estruturais sobre a relação entre profundidade e complexidade. A principal significância reside em demonstrar que muitos resultados de "separação de profundidade" — onde redes profundas são afirmadas como capazes de representar funções de alta frequência ou complexas mais eficientemente do que redes rasas — dependem de medidas de custo de representação (como contagem de parâmetros ou SOSW) que falham em penalizar o reescalonamento composto de pesos entre camadas.

Quando a complexidade é controlada por uma verdadeira norma de espaço de função (que contabiliza a magnitude da saída da função), os autores argumentam que as vantagens estruturais da profundidade são muito mais limitadas do que se pensava anteriormente. Especificamente:

• A profundidade não gera inerentemente novas formas funcionais no caso da ReLU univariada; ela apenas permite o reescalonamento.
• A capacidade de redes profundas de representar funções de alta frequência é contingente em permitir que os pesos cresçam exponencialmente com a profundidade, o que é penalizado pela norma proposta.
• O viés indutivo de redes profundas controladas por norma é um controle de frequência ao longo de todas as direções, em vez da capacidade de gerar oscilações arbitrárias de alta frequência.

Os autores concluem que, embora a profundidade possa oferecer benefícios em contextos específicos, esses benefícios desaparecem quando a complexidade de uma rede é medida por uma norma que controla adequadamente a magnitude da função, sugerindo que a "expressividade" da profundidade é frequentemente um artefato do escalonamento de parâmetros sem restrições, em vez da aplicação repetida de não-linearidade.