Limitations of Learning Tanh Neural Networks with Finite Precision

Resumo Técnico: Limitações do Aprendizado de Redes Neurais Tanh com Precisão Finita

Definição do Problema
Este artigo investiga as limitações fundamentais do aprendizado de classes de redes neurais com funções de ativação tangente hiperbólica ($\tanh$) sob aritmética de precisão finita. Embora resultados teóricos estabeleçam que as redes neurais possuem capacidades de aproximação universal, o aprendizado prático é restringido pela disponibilidade de apenas valores amostrados finitos e pela precisão finita dos dispositivos computacionais. Os autores abordam a questão: Quantas amostras $m$ são necessárias para garantir que um algoritmo possa aproximar cada função em uma classe de redes $\tanh$ com uma precisão específica $\epsilon$?

O estudo foca na interação entre a natureza suave e não homogênea das ativações $\tanh$ e as restrições impostas pela precisão finita (quantização). Diferente das redes ReLU, onde funções de "bump" (calos/picos) localizadas podem ser construídas exatamente devido à propriedade de homogeneidade ($\rho(\lambda x) = \lambda \rho(x)$), as redes $\tanh$ são real-analíticas e, em geral, não podem produzir funções com suporte compacto (zero exato em conjuntos de medida positiva). Isso cria um obstáculo analítico significativo para provar limites inferiores de complexidade de aprendizado, uma vez que as técnicas padrão que dependem de localização exata falham.

Metodologia
Os autores desenvolvem um novo framework para superar a falta de suporte compacto exato nas redes $\tanh$, alavancando a aritmética de precisão finita. Sua abordagem envolve três componentes técnicos principais:

1. Localização de Precisão Finita: Os autores assumem um mapa de quantização $Q_{\epsilon_p}$ onde qualquer valor com magnitude $|x| \le \epsilon_p$ é arredondado para zero. Eles constroem redes neurais que produzem "bumps" fortemente localizados: funções que são não triviais em um pequeno cubo, mas decaem exponencialmente rápido fora dessa região. Ao ajustar a profundidade da rede e os parâmetros, as "caudas" dessas funções são forçadas a cair abaixo do limiar de precisão da máquina $\epsilon_p$, tornando-as indistinguíveis de zero pelo dispositivo computacional, apesar de possuírem norma $L_p$ positiva.

2. Mecanismo de Iteração de Ponto Fixo: Uma inovação central é a exploração da estrutura de ponto fixo da ativação $\tanh$. Para uma ativação escalonada $\sigma_a(x) = \tanh(ax)$ com $a > 1$, existem pontos fixos não triviais $\pm x_\star$ satisfazendo $\tanh(ax_\star) = x_\star$. Os autores projetam camadas de rede que aplicam iterativamente $\sigma_a$ a uma função de bump grosseira. Esta iteração amplifica o sinal, conduzindo a saída para um perfil de função degrau (convergindo para $\pm x_\star$ dentro do suporte e decaindo rapidamente fora dele). Este mecanismo substitui as construções baseadas em homogeneidade usadas na análise de ReLU.

3. Framework de Algoritmo Aleatorizado Adaptativo: Os limites inferiores são derivados para algoritmos aleatorizados adaptativos, que podem escolher pontos de amostragem baseados em observações anteriores e usar aleatoriedade interna. A prova utiliza um argumento de "pigeonhole" (princípio da casa dos pombos): ao construir uma grande família de funções de bump disjuntas (centradas em uma grade) e mostrar que seus suportes são menores que a densidade de amostragem, os autores demonstram que uma fração significativa dessas funções produzirá valores quantizados nulos em todos os pontos amostrados. Consequentemente, o algoritmo não consegue distinguir essas funções da função zero.

Principais Contribuições e Resultados
O artigo estabelece um limite inferior na complexidade de amostragem para o aprendizado de redes neurais $\tanh$. O principal resultado (Teorema 6) prova que, para uma classe de redes com dimensão de entrada $d$, profundidade $L$, largura $B$ e coeficientes limitados, o erro de aproximação $\epsilon$ para qualquer algoritmo usando $m$ amostras satisfaz:
$$\epsilon \gtrsim C \cdot m^{-1/p}$$
onde a constante $C$ depende dos parâmetros da arquitetura da rede.

Principais descobertas incluem:

• Dependência Exponencial da Arquitetura: O número admissível de amostras $m$ necessário para atingir uma precisão fixa cresce exponencialmente em relação aos parâmetros da arquitetura da rede (especificamente largura e profundidade). Isso implica que o aprendizado torna-se inviável à medida que o tamanho da rede aumenta, mesmo que o problema de otimização fosse computacionalmente solucionável.
• Comparação com ReLU: Enquanto o cenário ReLU (Berner et al., 2023) apresenta um limite inferior escalonando com $m^{-1/d - 1/p}$, o cenário $\tanh$ sob precisão finita produz um limite escalonando com $m^{-1/p}$. No entanto, o fator constante no limite $\tanh$ depende exponencialmente da arquitetura, levando a uma inviabilidade prática semelhante.
• Instabilidade Intrínseca: Os resultados revelam uma instabilidade fundamental no problema de aprendizado. Para qualquer algoritmo usando um número sub-exponencial de amostras, existem pares de redes que diferem por uma perturbação negligenciável (abaixo da precisão da máquina) em todos os pontos amostrados, mas possuem uma distância $L_p$ grande (ordem 0.5). Assim, nenhum procedimento de reconstrução pode ser simultaneamente preciso e estável dentro do estado de amostragem declarado.
• Papel da Precisão: O resultado de dureza é contingente sobre a suposição de precisão finita. A construção depende da capacidade de "esconder" a cauda da função de bump abaixo do limiar de quantização $\epsilon_p$.

Significância e Alegações
O artigo afirma estender resultados anteriores de dureza para redes ReLU para a amplamente utilizada ativação $\tanh$, que é prevalente em arquiteturas recorrentes (RNNs, LSTMs), redes informadas pela física (PINNs) e modelos fundacionais modernos.

Os autores enfatizam que seus resultados não são meramente sobre complexidade computacional (tempo de execução), mas sobre limitações informacionais-teóricas. Mesmo se um algoritmo de otimização pudesse encontrar o mínimo global, o número de amostras necessário para identificar unicamente a função a partir de avaliações de pontos é proibitivamente grande. O trabalho destaca que a suavidade e a natureza analítica da $\tanh$, frequentemente vistas como vantajosas para diferenciabilidade, introduzem desafios severos para a aprendibilidade em ambientes de precisão finita, particularmente em relação à construção de características localizadas necessárias para provar limites inferiores.

O artigo fornece um teorema simplificado (Teorema 1) e uma declaração técnica completa (Teorema 6) com dependências explícitas em parâmetros como precisão da máquina $\epsilon_p$, largura da rede $B$, profundidade $L$ e limites de coeficiente $c$. Inclui uma ferramenta de verificação numérica para demonstrar que, para tamanhos de rede moderados e precisões de máquina realistas, os tamanhos de amostra necessários para recuperação uniforme tornam-se assombrosamente grandes, tornando a tarefa de aprendizado computacionalmente inviável.