🤖 machine learning

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

Este artigo estabelece uma estrutura geral de distinguibilidade para caracterizar a representabilidade universal de redes neurais em ponto flutuante sob semânticas de execução realistas, provando que ordens de redução arbitrárias e erros ulp limitados em implementações de ativação não impedem a representação exata de funções para uma ampla classe de funções de ativação práticas.

Autores originais: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma rede neural como uma fábrica gigante e complexa projetada para classificar e transformar matérias-primas (dados) em produtos acabados (respostas). Durante décadas, os projetos dessas fábricas foram traçados por matemáticos que assumiam que a fábrica possuía ferramentas perfeitas. Eles assumiam que, se você somasse dois números, o resultado seria sempre exatamente correto, e que os "interruptores de ativação" da fábrica (as partes que decidem quanto sinal transmitir) funcionavam com precisão matemática absoluta.

No entanto, computadores do mundo real não utilizam ferramentas perfeitas. Eles usam aritmética de ponto flutuante, que é como uma fábrica usando réguas levemente desgastadas. Quando você soma números, a ordem em que os soma pode alterar o resultado (porque a régua não é perfeita), e os "interruptores de ativação" podem não estar ajustados na posição teórica exata — podem estar desviados por uma fração minúscula da largura de um fio de cabelo.

Este artigo faz uma pergunta crítica: Se construirmos nossa fábrica de rede neural com essas ferramentas imperfeitas e do mundo real, ela ainda poderá fazer tudo o que precisamos que ela faça? Especificamente, ela ainda poderá aprender a representar qualquer padrão ou função possível, ou a imperfeição quebra a mágica?

Aqui está a análise de suas descobertas usando analogias simples:

1. O Problema da "Ordem das Operações"

Em um mundo perfeito, somar números é como empilhar blocos: não importa se você empilha o bloco A sobre B e depois C, ou B sobre C e depois A; a torre é a mesma.
No mundo real (ponto flutuante), a ordem importa. É como tentar misturar tinta em um balde que está levemente vazando. Se você despejar a tinta vermelha primeiro e depois a azul, obterá um tom ligeiramente diferente do que se despejar a azul primeiro e depois a vermelha.

A Descoberta do Artigo: Os autores provaram que, mesmo que a fábrica use qualquer ordem aleatória para misturar essas tintas (somar números), a rede ainda pode aprender qualquer coisa, desde que os "interruptores de ativação" sejam bons o suficiente. Você não precisa de uma ordem fixa e perfeita para realizar o trabalho.

2. O Teste de "Distintibilidade"

Para entender como uma fábrica classifica itens, imagine que você tem duas maçãs com aparência muito semelhante (Entrada A e Entrada B).

O Problema: Se a primeira máquina da fábrica (a primeira camada) esmagar ambas as maçãs na mesma forma exata, o restante da fábrica nunca saberá que elas eram diferentes. Ela as tratará como a mesma maçã para sempre.
A Solução do Artigo: Os autores introduziram uma regra chamada "Distintibilidade". Eles provaram que, para uma rede ser uma aprendiz "universal" (capaz de fazer qualquer coisa), sua primeira camada deve ser capaz de distinguir cada par individual de entradas diferentes. Se a primeira camada não consegue distinguir duas entradas diferentes, toda a rede falha.
A Boa Notícia: Eles mostraram que a maioria das funções de ativação comuns (como ReLU, Sigmoid, Tanh, Swish, etc.) pode distinguir entradas, mesmo com matemática imperfeita.

3. O Problema do "Interruptor Imperfeito"

Em teoria, um interruptor pode ligar exatamente quando a entrada atinge 0,5. Na realidade, devido a limitações de fabricação, o interruptor pode ligar em 0,5000001 ou 0,4999999.

A Descoberta do Artigo: Teorias anteriores diziam: "Se o interruptor não for perfeito, a rede pode quebrar." Este artigo diz: "Não necessariamente."
Eles provaram que, desde que a "imperfeição" (o erro) seja pequena e limitada (como estar desviado apenas por algumas unidades minúsculas, ou "ulps"), a rede ainda pode distinguir entradas e aprender qualquer coisa.
O Resultado: Eles confirmaram que funções de ativação populares usadas na vida real — como Sigmoid, Tanh, ReLU, GELU, Swish e até Sin — são robustas o suficiente para funcionar perfeitamente, mesmo que suas implementações em código de computador não sejam matematicamente perfeitas.

4. O Contra-Exemplo do "Cosseno"

Os autores também encontraram um caso específico em que a fábrica realmente quebra. Eles mostraram que, se você usar uma função de ativação Cosseno (que oscila para cima e para baixo como uma onda), a rede pode falhar em distinguir certas entradas porque a onda se repete. É como ter uma fábrica onde duas bolas de cores diferentes são pintadas exatamente no mesmo tom de azul porque a máquina de tinta cicla pelas cores muito rápido.

Isso explica por que algumas funções teóricas funcionam na aula de matemática, mas falham no código de computador real.

Resumo: A Grande Conclusão

O artigo essencialmente diz: "Não se preocupe com os pequenos erros na matemática do seu computador."

Embora computadores reais tenham:

Réguas que não são perfeitas (erros de arredondamento),
Ordens de mistura que alteram o resultado (adição não associativa),
Interruptores que não estão perfeitamente calibrados (implementações de ativação inexatas),

...redes neurais construídas com essas ferramentas ainda são poderosas o suficiente para representar qualquer função que você lhes lançar, desde que você use funções de ativação padrão (como ReLU ou Sigmoid). A "mágica" das redes neurais sobrevive à transição da teoria matemática perfeita para a engenharia do mundo real, bagunçada.

Resumo Técnico: Poder Expressivo de Redes Neurais em Point Flutuante com Ordens de Redução Arbitrárias e Implementações de Ativação Inexatas

1. Declaração do Problema

Os quadros teóricos existentes para o poder expressivo de redes neurais dependem predominantemente de aritmética real exata. No entanto, redes neurais práticas operam sob aritmética de ponto flutuante de precisão finita, caracterizada por:

Representabilidade Finita: Parâmetros e ativações pertencem a um conjunto discreto de números de máquina.
Erros de Arredondamento: Operações aritméticas incorrem em erros de arredondamento.
Não Associatividade: A adição em ponto flutuante é não associativa, o que significa que a saída de transformações afins depende da ordem de redução (a sequência na qual os termos são somados).
Implementações Inexatas: Implementações práticas de funções de ativação (por exemplo, exp, tanh, sin) frequentemente desviam de valores corretamente arredondados por várias unidades no último dígito (ulp) para otimizar o custo computacional.

Trabalhos anteriores que abordaram a expressividade em ponto flutuante foram limitados por suposições idealizadas, tais como:

Restringir a análise a ativações por partes lineares (por exemplo, ReLU, Step).
Assumir ordens de redução fixas da esquerda para a direita.
Assumir implementações de ativação corretamente arredondadas.

Essas suposições falham em capturar o comportamento de redes em ambientes modernos e massivamente paralelos (por exemplo, GPUs), onde as ordens de redução variam e onde ativações suaves e amplamente utilizadas (por exemplo, Sigmoid, GELU, Swish) são implementadas com erros de aproximação limitados. Consequentemente, permanece incerto se redes neurais em ponto flutuante mantêm sua representabilidade universal sob essas condições realistas.

2. Metodologia

Os autores introduzem um quadro geral para analisar a representabilidade universal de redes neurais em ponto flutuante. Uma rede é considerada um "representador universal" se puder representar todas as funções entre domínios de ponto flutuante prescritos exatamente.

Definições e Quadro Chave

Redes Neurais em Ponto Flutuante ( $N(I,S)$ ): Definidas sob uma ordem de redução arbitrária $S$ . A transformação afim na camada $\ell$ calcula $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ , onde $\Sigma$ denota a soma de redução de acordo com a ordem $o$ , e $\otimes, \oplus$ são multiplicação e adição em ponto flutuante.
Distinguibilidade: O conceito central introduzido é a $\sigma$ -distinguibilidade. Um domínio $X$ $X$ é $\sigma$ $σ$ -distinguível sob $S$ $S$ se, para quaisquer $x, x' \in X$ $x, x^{'} \in X$ distintos, existir uma transformação afim em ponto flutuante $\phi$ $ϕ$ tal que $\sigma(\phi(x)) \neq \sigma(\phi(x'))$ $σ (ϕ (x)) \neq = σ (ϕ (x^{'}))$ .
- Necessidade: O artigo prova que, se um domínio não for $\sigma$ -distinguível, a rede não pode representar todas as funções naquele domínio (Lema 2).
- Suficiência: Sob condições moderadas na função de ativação (Condição 1), a $\sigma$ -distinguibilidade é mostrada como suficiente para a representabilidade universal (Teorema 5).

Abordagem Técnica

Separando Pontos: Os autores definem "pontos de separação" ( $\eta$ ) onde a saída da função de ativação muda descontinuamente em relação à grade de ponto flutuante (ou seja, $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$ ). Eles estabelecem condições sob as quais esses pontos existem tanto para implementações corretamente arredondadas quanto inexatas.
Transferibilidade: Uma série de lemas técnicos (Seção V) demonstra que, sob a Condição 1, pares específicos de números em ponto flutuante podem ser "transferidos" para valores-alvo usando adições da esquerda para a direita e funções de ativação. Isso permite a construção de redes que isolam entradas específicas.
Tratamento da Inexatidão: Para implementações com erros ulp limitados, os autores derivam condições (Condição 2) garantindo que o erro de aproximação não colapse os pontos de separação necessários, desde que a precisão $p$ seja suficientemente alta (por exemplo, $p \geq 7$ ).

3. Contribuições Principais

A. Quadro Geral de Distinguibilidade

O artigo estabelece uma condição necessária e suficiente para a representabilidade universal baseada na distinguibilidade.

Condição Necessária: Se uma rede não puder distinguir cada par de entradas distintas na primeira camada por meio de uma transformação afim seguida de ativação, ela não pode representar todas as funções. Este quadro generaliza contraexemplos anteriores (por exemplo, cosseno corretamente arredondado) para classes mais amplas de funções.
Condição Suficiente: Se a função de ativação satisfizer a Condição 1 (existência de valores de saída específicos $C_0, C_1, C_2$ ) e o domínio for $\sigma$ -distinguível, uma rede de quatro camadas pode representar qualquer função naquele domínio. Crucialmente, isso vale para ordens de redução arbitrárias, provando que a representabilidade universal não é um artefato de uma sequência de soma específica.

B. Extensão para Funções de Ativação Práticas

A teoria estende-se além de funções por partes lineares para uma ampla classe de ativações suaves e práticas:

Corretamente Arredondadas: O artigo prova a representabilidade universal para versões corretamente arredondadas de Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish e sin.
Implementações Inexatas: Os autores fornecem condições verificáveis sob as quais implementações com erros ulp limitados (até $K=10$ ulps) permanecem representadores universais. Isso cobre bibliotecas práticas onde funções como exp e sin são aproximadas.

C. Resultados Negativos e Contraexemplos

O quadro identifica funções de ativação específicas que falham em ser representadores universais sob certas condições.

Corolário 4: Redes que usam cosseno corretamente arredondado, $\sqrt{1+x^2}$ , cosh ou $e^{-x^2}$ não podem representar todas as funções em domínios específicos (por exemplo, $[-2^{p+3}, 2^{p+3}]_F$ ) porque falham na condição de distinguibilidade. Isso generaliza o contraexemplo conhecido da ativação cosseno.

4. Resultados

O artigo estabelece os seguintes teoremas principais:

Teorema 5: Se $\sigma$ satisfizer a Condição 1 e $X$ for $\sigma$ -distinguível com intervalo $[-2^{e_{max}}, 2^{e_{max}}]_F$ , então qualquer função $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ pode ser representada por uma rede $\sigma$ de quatro camadas sob qualquer ordem de redução $S$ .
Corolário 9 & 12: Para Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish e sin corretamente arredondados, a representabilidade universal vale sobre grandes domínios (por exemplo, $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$ ). Notavelmente, até mesmo a função de ativação Identidade é mostrada como um representador universal na aritmética de ponto flutuante (diferentemente da aritmética real) devido à natureza não afim das operações em ponto flutuante.
Corolário 13 & 16: Para Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish e sin implementados com erros ulp limitados (Condição 2), a representabilidade universal vale desde que a precisão $p \geq 7$ .

5. Significado e Alegações

O artigo alega generalizar substancialmente a compreensão teórica de redes neurais em ponto flutuante:

Realismo: Avança além de suposições idealizadas (ordens de redução fixas, arredondamento correto) para modelos que refletem a execução real de hardware (ordens arbitrárias, erros ulp limitados).
Ampla Aplicabilidade: Fornece as primeiras garantias teóricas para o poder expressivo de redes que usam ativações suaves e não por partes lineares (como GELU e Swish) sob semântica realista de ponto flutuante.
Insight Fundamental: Demonstra que o fenômeno de "aproximação universal" na aritmética de ponto flutuante é robusto à não associatividade da adição e a imprecisões de implementação, desde que a função de ativação mantenha propriedades de "separação" suficientes.
Limitações: Os resultados são modestos em relação a formatos de baixa precisão (por exemplo, float8), onde o número de valores representáveis é muito pequeno para que as condições derivadas se mantenham sem implementações específicas de tabelas de consulta. O artigo também observa que as provas dependem da existência de pontos de separação específicos, o que pode falhar para certas funções (como cosseno) ou precisões muito baixas.

Os autores enfatizam que esses resultados são derivados de um novo quadro que não depende de linearidade por partes, ordens de soma fixas ou comportamentos exatos de ativação, oferecendo assim uma base mais rigorosa para a compreensão de redes neurais em configurações práticas de precisão finita.