📊 statistics

On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

Este artigo estabelece que as Redes de Kolmogorov-Arnold (KANs) com componentes de B-spline alcançam taxas de regressão minimax-ótimas independentes da dimensão ambiente, ao mesmo tempo em que fornece regras adaptativas de seleção de nós e esclarece a não-identificabilidade de seus componentes univariados.

Autores originais: Wei Liu, Eleni Chatzi, Zhilu Lai

Publicado 2026-07-31

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wei Liu, Eleni Chatzi, Zhilu Lai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um computador a prever o tempo. O mundo é bagunçado, com temperatura, umidade, velocidade do vento e pressão interagindo de formas complexas. No mundo do aprendizado de máquina, isso é chamado de "regressão não paramétrica". É a arte de encontrar um padrão oculto em um mar de dados sem forçar os dados a caberem em uma caixa simples e pré-fabricada, como uma linha reta. Por décadas, cientistas têm usado duas ferramentas principais para isso. A primeira é a "rede neural", um cérebro digital feito de camadas que pode aprender quase tudo, mas que é frequentemente uma "caixa preta" — sabemos que funciona, mas não conseguimos ver facilmente como funciona ou por que obtém a resposta correta. A segunda é o "spline", uma ferramenta matemática que ajusta curvas suaves através de pontos, como uma régua flexível. Os splines são transparentes e fáceis de entender, mas lutam quando os dados ficam muito complicados ou têm muitas dimensões (como adicionar mais variáveis meteorológicas).

Recentemente, surgiu um novo tipo de rede neural chamada Rede Kolmogorov–Arnold, ou KAN. Pense na KAN como um híbrido inteligente: ela tem a estrutura em camadas de uma rede neural, mas, em vez de usar conexões misteriosas e emaranhadas, ela constrói suas previsões empilhando curvas unidimensionais simples (splines) umas sobre as outras. É como construir um arranha-céu feito de painéis de vidro transparente em vez de concreto opaco. A grande questão para os cientistas era: "Este novo arranha-céu de vidro funciona tão bem quanto os antigos de concreto, e podemos provar isso matematicamente?" Este artigo mergulha nessa questão, não apenas realizando experimentos, mas construindo uma prova matemática rigorosa para mostrar exatamente quão rápido e quão precisamente essas redes aprendem.

O Arranha-Céu de Vidro vs. A Parede de Concreto

Os autores deste artigo propuseram-se a provar que as KANs não são apenas uma ideia legal, mas uma forma matematicamente ótima de aprender com os dados. Eles se concentraram em um tipo específico de KAN onde os blocos de construção são "B-splines" (aquelas réguas flexíveis mencionadas anteriormente). A principal descoberta deles é um "limite de velocidade" para o aprendizado. Eles provaram que, se os dados que estão tentando prever tiverem um certo nível de suavidade (vamos chamar essa suavidade de " $r$ "), a KAN aprende a uma velocidade de aproximadamente $O((\log n/n)^{2r/(2r+1)})$ .

Para colocar isso em termos cotidianos, imagine que você está tentando adivinhar a forma de um objeto oculto ao tocá-lo com os dedos. Se o objeto for muito liso (como uma esfera de mármore polido), você precisa de menos toques para descobri-lo. Se for irregular e acidentado, você precisará de muito mais. O artigo mostra que a KAN fica melhor em adivinhar a forma a uma taxa que depende apenas de quão suave o objeto é, não de quantas dimensões o objeto possui. Isso é algo grandioso. Geralmente, quando você adicionar mais dimensões (mais variáveis para monitorar), o aprendizado torna-se exponencialmente mais difícil — um problema conhecido como a "maldição da dimensionalidade". É como tentar encontrar uma agulha em um palheiro que continua crescendo toda vez que você adiciona um novo cômodo ao celeiro. Os autores descobriram que, como a KAN é construída a partir de peças unidimensionais simples, ela contorna completamente essa maldição. Ela aprende tão rápido se os dados tiverem 5 dimensões ou 20, desde que os dados sigam de fato a estrutura específica da KAN.

O Soluço Logarítmico e o Fator "Log"

No entanto, a história não é perfeitamente suave. Os autores descobriram que a velocidade de aprendizado da KAN é ligeiramente mais lenta do que o absoluto melhor teórico por um pequeno fator envolvendo um logaritmo (especificamente, um fator de $(\log n)^{2r/(2r+1)}$ ). Eles rastrearam esse "soluço" não à arquitetura da KAN em si, mas ao fato de a rede ser não linear.

Pense da seguinte forma: se você estiver tentando encontrar um livro específico em uma biblioteca onde os livros estão organizados em uma linha perfeita e reta (um sistema linear), você pode encontrá-lo instantaneamente. Mas se os livros estiverem organizados em um labirinto complexo e sinuoso (um sistema não linear), você terá que fazer um pouco mais de busca, o que adiciona esse pequeno "atraso logarítmico". Os autores mostraram que, se simplificarmos a KAN para que ela atue como uma linha reta, esse atraso extra desaparece. Isso sugere que a KAN não é inerentemente "difícil" de aprender; é apenas que a matemática de navegar em suas curvas não lineares adiciona um pouco de sobrecarga.

O Mistério dos Componentes Ocultos

Uma das partes mais fascinantes do artigo é o que acontece quando você tenta olhar dentro da KAN para ver as peças individuais que ela usou para construir a resposta. Os autores provaram que você não pode identificar unicamente essas peças individuais apenas olhando para a resposta final. É como tentar descobrir os ingredientes exatos de um bolo apenas provando o produto acabado. Se você tem um bolo que tem gosto de "baunilha", não pode ter certeza se o confeiteiro usou 1 xícra de extrato de baunilha e 2 xícaras de farinha, ou 2 xícaras de baunilha e 1 xícara de farinha, porque a receita permite um "grupo de escala" — uma maneira de trocar quantidades entre os ingredientes sem alterar o sabor final.

Eles mostraram que simplesmente "centralizar" os dados (garantir que a média seja zero) não é suficiente para resolver esse mistério. A rede ainda pode embaralhar os pesos de uma forma que altera os componentes internos, mas deixa a previsão final exatamente a mesma. Isso significa que, embora a KAN seja ótima para prever o resultado, você nem sempre pode confiar nas partes internas para lhe dizer a "verdadeira" causa subjacente, a menos que adicione regras extras para travá-las.

Os Nós e a Adaptabilidade

Para fazer essas redes funcionarem, você precisa decidir quantos "nós" (os pontos onde a régua flexível dobra) usar. Poucos, e a régua será muito rígida para seguir a curva; muitos, e ela começará a oscilar descontroladamente e a memorizar o ruído em vez do padrão. Os autores derivaram uma regra perfeita para isso: o número de nós deve crescer aproximadamente como $n^{1/(2r+1)}$ , onde $n$ é a quantidade de dados que você possui.

Ainda mais legal, eles mostraram que você não precisa saber a "suavidade" ( $r$ ) dos dados antecipadamente para acertar isso. Eles criaram um método onde a rede pode escolher automaticamente o número certo de nós testando diferentes opções, tal como um caminhante tentando diferentes caminhos para encontrar aquele que o leva ao topo da montanha mais rápido. Em suas simulações, esse método "adaptativo" funcionou tão bem quanto se tivessem conhecido a resposta desde o início.

Testando a Teoria no Laboratório

Finalmente, os autores não pararam apenas na matemática; eles colocaram tudo à prova. Eles criaram dados falsos com níveis de suavidade conhecidos e observaram a KAN aprender. Os resultados foram certeiros.

A Velocidade: A KAN aprendeu na velocidade prevista, tornando-se mais precisa à medida que adicionavam mais dados.
As Dimensões: Quando aumentaram o número de variáveis de 5 para 20, a KAN manteve sua velocidade, enquanto outros métodos padrão (como os k-vizinhos mais próximos) desaceleraram drasticamente, confirmando que a KAN realmente escapa da "maldição da dimensionalidade".
Os Nós: O número ideal de nós que encontraram nos experimentos coincidiu perfeitamente com a previsão matemática deles.

O artigo conclui que as KANs são uma ferramenta poderosa e matematicamente sólida. Elas oferecem o melhor dos dois mundos: o poder de aprendizado das redes neurais profundas e a transparência dos splines. Embora ainda existam questões em aberto sobre como identificar perfeitamente as partes internas da rede, a prova de que elas aprendem na taxa ótima (até aquele pequeno fator logarítmico) é um grande passo à frente. Isso nos diz que, quando os dados possuem uma estrutura específica, as KANs não são apenas um truque inteligente, mas a maneira mais eficiente de aprendê-la.

Resumo Técnico: Sobre a Taxa de Convergência de Estimadores de Regressão de Redes Kolmogorov–Arnold

Enunciado do Problema
O artigo aborda as taxas de convergência estatística de Redes Kolmogorov–Arnold (KANs) em regressão não paramétrica. Embora as KANs tenham ganhado tração empírica como uma alternativa estruturada às redes neurais profundas — aproximando funções multivariadas via composições de transformações univariadas — garantias estatísticas formais sobre suas taxas de estimação têm sido escassas. Os autores investigam o desempenho do estimador de mínimos quadrados sobre um peneira (sieve) KAN onde os componentes univariados são B-splines. Especificamente, eles questionam: qual taxa alcança o minimizador do risco empírico sobre uma classe de funções KAN com componentes univariados de suavidade Sobolev, e esta taxa é minimax ótima?

Metodologia
Os autores analisam o estimador de mínimos quadrados $\hat{f}_n$ definido sobre um espaço de peneira $\mathcal{F}_n$ construído a partir de arquiteturas KAN. A função alvo $f_0$ é modelada como uma soma finita de $Q$ unidades:
$f(x) = \sum_{q=1}^Q g_q(T_q(x))$
onde $T_q(x)$ representa uma agregação aditiva ( $\sum \psi_{qj}(x_j)$ ) ou uma agregação multiplicativa ( $\prod \psi_{qj}(x_j)$ ). Tanto as funções internas $\psi_{qj}$ quanto as funções externas $g_q$ são aproximadas usando B-splines de ordem $m$ com $k_n$ nós.

Principais etapas metodológicas incluem:

Premissas: A distribuição do delineamento possui uma densidade limitada, os erros são i.i.d. e sub-Gaussianos, e a função de regressão pertence a uma classe $\mathcal{F}^{KAN}_r$ onde os componentes univariados possuem suavidade Sobolev $r$ . Crucialmente, as funções externas $g_q$ são restritas na escala $L_\infty$ -Sobolev ( $W^{r,\infty}$ ) em vez de $L_2$ , e a peneira impõe limites explícitos de norma sup sobre os coeficientes para garantir estabilidade.
Ferramentas Teóricas: A análise combina três ingredientes clássicos:
- Um limite de aproximação para composições KAN (Lema C.1), utilizando um argumento de telescópio para nós multiplicativos.
- Um limite de entropia métrica para a peneira não linear (Lema C.2), contabilizando a não linearidade da composição.
- Uma desigualdade de oráculo para mínimos quadrados sobre classes uniformemente limitadas (Lema C.3).
Análise de Identificabilidade: Os autores examinam se os componentes aprendidos convergem para os componentes verdadeiros, provando que apenas o centralizamento é insuficiente para a identificabilidade devido à invariância de escala e ambiguidades de mistura.

Principais Contribuições e Resultados

Taxa de Convergência: O estimador de mínimos quadrados sobre a peneira de spline KAN atinge uma taxa de convergência uniforme de:
$O\left(\left(\frac{\log n}{n}\right)^{\frac{2r}{2r+1}}\right)$
Esta taxa mantém-se uniforme sobre uma bola de funções KAN com componentes univariados de suavidade Sobolev $r$ .
Expoente Independente de Dimensão: O expoente $\frac{2r}{2r+1}$ é independente da dimensão ambiente $d$ . Os autores esclarecem que isso não viola o limite inferior minimax $n^{-2r/(2r+d)}$ para classes Sobolev gerais em $[0,1]^d$ . Em vez disso, a taxa independente da dimensão surge da premissa estrutural de que o alvo admite uma representação KAN com um número fixo de unidades $Q$ .
Otimalidade Minimax: Um limite inferior correspondente de ordem $n^{-2r/(2r+1)}$ é estabelecido, mostrando que o estimador é minimax ótimo até um fator logarítmico. Os autores atribuem este fator logarítmico à não linearidade da peneira (exigindo chaining sobre um recobrimento) em vez da própria arquitetura KAN. Eles mostram que, para submodelos lineares (por exemplo, funções externas fixas), o fator logarítmico desaparece.
Identificabilidade: O artigo prova que restrições de centralização não identificam uma representação KAN; um grupo de escala de um parâmetro permanece, e existem ambiguidades adicionais para $d=1$ ou $Q \ge 2$ . Consequentemente, a consistência da função ajustada $\hat{f}_n$ não implica a consistência dos componentes univariados individuais $\hat{\psi}_{qj}$ sem condições adicionais de normalização e não degenerescência.
Adaptatividade: Uma regra de seleção de nós $k_n \asymp (n/\log n)^{1/(2r+1)}$ é derivada. Os autores mostram que a seleção penalizada sobre uma grade de nós dicotômica atinge a taxa ótima de forma adaptativa, sem conhecimento prévio da suavidade $r$ (até a ordem da spline).

Verificação Experimental
As previsões teóricas são verificadas em alvos sintéticos com suavidade $r$ exatamente conhecida.

Erro de Aproximação: O erro de aproximação de spline univariada decai como $k^{-r}$ , correspondendo aos limites teóricos.
Taxas de Convergência: O risco $L_2$ empírico decai em taxas consistentes com $n^{-2r/(2r+1)}$ (até fatores logarítmicos) para alvos aditivos, univariados e multiplicativos.
Independência de Dimensão: Em varreduras de dimensão ( $d=5$ a $d=20$ ), o estimador KAN mantém uma inclinação de convergência íngreme, enquanto baselines sem estrutura (k-NN, Kernel Ridge) degradam-se em direção à taxa da maldição da dimensionalidade $n^{-2r/(2r+d)}$ .
Seleção de Nós: O risco exibe um formato em U em relação ao número de nós, e a validação cruzada localiza com sucesso o número ideal de nós sem conhecer $r$ .

Significância e Alegações
O artigo afirma fornecer a primeira análise rigorosa de convergência para KANs, estabelecendo que elas alcançam taxas minimax ótimas para regressão não paramétrica estruturada. A principal significância reside em demonstrar que a arquitetura KAN, ao alavancar uma soma de componentes univariados de Sobolev, escapa da maldição da dimensionalidade inerente à estimação não paramétrica geral, desde que a função alvo possua a estrutura KAN específica.

Os autores são modestos quanto ao fator logarítmico, observando que ele é um artefato da entropia da peneira não linear, e não uma limitação intrínseca das KANs, identificando a remoção deste fator como um desafio técnico aberto que requer análise de entropia local. Além disso, eles enfatizam que, embora a função de regressão seja estimada de forma consistente, a recuperação dos componentes univariados subjacentes requer condições de identificabilidade específicas não garantidas pelo centralizamento padrão. O trabalho preenche a lacuna entre o sucesso empírico das KANs e a teoria não paramétrica clássica, situando-as ao lado de métodos baseados em splines em termos de otimalidade, enquanto retém a estrutura de composição em camadas das redes neurais.

O Arranha-Céu de Vidro vs. A Parede de Concreto

O Soluço Logarítmico e o Fator "Log"

O Mistério dos Componentes Ocultos

Os Nós e a Adaptabilidade

Testando a Teoria no Laboratório

Mais como este