📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

Este artigo introduz as Redes de Kolmogorov-Arnold com Restrição Geométrica (Banach-KANs), que substituem ativações de arestas fixas por funções aprendíveis derivadas de mapas de dualidade de Banach controladas por um expoente escalar $p$ , alcançando um desempenho superior ou competitivo em regressão simbólica e demonstrando maior robustez ao ruído e a amostras pequenas em comparação com as KANs tradicionais de base fixa.

Autores originais: K S Sesh Kumar

Publicado 2026-08-27

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: K S Sesh Kumar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo das descobertas científicas, muitas leis naturais descrevem como uma quantidade muda em resposta a outra. O balanço de um pêndulo depende do seu ângulo; a velocidade de um carro depende da densidade do tráfego; o brilho de uma estrela depende da sua temperatura. Durante décadas, os cientistas usaram modelos matemáticos para capturar essas relações, mas uma abordagem mais recente surgiu, tratando o próprio modelo como uma entidade flexível e capaz de aprender. Esta abordagem, conhecida como Rede Kolmogorov–Arnold, funciona ao decompor um problema complexo em muitas partes pequenas e simples. Em vez de forçar todo o sistema a aprender uma regra única e rígida, ela constrói uma rede onde cada conexão entre dois pontos é governada por sua própria função única e aprendível. O desafio central para estas redes sempre foi decidir que forma essas funções deveriam assumir. Tradicionalmente, os pesquisadores tinham que escolher uma forma específica antecipadamente — como uma curva suave ou uma onda repetitiva — e manter o foco nela para todo o problema. Isso é um pouco como tentar consertar uma máquina quebrada usando apenas um tipo de chave de boca; funciona bem para alguns parafusos, mas falha miseravelmente em outros.

Um pesquisador do Imperial College London propôs uma maneira diferente de pensar este problema. Ele percebeu que a questão real não é a forma da função em si, mas a "geometria" subjacente ou o espaço no qual essa função vive. Na matemática, a geometria determina como as distâncias são medidas e quão aguda ou suave uma curva pode ser. O pesquisador desenvolveu um novo tipo de rede onde a geometria não é fixa antes do início do aprendizado. Em vez disso, a rede aprende a melhor geometria para cada conexão individual diretamente a partir dos dados. Ele alcançou isso introduzindo um único número ajustável para cada conexão na rede. Este número atua como um seletor que desloca o comportamento da conexão de algo agudo e de limiar para algo suave e linear, ou até mesmo plano e saturado. Ao deixar os dados decidirem onde ajustar esse seletor, a rede pode adaptar sua própria estrutura interna para corresponder às peculiaridades específicas do problema que está resolvendo.

O pesquisador testou esta ideia em cinquenta problemas matemáticos diferentes, variando de equações físicas padrão a desafios sintéticos projetados para testar o limite do sistema. Ele comparou suas novas redes adaptáveis à geometria contra modelos mais antigos que dependiam de formas fixas, como splines (que são como réguas flexíveis usadas para desenhar curvas suaves) ou polinômios. Os resultados mostraram que os modelos de forma fixa tiveram dificuldades quando os dados continham saltos repentinos ou cantos agudos, frequentemente produzindo resultados instáveis e imprecisos porque suas formas rígidas não consegravam dobrar o suficiente para se ajustar aos dados. Em contraste, as novas redes, que podiam ajustar sua própria geometria, igualaram ou superaram o desempenho de todas as linhas de base de forma fixa. Em um conjunto central de dezoito equações difíceis, o novo método alcançou o melhor ranking médio e, no conjunto completo de cinquenta, teve um desempenho tão bom quanto os métodos tradicionais mais fortes.

Talvez a descoberta mais significativa tenha sido como estas novas redes lidam com o ruído. No mundo real, as medições raramente são perfeitas; elas frequentemente contêm erros aleatórios ou "estática". Quando o pesquisador adicionou quantidades crescentes de ruído aos seus dados, os modelos tradicionais desmoronaram rapidamente. Suas taxas de erro aumentaram por um fator de vinte e um ou mais conforme o ruído aumentava. As redes adaptáveis à geometria foram muito mais robustas. Mesmo conforme o nível de ruído subia, suas taxas de erro aumentavam por um fator muito menor, frequentemente menos de quatro vezes o erro original. Isso sugere que, ao aprender a geometria correta, a rede pode ignorar a estática aleatória e focar no sinal verdadeiro, uma capacidade que os modelos de forma fixa não possuem.

O estudo também revelou que a rede não aprende apenas uma geometria única e uniforme para tudo. Em vez disso, diferentes conexões dentro da mesma rede aprenderam configurações diferentes para o seu seletor de geometria. Algumas conexões aprenderam a ser muito agudas para lidar com mudanças repentinas, enquanto outras aprenderam a ser suaves para tendências graduais. Essa especialização ocorreu consistentemente através de diferentes tipos de equações e dimensões de entrada. Por exemplo, quando o problema envolvia mais variáveis, a rede tendia a aprender geometrias mais agudas com mais frequência. Esse comportamento fornece um tipo de interpretabilidade: ao observar as configurações que a rede escolheu, os pesquisadores podem ver um sinal que reflete a estrutura subjacente do problema. A rede essencialmente nos diz: "Esta parte do problema precisa de uma borda aguda, enquanto aquela parte precisa de uma curva suave".

O pesquisador também explorou o que acontece quando há muito poucos dados disponíveis. Nestes cenários de amostra pequena, as novas redes novamente superaram os modelos de forma fixa, que tipicamente exigem grandes quantidades de dados para aprender de forma eficaz. A capacidade de adaptar a geometria permitiu que as novas redes aproximassem as respostas corretas com muito menos exemplos. No entanto, o estudo também observou limites para esta abordagem. Embora o novo método se destaque em problemas de baixa a média dimensão, ele não é um substitinte para as redes neurais profundas e massivas usadas em tarefas como reconhecimento de imagem. De fato, ao serem testados em conjuntos de dados de imagem, o novo método apenas igualou o desempenho das redes padrão se recebesse vinte a trinta vezes mais parâmetros, sugerindo que sua força reside na eficiência e adaptabilidade para tipos específicos de problemas de regressão, e não na escala bruta.

Em última análise, este trabalho desloca o foco de escolher a ferramenta certa para construir uma ferramenta que possa mudar sua própria forma. O pesquisador demonstrou que a chave para resolver problemas complexos de regressão não é a base matemática específica usada para representar os dados, mas o espaço geométrico no qual essa representação vive. Ao tornar esse espaço um parâmetro aprendível, ele criou um sistema que é mais robusto ao ruído, mais eficiente com pequenos conjuntos de dados e mais capaz de capturar a verdadeira natureza das relações que tenta modelar. As descobertas sugerem que, no futuro, os modelos mais eficazes podem não ser aqueles com as arquiteturas fixas mais complexas, mas aqueles que podem aprender a própria geometria do problema que estão resolvendo.

Resumo Técnico: Redes Kolmogorov–Arnold com Restrição Geométrica

Declaração do Problema

As Redes Kolmogorov–Arnold (KANs) substituem funções de ativação fixas em arquiteturas profundas por funções de aresta univariadas aprendíveis. Embora as variantes existentes de KAN (por exemplo, aquelas que utilizam B-splines, polinômios de Chebyshev ou características de Fourier) ofeream flexibilidade, elas dependem de expansões de base fixas. Isso impõe uma geometria de espaço funcional (ex: suavidade, periodicidade ou localidade) a priori, antes da observação dos dados.

O artigo argumenta que essa geometria fixa é uma limitação fundamental. Como demonstrado na introdução, diferentes bases fixas falham de maneiras distintas ao ajustar alvos com estruturas incompatíveis (ex: bases suaves enfrentando dificuldades com descontinuidades como degraus de Heaviside). O problema central não é a capacidade de representação, mas o desajuste geométrico: a geometria imposta pela base não se alinha com a geometria intrínseca da função alvo.

Metodologia: KANs com Restrição Geométrica

O autor propõe KANs com restrição geométrica, onde a ativação da aresta não é selecionada de um conjunto discreto de bases, mas derivada do mapa de dualidade de uma geometria de espaço de Banach aprendível.

1. Fundamentação Teórica

A abordagem aproveita a correspondência entre uma norma, um potencial convexo e seu gradiente (a ativação):
$\text{norma} \implies \text{geometria} \implies \text{potencial convexo } \Psi \implies \text{ativação } \phi = \nabla \Psi$
Em vez de fixar a base, o autor parametriza a geometria usando a família $\ell_p$ . O expoente $p$ controla o comportamento qualitativo da aresta:

$p \to 1$ : Produz comportamento agudo, do tipo limiar (reminiscente da geometria $\ell_1$ ).
$p = 2$ : Recupera o regime linear/euclidiano.
$p > 2$ : Produz respostas mais planas próximas à origem e crescimento de lei de potência nas caudas.

2. Variantes de Arquitetura

O artigo define uma família controlada de três arquiteturas para isolar os efeitos de expressividade e adaptação geométrica:

Tanh-KAN: Utiliza a ativação $\tanh$ padrão (derivada da dualidade de Orlicz, $\Psi(z) = \log \cosh z$ ). Oferece expressividade limitada, mas sem adaptação geométrica.
$\ell_p$ -KAN: Utiliza o mapa de dualidade $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ . Permite adaptação geométrica via um expoente $p$ aprendido, mas carece de saturação limitada.
Banach-KAN: O modelo principal, que combina ambos os ramos:
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
Esta arquitetura unifica a saturação limitada (do $\tanh$ ) e a geometria de lei de potência adaptativa (do $J_p$ ), permitindo que as arestas percorram diversos regimes de resposta.

3. Detalhes de Implementação

Expoente Aprendível: O expoente é parametrizado como $p = 1 + \exp(\theta)$ , permitindo a otimização não restrita de $\theta$ .
Estabilidade Numérica: O mapa de dualidade exato $J_p$ possui uma derivada singular em $z=0$ para $p < 2$ . O autor implementa um mapa suavizado em toda parte- $C^1$ : $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ , o que preserva a interpretação geométrica nas caudas enquanto garante a diferenciabilidade na origem.
Condição de Profundidade Treinável: A análise teórica (Proposição 1) sugere que, para um empilhamento feedforward com pré-ativações Gaussianas, existe uma escala de peso crítica apenas se $p > 3/2$ . Abaixo desse limiar, a propagação do sinal pode tornar-se instável sem conexões residuais.

Principais Contribuições

Parametrização com Restrição Geométrica: Introdução de ativações de aresta KAN derivadas de mapas de dualidade de Banach onde a geometria (controlada por $p$ ) é aprendida diretamente dos dados, em vez de ser definida por uma escolha de base.
Interpretação Unificada: Reenquadramento das funções de aresta KAN não como expansões de base, mas como mapeamentos controlados por geometria.
Robustez Empírica: Demonstração de que aprender a geometria melhora a robustez ao ruído de medição e à aproximação em regimes de pequenas amostras em comparação com KANs de base fixa e regularização de spline explícita.
Sinal Interpretável: Demonstração de que expoentes aprendidos fornecem uma ordenação geométrica consistente e dependente do alvo (ex: alvos mais agudos geram um $p$ menor) que é estável através de níveis de ruído e dimensões de entrada.
Ablação de Flexibilidade: Isolamento do efeito de "geometria" da flexibilidade paramétrica genérica ao comparar contra controles de orçamento correspondentes (ex: ativações adaptativas de inclinação, funções racionais e modelos de mistura).

Resultados Experimentais

Os modelos foram avaliados em 50 alvos de regressão simbólica (40 do benchmark AI Feynman, 10 testes de estresse sintéticos) e 12 conjuntos de dados tabulares PMLB.

Desempenho em Dados Limpos

NRMSE Mediano: O Banach-KAN alcançou um NRMSE mediano de 0,030 no benchmark completo de 50 equações, empatando estatisticamente com o Chebyshev-KAN (0,030) e superando o Spline-KAN (0,037).
Ranking: O Banach-KAN alcançou o melhor ranking médio no subconjunto "Core 18" (2,00) e empatou com o melhor no conjunto completo (2,32 vs. 2,34 para Spline).
Regime de Pequenas Amostras: O Banach-KAN venceu a maioria das equações no regime de pequenas amostras ( $n=50$ e $n=100$ ), superando modelos de base fixa que requerem mais dados para convergir.

Robustez ao Ruído

O artigo destaca ganhos significativos sob ruído de medição ( $\sigma$ aumentando de 0 para 1):

Razão de Degradação: À medida que o ruído aumentou, os modelos de base fixa degradaram-se significativamente (Spline G=3 degradou 21,6 $\times$ , Cheby-KAN 14,9 $\times$ ).
Estabilidade com Restrição Geométrica: As variantes com restrição geométrica degradaram muito menos. O $\ell_p$ -KAN degradou apenas 3,7 $\times$ , e o Banach-KAN degradou 8,8 $\times$ . Notavelmente, mesmo um spline com validação cruzada degradou $\approx$ 11 $\times$ , tornando a geometria aprendida mais robusta do que a regularização ajustada.
Mudança de Regime de Ruído: Em alto ruído ( $\sigma=1,0$ ), a variante $\ell_p$ superou o Banach-KAN, sugerindo um compromisso onde a geometria pura de lei de potência é mais robusta ao ruído extremo do que a arquitetura combinada.

Extrapolação e Dados Tabulares

Extrapolação: Em testes fora do intervalo (treino no 60% interno do espaço de entrada), o Banach-KAN e o $\ell_p$ -KAN alcançaram o menor NRMSE (0,35 e 0,42), superando significativamente bases locais como Splines (0,73) e RBFs (0,86).
Dados Tabulares: Nos 12 conjuntos de dados PMLB, a família com restrição geométrica venceu 10/12. O Tanh-KAN foi o modelo único mais forte (5 vitórias), enquanto o Banach-KAN venceu 1. O Spline G=3 venceu zero.

Significância e Alegações

O artigo posiciona sua contribuição como um princípio de design em vez de um recorde de estado da arte. O autor afirma explicitamente:

Escopo Modesto: O método é projetado para regressão de baixa a média dimensão. Não compete com arquiteturas profundas (como ResNets) em seu terreno nativo (ex: classificação de imagens) onde MLPs igualam o desempenho apenas com 20–30 $\times$ mais parâmetros.
A "Ferramenta Certa" para o Regime: A alegação é que, em orçamentos por aresta comparáveis, sob ruído de medição e em regimes de pequenas amostras, a geometria induzida (aprendida via $p$ ) governa o sucesso do aprendizado mais do que a capacidade bruta.
Interpretabilidade: O expoente $p$ aprendido serve como uma "leitura geométrica" da estrutura da função alvo, fornecendo um sinal interpretável sobre a regularidade necessária (aguda vs. suave) sem ajuste manual.
Limitações: O autor reconhece que a forma por aresta possui um teto de capacidade conforme o volume de dados cresce e que a avaliação é atualmente limitada à regressão simbólica e dados tabulares, sendo necessário trabalho futuro para modalidades de alta dimensão (sequências, imagens).

Em resumo, o artigo argumenta que a geometria é a principal escolha de modelagem em KANs. Ao tornar a geometria adaptável através de um expoente $p$ aprendível, o modelo pode alinhar seu viés indutivo com os dados, resultando em robustez e aproximação superiores em regimes onde bases fixas falham.