🤖 machine learning

KANLib -- An Modular, Extensible and Fast Kolmogorov-Arnold Network Implementation

Este artigo apresenta o KANLib, um framework baseado em PyTorch modular, extensível e computacionalmente eficiente que unifica as implementações existentes de Kolmogorov-Arnold Networks para facilitar a pesquisa flexível e a avaliação de alto desempenho de arquiteturas KAN.

Autores originais: Julian Hoever, Gregor Schiele

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Julian Hoever, Gregor Schiele

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um computador a entender o mundo. Por muito tempo, usamos uma ferramenta padrão chamada Perceptron Multicamadas (MLP). Pense em um MLP como uma linha de montagem de uma fábrica onde cada trabalhador (neurônio) recebe um monte de entradas, mistura tudo com uma receita fixa (um peso linear) e depois passa o resultado por um filtro único e imutável (uma função de ativação como a ReLU). Funciona bem, mas é rígido. Você não consegue ver facilmente como a fábrica chegou a uma decisão porque a "receita" é apenas um número, e o filtro é o mesmo para todos.

Entram as Redes Kolmogorov-Arnold (KANs). O artigo introduz uma nova maneira de construir essas fábricas. Em vez de usar um filtro fixo, as KANs dão a cada conexão individual entre os trabalhadores sua própria ferramenta de mudança de forma customizável e aprendível. Imagine que, em vez de um filtro estático, cada cano na fábrica possui uma mangueira flexível que pode esticar, dobrar e curvar exatamente como necessário para realizar o trabalho. Isso torna a rede muito mais transparente (você consegue ver a forma da mangueira) e potencialmente mais poderosa para encontrar padrões complexos.

No entanto, há um problema. Construir essas mangueiras flexíveis é computacionalmente caro e bagunçado. Diferentes equipes de pesquisa construíram suas próprias versões de KANs (como PyKAN, EfficientKAN e FastKAN), mas elas falam línguas diferentes, usam ferramentas diferentes e, muitas vezes, não conseguem conversar entre si. Uma pode ser rápida, mas carecer de recursos; outra pode ser rica em recursos, mas lenta.

A Solução: KANLib

Os autores deste artigo construíram o KANLib, que descrevem como um "adaptador universal" ou um "Canivete Suíço" para KANs.

Aqui está o que o KANLib faz, usando analogias simples:

Ele Unifica o Caos: Assim como uma régua de energia universal permite que você conecte dispositivos de diferentes países, o KANLib pega as melhores ideias das três principais estruturas de KAN existentes e as combina em um sistema consistente. Você pode alternar entre diferentes tipos de "mangueiras" (funções matemáticas chamadas B-splines e Funções de Base Radial Gaussiana) sem ter que reescrever todo o seu código.
É Modular e Flexível: Pense no KANLib como um conjunto de LEGO. Você pode encaixar diferentes camadas, ligar ou desligar recursos específicos (como remover um "ramo residual" ou um "peso") e experimentar a arquitetura facilmente. Ele permite que pesquisadores testem cenários de "e se" sem ficarem presos nos detalhes técnicos.
É Rápido e Inteligente: Os autores não apenas combinaram coisas; eles as otimizaram.
- Redimensionamento de Grade (Grid Rescaling): Imagine que você está desenhando um mapa. Se começar com uma grade de baixa resolução, pode perder pequenos detalhes. O KANLib pode automaticamente "dar zoom" (refinar a grade) em áreas onde os dados estão concentrados, tornando o mapa mais preciso sem precisar começar do zero.
- Extensão de Grade (Grid Extension): Ele também pode adicionar mais pontos de grade conforme aprende, permitindo que a rede capture detalhes cada vez mais finos ao longo do tempo.

O Que Eles Testaram

Para ver se o KANLib realmente funciona, os autores realizaram uma corrida em um conjunto de dados padrão chamado California Housing (prevendo preços de casas com base em coisas como renda e número de quartos).

A Corrida: Eles compararam o KANLib contra o PyKAN original, o mais rápido EfficientKAN e o muito veloz FastKAN.
Os Resultados:
- Precisão: O KANLib foi tão bom quanto os modelos existentes. Na verdade, sua versão B-spline foi a mais precisa em seus testes, prevendo os preços das casas com muito pouco erro.
- Velocidade: O KANLib foi significativamente mais rápido que o PyKAN original (cerca de 30% mais rápido) porque adotou os truques de velocidade do EfficientKAN.
- O Compromisso (Trade-off): Quando o KANLib usou o método "Gaussian RBF" (que costuma ser o mais rápido), ele ainda foi um pouco mais lento que a ferramenta dedicada FastKAN. Os autores admitem que isso ocorre porque sua versão é construída para ser flexível e suportar recursos avançados como o "zoom" na grade, o que adiciona um pouco de trabalho extra.

A Conclusão

O artigo conclui que o KANLib é uma base robusta e confiável para pesquisas futuras. Ele prova que você não precisa escolher entre velocidade e recursos. Você pode ter uma estrutura que é:

Modular: Fácil de ajustar e estender.
Rápida: Competitiva com as ferramentas existentes mais rápidas.
Precisa: Capaz de igualar ou superar o desempenho de modelos estabelecidos.

Essencialmente, o KANLib remove a fricção da pesquisa em KAN, permitindo que os cientistas foquem na descoberta de novas e melhores arquiteturas de rede, em vez de lutar com códigos incompatíveis. Os autores também mencionam que o trabalho futuro se concentrará em tornar a versão "Gaussian" ainda mais rápida e potencialmente aplicar essas redes a dados temporais, como batimentos cardíacos (ECG) ou ondas cerebrais (EEG).

Resumo Técnico: KANLib – Uma Implementação Modular, Extensível e Rápida de Redes Kolmogorov-Arnold

Declaração do Problema

As Redes Kolmogorov-Arnold (KANs) surgiram como uma alternativa promissora às tradicionais Perceptrons Multicamadas (MLPs) ao substituir pesos lineares fixos por funções univariadas aprendíveis. Embora as KANs ofereçam vantagens teóricas em interpretabilidade e expressividade, sua adoção prática é dificultada por três desafios primários:

Altos Custos Computacionais: As implementações existentes frequentemente sofrem com avaliações ineficientes de funções de base e operações de tensores redundantes.
Suporte de Recursos Inconsistente: Diferentes frameworks (por exemplo, PyKAN, EfficientKAN, FastKAN) oferecem conjuntos de recursos díspares, tornando difícil o benchmarking rigoroso e a comparação.
Falta de Modularidade: As implementações atuais são frequentemente fortemente acopladas a designs arquitetônicos específicos ou funções de base, limitando a capacidade de explorar novas variações ou arquiteturas híbridas.

Metodologia

O artigo introduz o KANLib, um framework de software unificado projetado para sintetizar as inovações centrais de três implementações proeminentes de KAN: PyKAN (a implementação oficial de Liu et al.), EfficientKAN e FastKAN.

Design Arquitetônico

O KANLib é construído sobre uma arquitetura modular que suporta dois tipos principais de funções de base:

B-splines: Seguindo a formulação original da KAN, onde as funções aprendíveis são combinações ponderadas de funções de base B-spline e um ramo residual (tipicamente SiLU).
Funções de Base Radial Gaussiana (GRBFs): Adotadas do FastKAN para reduzir a complexidade computacional ao evitar cálculos recursivos de B-spline.

Principais Características Técnicas

Para abordar a fragmentação das ferramentas existentes, o KANLib unifica as seguintes capacidades dentro de um único ambiente baseado em PyTorch:

Camadas Lineares Unificadas: Uma interface consistente para camadas B-spline e GRBF, permitindo comparações arquitetônicas diretas.
Controle Granular: Os usuários podem habilitar ou desabilitar seletivamente componentes definidos na equação padrão da KAN, como o ramo residual ( $w_b b(x)$ ) ou o peso da spline ( $w_s$ ).
Reescalonamento de Grade Adaptativa: Estende o mecanismo de grade adaptativa encontrado no PyKAN/EfficientKAN para ambas as camadas B-spline e GRBF (esta última restrita a grades equidistantes).
Extensão de Grade: Suporta o aumento da resolução da spline durante o treinamento sem perder informações aprendidas, um recurso anteriormente omitido no EfficientKAN e FastKAN.
Estratégias de Normalização: Integra a Normalização de Camada (Layer Normalization) para mapear as entradas para o intervalo ativo das funções de base, compensando a falta de reescalonamento adaptativo em certas configurações.

Principais Contribuições

Unificação de Framework: O KANLib consolida os conjuntos de recursos do PyKAN, EfficientKAN e FastKAN em um único código extensível, facilitando o benchmarking rigoroso entre diferentes funções de base e estratégias de otimização.
Eficiência Computacional: Ao integrar otimizações do EfficientKAN (por exemplo, evitar a expansão do tensor de entrada) e do FastKAN (por exemplo, computação direta de GRBF), o KANLib alcança velocidades de inferência competitivas enquanto mantém a riqueza de recursos.
Flexibilidade Arquitetônica: O framework permite a exploração sistemática de variações de KAN (por exemplo, remover ramos residuais ou pesos de spline) com mudanças mínimas no código, suportando pesquisas além das formulações padrão.
Reprodutibilidade: O framework é projetado para reproduzir o comportamento preditivo de implementações de referência estabelecidas, servindo como uma linha de base confiável para pesquisas futuras.

Resultados Experimentais

Os autores avaliaram o KANLib no dataset California Housing (uma tarefa de regressão com 20.640 amostras e 8 recursos de entrada), comparando-o com PyKAN, EfficientKAN e FastKAN.

Desempenho Preditivo

Variantes B-spline: O KANLib (B-spline) alcançou o melhor desempenho entre as implementações de B-spline, com um RMSE de 0,5376 ± 0,0044 e um $R^2$ de 0,7852 ± 0,0035. Isso superou o PyKAN (RMSE 0,5434) e o EfficientKAN (RMSE 0,5463), demonstrando que o KANLib reproduz com sucesso e melhora ligeiramente os comportamentos baseados em splines existentes.
Variantes GRBF: O KANLib (GRBF) alcançou um RMSE de 0,5471 ± 0,0078, aproximando-se do FastKAN (RMSE 0,5506), confirmando a capacidade do framework de replicar KANs baseadas em GRBF Gaussiana.

Eficiência Computacional

Tempo de Inferência:
- O PyKAN foi o mais lento (212,19 ms).
- O EfficientKAN e o KANLib (B-spline) reduziram o tempo de inferência em aproximadamente 32,7% em relação ao PyKAN (~142 ms).
- O KANLib (GRBF) alcançou 80,58 ms, uma melhoria de 62,0% sobre o PyKAN.
- O FastKAN permaneceu o mais rápido (41,02 ms) devido à sua implementação altamente especializada e menos flexível.
Contagem de Parâmetros: Os modelos KANLib geralmente continham 4.050 parâmetros (incluindo coeficientes de spline, pesos residuais e pesos de spline), enquanto o FastKAN tinha menos (3.811) devido à omissão do mecanismo de peso da spline.

Exploração Arquitetônica

Experimentos variando a estrutura da camada (por exemplo, "Sem Residual", "Sem Peso de Spline", "Simples") mostraram que:

Remover o ramo residual ou os pesos de spline reduziu a contagem de parâmetros (para até 3.510) e os tempos de inferência (até ~16,8% mais rápidos para modelos GRBF).
O desempenho preditivo permaneceu competitivo em todas essas variações, com desvios de RMSE geralmente pequenos, indicando que o KANLib suporta o design arquitetônico flexível sem perda significativa de precisão.

Significância e Alegações

O artigo posiciona o KANLib não como um modelo que atinge a precisão preditiva de estado da arte sobre todos os métodos existentes, mas como uma base robusta para pesquisas futuras. Sua principal significância reside em:

Preencher a Lacuna: Ele conecta o potencial teórico das KANs com aplicações práticas e escaláveis ao unificar implementações fragmentadas.
Permitir a Extensibilidade: Ao fornecer uma arquitetura modular, ele reduz a barreira para pesquisadores testarem novas funções de base, estratégias de grade e arquiteturas híbridas.
Padronização: Oferece um ambiente consistente para avaliar KANs, abordando a questão do suporte inconsistente de recursos que atualmente dificulta estudos comparativos.

Os autores concluem que, embora o KANLib incorra atualmente em um leve overhead computacional em comparação com o altamente especializado FastKAN (especificamente na computação de GRBF devido à inclusão da lógica de grade adaptativa), ele fornece a flexibilidade necessária para explorar todo o espectro de arquiteturas KAN. O trabalho futuro é identificado como a otimização da computação de GRBF Gaussiana para fechar a lacuna de velocidade e a extensão do suporte para convoluções 1D para dados de sensores dependentes do tempo.