Optimized Architectures for Kolmogorov-Arnold Networks

Este artigo propõe uma abordagem otimizada para Redes de Kolmogorov-Arnold (KANs) que combina arquiteturas superdimensionadas com esparsificação, supervisão profunda e seleção de profundidade, permitindo a descoberta de modelos compactos e interpretáveis sem sacrificar a precisão, ao mesmo tempo que resolve a tensão entre expressividade e interpretabilidade no aprendizado de máquina científico.

O essencial

Imagine que você é um chef de cozinha tentando criar a receita perfeita para um prato complexo. O problema é que, na tentativa de garantir que o prato fique perfeito, você começa a adicionar demais ingredientes: sal, pimenta, ervas, especiarias, até mesmo coisas que não combinam. O resultado? O prato fica bom (talvez até muito bom), mas ninguém consegue mais entender o que está acontecendo ali dentro, e a receita fica impossível de copiar ou explicar.

Isso é o que acontece com muitas Inteligências Artificiais (IA) hoje em dia: elas são "caixas pretas". Elas acertam o resultado, mas são tão complicadas que os cientistas não conseguem entender como chegaram lá.

Este artigo apresenta uma nova abordagem para um tipo especial de IA chamado Redes KAN (baseadas em um teorema matemático antigo). Os autores, James Bagrow e Josh Bongard, propõem uma maneira inteligente de treinar essas redes para que elas sejam precisas e, ao mesmo tempo, simples e explicáveis.

Aqui está a explicação do "como" eles fazem isso, usando analogias do dia a dia:

1. O Problema: A "Sala de Estar" Cheia de Móveis

As Redes KAN são como uma sala de estar onde cada móvel (uma função matemática) faz algo específico. O problema é que, para garantir que a sala funcione para qualquer situação, os cientistas costumam colocar muitos móveis (uma arquitetura "superdimensionada").

• Resultado: A sala funciona, mas é um caos. Você não sabe qual cadeira é essencial e qual é apenas enfeite. Além disso, quanto mais móveis, mais difícil é explicar a decoração para um visitante.

2. A Solução: O "Detetive de Arrumação" (Sparsificação Diferenciável)

Em vez de tentar adivinhar quais móveis tirar antes de começar, os autores propõem colocar todos os móveis na sala e deixar a própria IA aprender o que é inútil.

• A Mágica: Eles usam um sistema de "portas" (gates) que podem abrir ou fechar. Durante o treinamento, a IA aprende a fechar as portas das funções matemáticas que não estão ajudando.
• O Diferencial: Diferente de métodos antigos que cortam a rede depois de treinada (como podar um jardim no final do inverno), aqui a poda acontece enquanto a planta cresce. A IA decide o que cortar em tempo real.

3. Os Três Segredos da Receita

Para que essa poda funcione sem estragar o prato, eles combinaram três técnicas:

• A. As Portas de Entrada (Edge Gates): Imagine que cada móvel tem um interruptor. A IA aprende a desligar os interruptores dos móveis que não são usados. Isso reduz o número de "ingredientes" necessários.

  • Problema: Só fazer isso não é suficiente. A IA pode cortar os móveis errados e o prato fica sem graça (perde precisão).

• B. Os Atalhos (Forward Connections / FCs): Imagine que, em vez de ter que passar por todos os cômodos da casa para chegar à cozinha, você tem um corredor direto que conecta a entrada à saída. Isso permite que a IA use informações simples diretamente, sem precisar de uma "torre" gigante de processamento. Isso ajuda a IA a entender a estrutura do problema mais rápido.

• C. As Saídas de Emergência (Exit Gates): Imagine que a IA tem várias portas de saída na casa. Se o problema é simples, ela pode sair pela porta da frente (camada inicial). Se o problema é difícil, ela pode ir até a porta dos fundos (camada final).

  • O Pulo do Gato: A IA aprende a escolher a porta de saída mais curta possível que ainda resolve o problema. Isso evita que ela use uma "ferramenta de serra" para cortar uma "unha".

4. O Regra de Ouro: O "Princípio da Brevidade" (MDL)

Como a IA sabe quando parar de cortar? Eles usam um conceito chamado Comprimento Mínimo de Descrição (MDL).

• A Analogia: Pense em tentar descrever uma paisagem para um amigo. Se você descrever cada folha de cada árvore, sua mensagem será enorme e chata. Se você disser "uma floresta verde", é curto, mas pode não ser preciso.
• A IA busca o equilíbrio perfeito: a descrição mais curta possível que ainda explica o fenômeno com precisão. Ela é "preguiçosa" no bom sentido: quer fazer o trabalho com o menor esforço (menor número de funções) possível, desde que o resultado seja perfeito.

5. O Resultado: O Que Eles Descobriram?

Eles testaram isso em várias situações:

• Matemática pura: A IA descobriu fórmulas simples onde antes havia equações gigantescas.
• Sistemas complexos: Previsão de clima e ecossistemas (como predadores e presas).
• Dados do mundo real: Prever a resistência do concreto ou a temperatura de supercondutores.

A Grande Lição:
Apenas cortar os "móveis" extras (sparsificação) não era suficiente; a IA ficava confusa. Mas, quando eles deram à IA atalhos (Forward Connections) e várias portas de saída (Multi-exit) para escolher a melhor rota, a IA conseguiu criar modelos muito menores (às vezes 10x menores) que eram tão precisos ou até melhores que os modelos gigantes originais.

Resumo Final

Este trabalho é como ensinar uma IA a ser um arquiteto minimalista. Em vez de construir um castelo com mil torres e esperar que funcione, a IA aprende a construir uma casa pequena, elegante e funcional, onde cada tijolo tem um propósito claro.

Isso é revolucionário para a Ciência, porque permite que os cientistas não apenas prevejam o futuro, mas entendam as leis da natureza por trás das previsões, mantendo a IA transparente e confiável.

Resumo técnico

Título: Arquiteturas Otimizadas para Redes de Kolmogorov–Arnold (KANs)

Autores: James Bagrow e Josh Bongard (Universidade de Vermont)
Data: Abril de 2026

1. O Problema

As Redes de Kolmogorov–Arnold (KANs) emergiram como uma alternativa promissora às Redes Neurais Artificiais (ANNs) tradicionais, oferecendo uma combinação única de precisão preditiva e interpretabilidade. Diferente das ANNs, que aprendem pesos fixos, as KANs aprendem funções de ativação univariadas ao longo das arestas da rede.

No entanto, para alcançar alta expressividade, as KANs frequentemente requerem arquiteturas "superprovisionadas" (muitas camadas e nós), o que gera um dilema:

• Complexidade vs. Interpretabilidade: Modelos maiores tornam-se difíceis de interpretar, perdendo a vantagem principal das KANs.
• Limitações de Métodos Atuais: Técnicas de poda (pruning) tradicionais são frequentemente post-hoc (após o treinamento) e não otimizam a estrutura e os parâmetros simultaneamente. Além disso, a simples esparsificação (remoção de arestas) muitas vezes não é suficiente para reduzir a profundidade composicional do modelo sem sacrificar a precisão.

O objetivo do artigo é desenvolver um caminho principiado para aprender KANs que sejam simultaneamente compactas, precisas e interpretáveis, resolvendo a tensão entre expressividade e simplicidade no aprendizado de máquina científico.

2. Metodologia

Os autores propõem uma abordagem que combina três mecanismos principais dentro de uma arquitetura superprovisionada, otimizada de ponta a ponta (end-to-end) sob uma função de perda baseada no Princípio da Menor Descrição (MDL - Minimum Description Length).

A. Arquitetura Proposta

A arquitetura base é uma KAN superprovisionada que incorpora:

1. Conexões Densas (Forward Connections - FCs): Inspiradas no DenseNet, conectam a entrada e todas as camadas anteriores a cada camada subsequente. Isso permite supervisão profunda e transporte direto de características, mas aumenta o número de funções de ativação.
2. Portas de Saída Múltiplas (Multi-exit / Exit Gates): Cada camada possui uma "cabeça de saída" (exit head) independente. Isso permite que a rede decida em qual profundidade a inferência deve ocorrer, selecionando a profundidade ideal para cada entrada.
3. Portas de Areia (Edge Gates - Egates): Mecanismos de esparsificação diferenciável aplicados a cada função de ativação (aresta) e nó.

B. Mecanismos de Esparsificação e Seleção Diferenciáveis

Para evitar buscas de arquitetura discretas e caras, o método utiliza relaxações contínuas diferenciáveis:

• Esparsificação de Areias (Egates): Utiliza uma relaxação contínua da regularização $\ell_0$ (baseada em Louizos et al.), onde portas binárias estocásticas são aprendidas para ativar ou desativar arestas. Isso permite que o gradiente otimize a estrutura da rede durante o treinamento.
• Seleção de Profundidade (Xgates): Utiliza a relaxação Gumbel-Softmax para selecionar categoricalmente qual "cabeça de saída" (exit) será usada como saída final da rede. Isso permite que a rede aprenda a profundidade ótima (quantas camadas são necessárias) de forma diferenciável.

C. Função de Objetivo (MDL)

O treinamento minimiza uma função de perda composta por:
$$\mathcal{L}_{MDL} = \mathcal{L}_{dados} + \mathcal{L}_{modelo}$$

• $\mathcal{L}_{dados}$: Erro Quadrático Médio (MSE) entre a previsão e o alvo.
• $\mathcal{L}_{modelo}$: Um termo de complexidade baseado na MDL, que penaliza o número de bits necessários para descrever o modelo. Este termo é aproximado pelo número esperado de portas abertas (esparsidade) e a profundidade do caminho de inferência selecionado.

D. Estratégia de Treinamento

O processo envolve um "warmup" (aquecimento) onde as conexões densas e as portas de saída são inicialmente desativadas ou suavizadas, permitindo que as funções de ativação (splines) se estabilizem antes que a esparsificação e a seleção de profundidade atuem.

3. Principais Contribuições

1. Otimização Conjunta de Estrutura e Parâmetros: Diferente de métodos anteriores que fazem poda após o treinamento, este método aprende a esparsidade, a profundidade e as funções de ativação simultaneamente via gradiente.
2. Descoberta de que a Esparsificação Sozinha é Insuficiente: O estudo demonstra que apenas remover arestas (Egates) não garante modelos compactos e precisos; a seleção ativa de profundidade (via Xgates ou FCs) é crucial.
3. Abordagem MDL para KANs: A aplicação do princípio da menor descrição para guiar o trade-off entre precisão e complexidade em redes baseadas em splines.
4. Arquitetura "EFX" (Edge + Forward + Exit): A combinação de todos os três mecanismos (Portas de Areia + Conexões Densas + Saídas Múltiplas) demonstrou ser a mais robusta, atuando como uma configuração padrão segura.

4. Resultados Experimentais

Os autores avaliaram a metodologia em um experimento fatorial $2 \times 2 \times 2$ (com/sem Egates, FCs e Xgates) em três categorias de tarefas:

• Aproximação de Funções (Benchmarks Ngugen):

  • As condições que incluíam mecanismos de seleção de profundidade (X ou E+F) encontraram modelos menores e mais precisos que a linha de base.
  • A condição apenas com esparsificação (E) reduziu o tamanho, mas frequentemente prejudicou a precisão.
  • A combinação EFX (Edge + Forward + Exit) descobriu modelos extremamente compactos (ex: 1 aresta em vez de 60) mantendo alta precisão.

• Previsão de Sistemas Dinâmicos (Mapa de Ikeda e Ecossistema):

  • Para o Mapa de Ikeda, a combinação EX (Edge + Exit) reduziu o número de arestas de 48 para 16 sem perda de precisão.
  • Para o sistema de ecossistema (mais complexo e caótico), a esparsificação exigiu cuidado para evitar overregularization, mas a arquitetura com seleção de profundidade ainda superou a linha de base em termos de Pareto (precisão vs. tamanho).

• Dados do Mundo Real (Concreto e Supercondutores):

  • No conjunto de dados de resistência do concreto, a condição EFX com $\beta=0.01$ alcançou uma RMSE ligeiramente melhor (4.87 vs 4.91) com um modelo 18% do tamanho original (64 arestas vs 351).
  • Resultados semelhantes foram observados na previsão de temperatura crítica de supercondutores.

Conclusão dos Resultados: A esparsificação de arestas é necessária, mas não suficiente. A combinação com mecanismos de seleção de profundidade (seja via conexões densas ou saídas múltiplas) é essencial para obter KANs compactas e precisas.

5. Significado e Impacto

Este trabalho oferece um avanço significativo para o Aprendizado de Máquina Científico (Scientific Machine Learning):

• Interpretabilidade Real: Ao permitir que a rede "decida" sua própria complexidade e profundidade durante o treinamento, os modelos resultantes são mais fáceis de analisar e interpretar, revelando as leis físicas ou relações matemáticas subjacentes sem o ruído de uma arquitetura superdimensionada.
• Eficiência: Transforma a busca de arquitetura (NAS) de um processo discreto e custoso em um componente diferenciável do treinamento padrão.
• Praticidade: A arquitetura proposta (especialmente a combinação EFX) oferece uma configuração "segura" e robusta para aplicações onde a interpretabilidade é tão importante quanto a precisão, resolvendo a tensão histórica entre modelos complexos e modelos compreensíveis.

Em suma, o artigo estabelece um caminho principiado para criar KANs que são não apenas "caixas-pretas" mais eficientes, mas ferramentas verdadeiramente interpretáveis para a descoberta científica.