Geometry-Aware R-Structured Kolmogorov-Arnold Networks

Resumo Técnico: Redes de Kolmogorov–Arnold com Estrutura R-Consciente de Geometria (GRS-KAN)

Definição do Problema
Embora as Redes de Kolmogorov–Arnold (KANs) tenham demonstrado um potencial significativo na computação científica ao substituir matrizes de pesos por funções univariadas aprendíveis, elas permanecem uma "caixa preta" em sua manipulação de restrições geométricas explícitas. As KANs padrão devem inferir implicitamente estruturas geométricas complexas — como regiões viáveis, condições booleanas e descontinuidades — a partir dos dados de treinamento usando bases de splines suaves. Essa inferência implícita frequentemente leva a uma precisão subótima próximo a fronteiras e exige grandes contagens de parâmetros para aproximar transições abruptas. Por outro lado, as funções R (desenvolvidas por V. L. Rvachev) oferecem um arcabouço analítico rigoroso para representar operações lógicas e formas geométricas complexas como equações únicas diferenciáveis, mas não foram integradas às arquiteturas neurais modernas para aprender relações funcionais suaves.

Metodologia
O artigo propõe a Rede de Kolmogorov–Arnold com Estrutura R-Consciente de Geometria (GRS-KAN), uma arquitetura híbrida que desacopla o aprendizado de estruturas não lineares suaves do codificação de restrições geométricas conhecidas.

1. Integração Central: O arcabouço mantém o ramo KAN padrão, que aprende o comportamento funcional suave a partir dos dados usando funções de aresta aprendíveis (compostas por uma base SiLU suave e uma correção de B-spline). Simultaneamente, introduz um ramo de função R que codifica analiticamente regiões geométricas conhecidas (ex: retângulos, círculos ou combinações booleanas complexas) usando conjunções R ($\land$) e disjunções R ($\lor$) diferenciáveis.
2. Geometria Diferenciável: As funções R mapeiam condições lógicas (ex: "dentro de um retângulo") para funções de valor real onde o sinal determina a região. Estas são suavizadas usando uma sigmoide logística ($\sigma(\kappa R(x))$) para criar portões (gates) diferenciáveis adequados para a retropropagação baseada em gradiente.
3. Variantes Arquiteturais: Os autores introduzem três configurações específicas:
   • GRS-KAN Aditiva Direcionada: Modela funções com um plano de fundo suave mais um salto localizado dentro de uma região conhecida ($f_{smooth} + c \cdot \text{gate}$).
   • GRS-KAN Multiplicativa Direcionada: Modela funções que são não nulas apenas dentro de um suporte geomético conhecido ($f_{smooth} \cdot \text{gate}$).
   • GRS-KAN Agnóstica: Uma arquitetura unificada que combina uma KAN de linha de base, um ramo aditivo e um ramo multiplicativo. Ela emprega parâmetros de seleção de estrutura aprendíveis ($w_{KAN}, w_{add}, w_{mul}$) para determinar automaticamente o mecanismo de interação dominante (puramente suave, aditivo ou multiplicativo) com base nos dados.

Principais Contribuições

• Arcabouço Teórico: Um método para integrar representações analíticas de funções R de restrições geométricas e lógicas diretamente no arcabouço diferenciável da KAN.
• Construções Analíticas: Expressões explícitas de forma fechada para indicadores geométricos (ex: retângulos) usando funções R, completas com gradientes analíticos para retropropagação.
• Inovação Arquitetural: A proposta de variantes aditivas, multiplicativas e agnósticas que permitem a codificação geométrica explícita sem sacrificar a diferenciabilidade necessária para a otimização.
• Descoberta Automática de Estrutura: Demonstração de que pesos de ramo aprendíveis podem identificar se um prior geométrico é benéfico para uma tarefa específica, realizando efetivamente a seleção de estrutura.

Resultos Experimentais
Experimentos numéricos foram conduzidos em benchmarks suaves e problemas descontínuos envolvendo suportes retangulares.

• Benchmarks Suaves: Em benchmarks padrão de KAN (ex: $f(x,y) = \exp(\sin(\pi x) + y^2)$ e $f(x,y)=xy$), a implementação dos autores replicou com sucesso a capacidade das KANs de podar para estruturas esparsas e recuperar expressões simbólicas exatas, validando a linha de base.
• Benchmarks Geométricos/Descontínuos:
  • Descontinuidade Aditiva Retangular: A GRS-KAN aditiva direcionada reduziu o RMSE de teste em 67% e o RMSE da banda de fronteira em 61% em comparação com as KANs padrão. A codificação geométrica explícita permitiu que o modelo localizasse a descontinuidade de forma aguda, enquanto as KANs padrão produziram transições suaves e imprecisas.
  • Produto Mascarado: Para funções definidas apenas dentro de um retângulo, a GRS-KAN multiplicativa direcionada reduziu o RMSE de teste em 58% e o RMSE de fronteira em 50%.
  • Desempenho Agnóstico: A variante agnóstica identificou com sucesso a estrutura correta para tarefas específicas (ex: suprimindo ramos geométricos para $xy$ sem restrições e priorizando pesos multiplicativos para $xy$ mascarado). Embora nem sempre tenha superado as variantes especializadas direcionadas, alcançou precisão competitiva sem exigir conhecimento prévio da forma funcional.

Significância e Alegações
O artigo afirma que a GRS-KAN representa uma direção distinta das variantes existentes de KAN, que focam primordialmente na modificação dos mecanismos de aproximação (ex: funções de base ou atenção). Em vez disso, a GRS-KAN incorpora a geometria analítica explícita diretamente na arquitetura da rede.

A principal significância reside na capacidade de:

1. Melhorar a Precisão: Codificar explicitamente restrições geométricas conhecidas melhora significativamente a precisão preditiva e a localização de fronteiras em problemas com descontinuidades ou domínios restritos.
2. Aumentar a Interpretabilidade: O modelo fornece uma representação analítica explícita da estrutura geométrica aprendida, indo além das aproximações de "caixa preta" para revelar como a geometria interage com o plano de fundo suave.
3. Automatizar a Seleção de Prior: A variante agnóstica demonstra que redes neurais podem determinar automaticamente se os priors geométricos são necessários, oferecendo uma solução robusta para problemas científicos onde o papel funcional das restrições geométricas é desconhecido.

Os autores observam que, embora os experimentos utilizem retângulos e círculos simples, o arcabouço é teoricamente aplicável a regiões implícitas arbitrárias, incluindo domínios não convexos e combinações booleanas de restrições, abrindo caminho para aplicações em espaços de design de engenharia e controle de processos.