Resumo Técnico: Redes Geométricas de Kolmogorov–Arnold (GeoKAN)

Declaração do Problema

Modelos padrão de aprendizado profundo, incluindo Perceptrons Multicamada (MLPs) e as recentes Redes de Kolmogorov–Arnold (KANs), operam tipicamente dentro de um sistema de coordenadas euclidiano fixo. Embora as KANs melhorem a flexibilidade de aproximação ao substituir pesos escalares fixos por funções univariadas aprendíveis, elas ainda avaliam essas funções diretamente nas coordenadas de entrada originais. Essa limitação torna-se crítica no aprendizado de máquina científico e na resolução de equações diferenciais, onde as funções-alvo frequentemente exibem comportamento altamente não uniforme: suave em algumas regiões, mas variando rapidamente perto de choques, interfaces finas, picos agudos ou camadas limite. Em tais cenários, representações de coordenadas fixas alocam a capacidade do modelo de forma ineficiente, frequentemente super-resolvendo regiões suaves enquanto sub-resolvem áreas de variação rápida.

Metodologia

Os autores introduzem as Redes Geométricas de Kolmogorov–Arnold (GeoKANs), uma família de modelos que adaptam a geometria do espaço de entrada juntamente com a função de aproximação. O mecanismo central envolve aprender uma métrica Riemanniana diagonal $g(u)$ que deforma as coordenadas de entrada antes da expansão da base e da mistura de características.

Mecanismo Central

Em vez de avaliar funções de base em entradas brutas $x$, a GeoKAN primeiro calcula coordenadas deformadas:
$$\xi_i = x_i \sqrt{g_i(x)}$$
onde $g_i(x) > 0$ é um componente de métrica aprendido. Essa deformação estica regiões de variação rápida (aumentando a resolução efetiva) e comprime regiões mais suaves. O modelo então constrói características nessas coordenadas adaptadas à geometria.

Variantes

O artigo propõe três variantes principais de GeoKAN, que diferem na forma como a métrica é parametrizada e como as características pós-deformação são construídas:

1. GeoKAN-NNMetric: Utiliza uma métrica acoplada aprendida a partir da representação de entrada completa por meio de uma rede neural (MetricNet). Ela combina isso com um dicionário de wavelets localizado (wavelets chapéu-mexicano) e um termo de resumo de volume ($\log \det g$).
2. GeoKAN-γ: Emprega uma métrica estruturada e separável, onde cada coordenada aprende sua própria escala independentemente. Em vez de um dicionário pós-deformação, ela constrói características geométricas explícitas derivadas da métrica, incluindo a coordenada deformada, a derivada logarítmica local da métrica e a magnitude da métrica.
3. LM-KAN (KAN de Métrica Aprendida): Projetada especificamente para configurações informadas pela física. Utiliza uma métrica aprendida acoplada (como a GeoKAN-NNMetric), mas permite que a base pós-deformação seja escolhida com base na estrutura do problema: Wavelet (LM-KAN-Wav), Função de Base Radial (LM-KAN-RBF) ou Fourier (LM-KAN-Fourier).

Aprendizado Informado pela Física

No cenário informado pela física, os autores utilizam a variante LM-KAN como modelo substituto dentro do framework padrão de Rede Neural Informada pela Física (PINN). O objetivo de treinamento permanece uma função de perda baseada em resíduos, incorporando a equação diferencial governante, condições iniciais e condições de contorno. A novidade reside exclusivamente na arquitetura: o substituto aprende uma métrica dependente da tarefa e avalia sua representação de base localizada em coordenadas adaptadas à métrica, em vez de alterar a formulação variacional da perda.

Contribuições Principais

1. Viés Indutivo Geométrico: O artigo introduz um framework onde o modelo aprende não apenas a aproximação da função, mas também a geometria subjacente do espaço de representação, fornecendo um mecanismo para realocar a resolução representacional de forma dependente da tarefa.
2. Três Arquiteturas Distintas: O desenvolvimento de GeoKAN-NNMetric, GeoKAN-γ e LM-KAN oferece um espectro de modelos que vai desde abordagens de métrica acoplada flexíveis até modelos de características de métrica estruturados e leves.
3. Adaptação de Base: A integração de famílias de bases específicas (Wavelet, RBF, Fourier) dentro da deformação geométrica permite que o modelo adapte seu viés indutivo a tipos específicos de problemas (por exemplo, Fourier para problemas de Helmholtz oscilatórios).
4. Benchmarks Abrangentes: O trabalho avalia esses modelos em dois regimes distintos:
   • Aproximação de Função Supervisionada: Usando benchmarks de capacidade correspondida para isolar vantagens intrínsecas de aproximação.
   • Aprendizado Informado pela Física: Resolvendo várias equações diferenciais (Allen–Cahn, Burgers', sistema de Lorenz, Helmholtz) para testar o desempenho em contextos de computação científica.

Resultados

Aproximação de Função Supervisionada

Em benchmarks de capacidade correspondida (aprox. $2 \times 10^4$ parâmetros), as variantes GeoKAN demonstraram desempenho superior ao de MLPs e Efficient-KAN em alvos com estruturas não uniformes:

• Alvos de alta frequência e localizados: GeoKAN-NNMetric e LM-KAN-Wav alcançaram os menores Erros Quadráticos Médios (MSE) em senoides de alta frequência, descontinuidades em degrau, agulhas estreitas e senoides moduladas por envelope multiescala.
• Sinais de varredura (chirp): LM-KAN-RBF superou outras variantes em alvos de varredura, sugerindo que bases RBF são mais adequadas para frequências locais que variam suavemente.
• Interpretação: Os resultados confirmam que a métrica aprendida redistribui efetivamente a resolução, esticando regiões difíceis e comprimindo as suaves, levando a ajustes mais precisos sem aumentar a contagem de parâmetros.

Aprendizado Informado pela Física

O desempenho da LM-KAN foi comparado com as bases padrão PIKAN (Efficient-KAN e Wav-KAN) em várias equações diferenciais:

• Equação de Allen–Cahn (Caso 1): Ambos os modelos alcançaram alta precisão. A PIKAN atingiu uma perda final ligeiramente menor, mas a LM-KAN treinou significativamente mais rápido (315s vs. 539s) com menos parâmetros.
• Equação de Allen–Cahn (Caso 2 - Rígido): No regime mais desafiador com interfaces mais agudas, a LM-KAN forneceu melhor reconstrução da solução e menores resíduos de EDP, embora com um custo computacional mais alto (4760s vs. 1281s).
• Equação de Burgers': A LM-KAN alcançou uma perda final quase idêntica à da PIKAN, mas em substancialmente menos tempo (206s vs. 295s), apesar de ter mais parâmetros, indicando eficiência computacional aprimorada na resolução de gradientes íngremes.
• Sistema de Lorenz: A LM-KAN alcançou uma perda final menor que a PIKAN, demonstrando que a adaptação geométrica beneficia EDOs não lineares acopladas, embora com tempos de treinamento mais longos.
• Equação de Helmholtz: Neste regime altamente oscilatório, a LM-KAN (usando bases de Fourier) superou significativamente a linha de base Efficient-KAN. Ela atingiu uma perda final menor (redução de aproximadamente 45%) e treinou mais de duas vezes mais rápido (76s vs. 166s), apesar de ter contagens de parâmetros quase idênticas. A adaptação geométrica provou ser particularmente eficaz na preservação da precisão de fase e da estrutura da onda conforme os comprimentos de onda diminuíam.

Significado e Alegações

O artigo afirma que a GeoKAN fornece um mecanismo representacional mais flexível e frequentemente mais eficaz para o aprendizado de máquina científico, particularmente para problemas caracterizados por transições agudas, estruturas localizadas ou complexidade oscilatória.

• Arquitetural vs. Variacional: Os autores enfatizam que a melhoria é arquitetural. O framework de treinamento (função de perda baseada em resíduos) permanece padrão; o ganho vem da capacidade do substituto de aprender um sistema de coordenadas adaptado à geometria.
• Resolução Dependente da Tarefa: O significado principal é a capacidade de "colocar a capacidade onde é mais necessária". Ao aprender uma métrica que estica regiões difíceis, a GeoKAN evita a ineficiência de representações de grade fixa que devem resolver globalmente características locais.
• Alegações Moderadas: Os autores reconhecem que a GeoKAN não é uniformemente superior em todas as métricas. Em alguns casos (por exemplo, Allen–Cahn Caso 1), a PIKAN padrão alcança perda final menor ou treinamento mais rápido. A vantagem da GeoKAN é mais pronunciada em regimes com forte não uniformidade, rigidez ou oscilações de alta frequência.
• Direções Futuras: O artigo sugere que trabalhos futuros poderiam explorar métricas anisotrópicas (não diagonais) para EDPs de dimensões mais altas e maior adaptatividade na seleção de bases.

Em resumo, a GeoKAN estende o paradigma KAN ao aprender a geometria do domínio de entrada, oferecendo uma abordagem robusta para lidar com a não uniformidade inerente a muitos problemas científicos e de equações diferenciais.