Technische Samenvatting: Geometrische Kolmogorov–Arnold-netwerken (GeoKAN)

Probleemstelling

Standaard deep learning-modellen, waaronder Multilayer Perceptrons (MLP's) en recente Kolmogorov–Arnold-netwerken (KAN's), werken doorgaans binnen een vast Euclidisch coördinatenstelsel. Hoewel KAN's de flexibiliteit van benadering verbeteren door vaste scalair gewichten te vervangen door leerbare univariate functies, evalueren ze deze functies nog steeds direct op de originele invoercoördinaten. Deze beperking wordt kritiek in wetenschappelijk machine learning en bij het oplossen van differentiaalvergelijkingen, waar doelfuncties vaak een sterk niet-uniform gedrag vertonen: glad in sommige gebieden, maar snel variërend in de buurt van schokken, dunne interfaces, scherpe pieken of grenslagen. In dergelijke scenario's alloceren vaste-coördinaatrepresentaties modelcapaciteit inefficiënt, vaak door gebieden met snelle variatie te onderschatten terwijl ze gladde gebieden overbenaderen.

Methodologie

De auteurs introduceren Geometrische Kolmogorov–Arnold-netwerken (GeoKAN's), een familie van modellen die de geometrie van de invoerruimte aanpassen naast de benaderingsfunctie. De kernmechaniek omvat het leren van een diagonale Riemanniaanse metriek $g(u)$ die de invoercoördinaten vervormt voordat basisuitbreiding en kenmerkmenging plaatsvinden.

Kernmechaniek

In plaats van basisfuncties te evalueren op ruwe invoer $x$, berekent GeoKAN eerst vervormde coördinaten:
$$\xi_i = x_i \sqrt{g_i(x)}$$
waarbij $g_i(x) > 0$ een geleerde metriekcomponent is. Deze vervorming strekt gebieden met snelle variatie uit (verhogend de effectieve resolutie) en comprimeert gladdere gebieden. Het model bouwt vervolgens kenmerken op in deze geometrie-aangepaste coördinaten.

Varianties

Het artikel stelt drie hoofdvarianten van GeoKAN voor, die verschillen in hoe de metriek wordt geparametriseerd en hoe post-vervormde kenmerken worden geconstrueerd:

1. GeoKAN-NNMetric: Gebruikt een gekoppelde metriek die wordt geleerd vanuit de volledige binnenkomende representatie via een neurale netwerk (MetricNet). Dit wordt gecombineerd met een gelokaliseerd golfjeswoordenboek (Mexican-hat golfjes) en een volumesamenvattende term ($\log \det g$).
2. GeoKAN-γ: Past een gestructureerde, scheidbare metriek toe waarbij elke coördinaat zijn eigen schaling onafhankelijk leert. In plaats van een post-vervormd woordenboek construeert het expliciete geometrische kenmerken afgeleid van de metriek, waaronder de vervormde coördinaat, de lokale logaritmische afgeleide van de metriek en de metriekgrootte.
3. LM-KAN (Learned-Metric KAN): Specifiek ontworpen voor fysisch geïnformeerde settings. Het gebruikt een gekoppelde geleerde metriek (zoals GeoKAN-NNMetric), maar staat toe dat de post-vervormde basis wordt gekozen op basis van de probleemstructuur: Golfjes (LM-KAN-Wav), Radiale Basisfunctie (LM-KAN-RBF) of Fourier (LM-KAN-Fourier).

Fysisch Geïnformeerde Leer

In de fysisch geïnformeerde setting gebruiken de auteurs de LM-KAN-variant als surrogaatmodel binnen het standaard Physics-Informed Neural Network (PINN)-kader. De trainingsdoelstelling blijft een op residuen gebaseerde verliesfunctie die de heersende differentiaalvergelijking, beginvoorwaarden en randvoorwaarden omvat. Het vernieuwende zit uitsluitend in de architectuur: het surrogaat leert een taakafhankelijke metriek en evalueert zijn gelokaliseerde basisrepresentatie in metriek-aangepaste coördinaten, in plaats van de variationale formulering van het verlies te veranderen.

Belangrijkste Bijdragen

1. Geometrische Inductieve Bias: Het artikel introduceert een kader waarin het model niet alleen de functiebenadering leert, maar ook de onderliggende geometrie van de representatieruimte, waardoor een mechanisme wordt geboden om representatieve resolutie taakafhankelijk te heralloceren.
2. Drie Distincte Architecturen: De ontwikkeling van GeoKAN-NNMetric, GeoKAN-γ en LM-KAN biedt een spectrum aan modellen, variërend van flexibele gekoppelde-metriekbenaderingen tot gestructureerde, lichtgewicht metriek-kenmerkmodellen.
3. Basisadaptatie: De integratie van specifieke basisfamilies (Golfjes, RBF, Fourier) binnen de geometrische vervorming stelt het model in staat zijn inductieve bias af te stemmen op specifieke probleemtypes (bijv. Fourier voor oscillerende Helmholtz-problemen).
4. Uitgebreide Benchmarking: Het werk evalueert deze modellen in twee distincte regimes:
   • Supervised Function Approximation: Met behulp van benchmarks met overeenkomstige capaciteit om intrinsieke benaderingsvoordelen te isoleren.
   • Physics-Informed Learning: Het oplossen van verschillende differentiaalvergelijkingen (Allen–Cahn, Burgers', Lorenz-systeem, Helmholtz) om prestaties te testen in wetenschappelijke rekencontexten.

Resultaten

Supervised Function Approximation

In benchmarks met overeenkomstige capaciteit (ongeveer $2 \times 10^4$ parameters) toonden GeoKAN-varianten superieure prestaties ten opzichte van MLP's en Efficient-KAN op doelen met niet-uniforme structuren:

• Hoge-frequentie en gelokaliseerde doelen: GeoKAN-NNMetric en LM-KAN-Wav behaalden de laagste Mean Squared Errors (MSE) op hoge-frequentie sinusoiden, stapdiscontinuïteiten, smalle naalden en multischaal omhulsel-gemoduleerde sinusoiden.
• Chirp-signalen: LM-KAN-RBF presteerde beter dan andere varianten op chirp-doelen, wat suggereert dat RBF-bases beter geschikt zijn voor glad variërende lokale frequenties.
• Interpretatie: De resultaten bevestigen dat de geleerde metriek effectief resolutie herverdeelt, moeilijke gebieden uitrekt en gladde comprimeert, wat leidt tot strakkere fits zonder het aantal parameters te verhogen.

Fysisch Geïnformeerde Leer

De prestaties van LM-KAN werden vergeleken met standaard PIKAN-baselines (Efficient-KAN en Wav-KAN) over verschillende differentiaalvergelijkingen:

• Allen–Cahn-vergelijking (Geval 1): Beide modellen bereikten hoge nauwkeurigheid. PIKAN bereikte een iets lagere finale loss, maar LM-KAN trainde aanzienlijk sneller (315s vs. 539s) met minder parameters.
• Allen–Cahn-vergelijking (Geval 2 - Stijf): In het uitdagendere regime met scherpere interfaces bood LM-KAN een betere reconstructie van de oplossing en lagere PDE-residuen, hoewel tegen een hogere rekenkosten (4760s vs. 1281s).
• Burgers'-vergelijking: LM-KAN bereikte een bijna identieke finale loss als PIKAN, maar in aanzienlijk minder tijd (206s vs. 295s), ondanks meer parameters, wat wijst op verbeterde rekenefficiëntie bij het oplossen van steile gradiënten.
• Lorenz-systeem: LM-KAN bereikte een lagere finale loss dan PIKAN, wat aantoont dat geometrische adaptatie voordelen biedt voor gekoppelde niet-lineaire ODE's, zij het met langere trainingstijden.
• Helmholtz-vergelijking: In dit sterk oscillerende regime presteerde LM-KAN (met Fourier-bases) aanzienlijk beter dan de Efficient-KAN-baseline. Het bereikte een lagere finale loss (ongeveer 45% reductie) en trainde meer dan twee keer zo snel (76s vs. 166s), ondanks bijna identieke parameteraantallen. De geometrische adaptatie bleek bijzonder effectief in het behouden van fase-nauwkeurigheid en golfstructuur naarmate de golflengten afnamen.

Betekenis en Claims

Het artikel beweert dat GeoKAN een flexibeler en vaak effectiever representatiemechanisme biedt voor wetenschappelijk machine learning, met name voor problemen gekenmerkt door scherpe overgangen, gelokaliseerde structuren of oscillerende complexiteit.

• Architecturaal versus Variational: De auteurs benadrukken dat de verbetering architecturaal is. Het trainingskader (op residuen gebaseerde loss) blijft standaard; de winst komt voort uit het vermogen van het surrogaat om een geometrie-aangepast coördinatenstelsel te leren.
• Taakafhankelijke Resolutie: De primaire betekenis is het vermogen om "capaciteit te plaatsen waar het het meest nodig is". Door een metriek te leren die moeilijke gebieden uitrekt, vermijdt GeoKAN de inefficiëntie van vaste-roosterrepresentaties die lokale kenmerken globaal moeten oplossen.
• Bescheiden Claims: De auteurs erkennen dat GeoKAN niet uniform superieur is in elke metriek. In sommige gevallen (bijv. Allen–Cahn Geval 1) bereikt standaard PIKAN een lagere finale loss of snellere training. Het voordeel van GeoKAN is het meest uitgesproken in regimes met sterke niet-uniformiteit, stijfheid of hoge-frequentie oscillaties.
• Toekomstige Richtingen: Het artikel suggereert dat toekomstig werk anisotrope (niet-diagonale) metrieken voor hogedimensionale PDE's en verdere adaptiviteit in basisselectie kan verkennen.

Kortom, breidt GeoKAN het KAN-paradigma uit door de geometrie van het invoerdomein te leren, en biedt het een robuuste aanpak voor het omgaan met de niet-uniformiteit die inherent is aan veel wetenschappelijke en differentiaalvergelijking-problemen.