An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models

Technische Samenvatting: Embedded RISC-V Evaluatie van Kolmogorov–Arnold Netwerken in Hard-Constrained Recurrent Physics-Informed Modellen

Probleemstelling
Hard-constrained recurrent physics-informed neurale netwerken (HRPINNs) integreren bekende fysieke dynamica in een recurrente numerieke integrator, waardoor het neurale component beperkt wordt tot het leren van de residuele dynamica. Eerder werk heeft vastgesteld dat KANs een parameter-efficiënte alternatieven kunnen zijn voor Multilayer Perceptrons (MLPs) voor deze residuele takken, maar hun executieprofiel verschilt aanzienlijk vanwege de leerbare B-spline activaties. Voorgaand onderzoek stelde vast dat KANs de nauwkeurigheid van MLPs kunnen evenaren of onderpresteren, maar evalueerde niet hun computationele efficiëntie of betrouwbaarheid bij implementatie. Dit artikel onderzoekt of de parameter-efficiëntie van KANs vertaalt naar implementatiekosten op scalaire embedded cores, waarbij specifiek drie hypothesen worden geadresseerd: (H1) KANs veroorzaken een hogere per-stap executie-latentie dan nauwkeurigheidsvergelijkbare MLPs; (H2) dit latentieverschil resulteert in een hoger energieverbruik per integratiestap; en (H3) KANs verliezen trajectgetrouwheid eerder dan MLPs onder post-training kwantisatie binnen een gesloten recurrente lus.

Methodologie
De studie evalueert identieke getrainde gewichten van MLP en KAN residuele takken, geïmplementeerd op een StarFive VisionFive 2 platform (SiFive U74, RV64GC), een RISC-V core zonder vector-extensies. Deze hardwarekeuze zorgt ervoor dat beide architecturen compileren naar scalaire instructiesequenties, waardoor het prestatieverschil wordt geïsoleerd tot de operatiemix en geheugentoegangspatronen van de topologieën zelf.

• Modellen en Benchmarks: De evaluatie gebruikt twee benchmark-systemen: de Duffing-oscillator (additief scheidbare residu) en de Van der Pol-oscillator (multiplicatief gekoppeld residu). De HRPINN-architectuur gebruikt een expliciete Euler-integrator.
• Implementatie: Een allocatievrije, scalaire inferentie-engine is ontwikkeld in C++17. De engine ondersteunt FP32 en post-training statische kwantisatie (INT16, INT8, INT6, INT4). Twee KAN-varianten werden getest: een standaardimplementatie die de PyTorch-numerics volgt, en een geoptimaliseerde variant die knoop-verschil reciproken vooraf berekent.
• Metrieken:
  • Latentie: Gemeten als de mediaan per-call tijd voor de residuele tak en de volledie HRPINN-stap.
  • Energie: Gemeten via een inline USB coulomb-teller over een executievenster van 120 seconden, waarbij het differentiële energieverbruik per stap wordt berekend ($E_{step} = (P_{load} - P_{idle}) / \text{steps/s}$).
  • Betrouwbaarheid: Beoordeeld door 2.000-staps closed-loop rollouts uit te voeren vanaf 20 initiële condities. Divergentie wordt gedefinieerd als de stap waarbij de Euclidische afstand tussen de gekwantiseerde rollout en de FP32 baseline de 0.1 overschrijdt.
  • Attributie: De impact van kwantisatie werd geïsoleerd door specifieke componenten (gewichten, activaties, staat of inputs) afzonderlijk te kwantiseren.

Belangrijkste Resultaten
De experimenten bevestigden alle drie de hypothesen:

1. Latentie (H1): KANs zijn aanzienlijk trager dan MLPs. Voor nauwkeurigheidsvergelijkbare paren voerde de KAN residuele tak 13,5× en 8,0× trager uit dan hun MLP-tegenhangers. Over alle vier de parameter-gematchte grootte-niveaus varieerde de latentieratio van 4,7× tot 14,5×. Genormaliseerd per parameter besteedden KANs 41–93 ns per parameter vergeleken met 6,2–8,0 ns voor MLPs. De geoptimaliseerde reciproque variant herstelde slechts 6–18% van deze latentie, waardoor een aanzienlijke kloof achterbleef.
2. Energie (H2): Energieverbruik schaalt direct met latentie. De KAN-paren verbruikten 11,3× en 5,6× meer energie per integratiestap dan de MLPs (bijv. 3,7 µJ vs. 0,33 µJ voor het kleinste paar). Het incrementele actieve vermogensverschil tussen architecturen was ononderscheidbaar van nul, wat bevestigt dat het energie-nadeel volledig wordt gedreven door de executietijd in plaats van een hoger vermogensverbruik per cyclus.
3. Betrouwbaarheid onder Kwantisatie (H3): KANs divergeren veel eerder dan MLPs onder kwantisatie. In volledige INT8 kwantisatiemodus divergeerde de Duffing KAN Very Small bij een mediaan van 6,5 stappen, terwijl de gematchte MLP Tiny divergeerde bij 282 stappen (een 43× verschil).
   • Attributie-analyse: De divergentie wordt primair veroorzaakt door gewichtskwantisatie, niet door foutieve toewijzing van knoop-intervallen aan de inputzijde. Het kwantiseren van enkel de inputs had een verwaarloosbaar effect. Echter, het kwantiseren van gewichten veroorzaakte een ernstige daling in de KAN discovery-nauwkeurigheid (bijv. Duffing $R^2$ dalend van 0,90 naar -0,10 bij INT8), terwijl MLPs stabiel bleven. De heterogene distributie van KAN spline-coëfficiënten maakt ze zeer gevoelig voor per-tensor schaling, wat kleine coëfficiënten onevenredig veel comprimeert.

Betekenis en Conclusies
Het artikel concludeert dat de parameter-efficiëntie gerapporteerd voor KANs op scheidbare residuen niet vertaalt naar implementatiekosten op scalaire embedded cores. De B-spline formulering introduceert executie- en precisieniveaus die de parameterbesparingen tenietdoen.

• Implementatieadvies: Voor embedded HRPINN-implementatie is een MLP residuele tak de meest betrouwbare standaard, tenzij specifieke kwantisatie co-design wordt toegepast.
• Beperkingen van Optimalisatie: Klassieke kernel engineering (bijv. lookup tables voor transcendente functies of vooraf berekende reciproken) kan slechts een fractie van de latentiekloof dichten. Een volledig geoptimaliseerde scalaire kernel zou nog steeds een orde van grootte achter MLPs blijven.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zich moet richten op co-designed kwantisatieschema's (bijv. per-edge of per-channel schaling voor spline-gewichten) en deze architecturen te evalueren op vector-gevoelige cores, hoewel de KAN's gather-zware, vertakkende recursie inherent moeilijker te vectoriseren is dan dichte matrixproducten.

De studie benadrukt dat hoewel KANs verdedigbaar kunnen zijn waar de geheugenvoetafdruk de beperkende factor is en de executie bij FP32 of INT16 blijft, ze momenteel niet de robuustheid en efficiëntie bezitten die vereist zijn voor algemene embedded CPS-implementatie onder standaard post-training kwantisatie.